클로드(Claude)가 웹사이트와 데스크톱 앱의 핵심 사용자 경험을 2주 만에 약 3배 빠르게 개선했다. 클로드 측은 사용자 활동의 95%를 차지하는 네 가지 이용 흐름을 측정하고, AI를 활용해 3000건 넘는 변경사항을 병합하면서도 고객 대상 장애나 롤백은 발생하지 않았다고 밝혔다.
클로드 서비스 성능 개선 수치
클로드 측은 9월24일 클로드 개발 블로그에서 지난 8월 2주간 진행한 성능 개선 작업 결과를 공개했다. 새로 불러온 claude.ai 페이지에서 입력창을 사용할 수 있을 때까지 걸리는 시간은 사용자 경험 측정의 75번째 백분위 기준 3.1초에서 0.55초로 줄었다. 새 클로드 코드 세션을 시작하는 데 걸리는 시간은 0.8초에서 0.3초로, 클로드 코워크 클라우드 세션을 불러오는 시간은 2.6초에서 0.73초로 단축됐다.
개선 대상은 앱 실행, 대화 시작, 기존 대화 불러오기, 메시지 전송 등 네 가지 이용 흐름이었다. 웹과 데스크톱, 여러 제품에 걸쳐 모두 13개 측정 항목을 마련했으며, 각 항목은 사용자의 상호작용에서 시작해 결과가 화면에 표시되는 시점까지를 측정하도록 정비했다. 클로드 측은 이 같은 개선으로 매일 수만 시간에 이르는 이용자 대기 시간이 줄어든 것으로 추산했다.
AI를 활용한 성능 측정과 배포
성능 개선에는 베타 버전인 클로드 태그(Claude Tag)가 활용됐다. 내부 연구 모델은 오푸스(Opus) 5.5와 대략 비슷한 수준으로 설명됐으며, 병목 지점 파악과 벤치마크 작성, 개선사항 구현, 배포 감시를 맡았다. 사람은 목표 설정과 작업 간 우선순위 조정, 변경사항 승인에 관여했다. 전체 작업에서는 3000건 넘는 변경사항이 병합됐고, 고객에게 드러나는 장애나 롤백은 한 건도 없었다.
초기에는 특정 이용 흐름을 겨냥한 약 20개 프로젝트를 선정하고 각 프로젝트가 줄일 수 있는 시간을 추산해 목표를 정했다. 13개 목표 중 12개는 사흘째 달성됐다. 웹사이트 실행 속도를 높이기 위해 HTML에 정적 입력창을 넣어 리액트 초기화 중에도 입력할 수 있게 했고, 데스크톱 셸의 주 프로세스가 매번 처음부터 코드를 다시 컴파일하지 않도록 V8 코드 캐시를 미리 만들었다. 대화 간 이동에서는 입력창을 유지하고, 사용자가 세션 위에 마우스를 올리면 미리 불러오도록 했으며, 사이드바 재렌더링도 90% 줄였다.
이번 작업은 실제 이용자가 체감하는 시간과 개발 환경에서 반복 측정할 수 있는 지표를 함께 쓰는 방식으로 진행됐다. 실제 경과 시간은 사용자 경험을 가장 잘 보여주지만 변동성이 크고, 밀리초 단위 측정값은 지속적 통합 환경의 기준으로 삼기 어렵다는 이유에서다. 클로드는 순수 자바스크립트 경로에서 발루그린과 예측 가능한 노드 실행 환경을 이용해 명령어 수를 측정하고, 브라우저 경로에서는 리액트 커밋 횟수와 V8 함수 호출 횟수, 레이아웃·스타일 재계산, DOM 변경 횟수를 비교하는 방안을 제시했다. 새 벤치마크는 실험실 지표를 낮추는 동시에 실제 경과 시간도 개선하는지 검증한 뒤 채택하도록 했다.
공개된 글에는 이번 개선 이후의 별도 출시 일정이나 가격 정책, 외부 고객사의 반응은 담기지 않았다. 대신 성능 지표를 먼저 정하고 이를 바탕으로 작업을 확장한 뒤, AI가 새 기회를 찾아 추가 목표를 제안하는 내부 개발 순환을 설명했다. 클로드 측은 대화 메시지 트리를 조립하는 경로와 클로드 코드 출력에서 상태 줄을 찾는 스캐너를 대상으로 명령어 수를 줄이는 실험을 진행했으며, 각 측정값이 실제 체감 속도 향상으로 이어지는지 확인하는 데 초점을 맞췄다.