Claude는 측정할 수 있는 것을 더 빠르게 만들 수 있다

claude.ai와 Claude 데스크톱 앱의 핵심 사용자 경험을 2주 만에 약 3배 빠르게 개선함. 사용자 활동의 95%를 차지하는 네 가지 이용 흐름에 집중했으며, 매일 수만 시간의 대기 시간을 줄인 것으로 추산함 Claude Tag가 병목 탐색, 벤치마크 구축, 최적화 구현, 배포 모니터링을 맡고 사람이 목표와 절충안을 결정함. 모든 변경을 사람이 승인하면서 3,000건 넘게 병합했고, 고객에게 영향을 준 사고나 롤백은 없었음 최적화의 출발점은 측정 가능한 지표였음. 실제 지연 시간 개선과 연관성이 확인된 벤치마크만 채택하고, 개선된 수치를 CI의 새 상한으로 고정해 성능 퇴행을 막음 하나의 Slack 채널에서 150개 넘는 스레드를 동시에 운영하며 측정, 수정, 배포, 현장 검증을 반복함. 새 계측이 새로운 병목을 드러내면서 초기 계획을 크게 넘어서는 최적화로 이어짐 이 작업은 자율 운영이 아니었음. 사람은 더 높은 목표를 독려하고 사용자 경험과 유지보수 비용을 판단했으며, 자동 리뷰, 테스트, 기능 플래그, 단계적 배포로 변경 속도를 뒷받침함 개선 범위와 초기 목표 8월의 2주 스프린트에서 claude.ai와 데스크톱 앱의 핵심 경험을 약 3배 빠르게 개선함 75백분위 기준, claude.ai를 새로 열어 입력할 수 있을 때까지의 시간이 3.1초에서 0.55초로 줄어듦 새 Claude Code 세션 시작은 0.8초에서 0.3초, Claude Cowork 클라우드 세션 로딩은 2.6초에서 0.73초로 단축됨 전체적으로 사용자들의 대기 시간을 매일 수만 시간 줄인 것으로 추산함 Claude Tag 베타에서 Opus 5.5와 대략 비슷한 내부 연구 모델을 사용함 Claude가 병목을 찾고 벤치마크와 개선안을 구현하며 배포를 감시함 사람은 목표 설정, 절충안 판단, 모든 변경의 승인을 담당함 Slack 채널에 상시 지침을 설정해 성능 퇴행 감시와 계측 정확성 및 범위 점검, 대시보드 관리, 개선 구현과 제안, 팀 소통을 맡김 가능한 한 자율적으로 운영하는 것이 궁극적 목표였지만, 당시에는 아직 불가능하다는 전제를 명시함 Datadog MCP 서버로 사용 데이터를 분석해 앱 실행, 대화 시작, 기존 대화 로딩, 메시지 전송을 최우선 흐름으로 선정함 네 가지 흐름이 사용자 활동의 95%를 차지하며, 웹과 데스크톱 및 제품별 차이를 반영하면 13개 측정 항목이 됨 사용자 상호작용부터 결과 렌더링까지 측정하고 클라이...