claude 의 최근 3가지 문제 회고

최근 발생한 세 가지 이슈에 대한 요약 (원인과 해결책)

1. 컨텍스트 창 라우팅 오류 (Context Window Routing Error)

• 원인: Sonnet 4 모델에 대한 일부 요청이 1M 토큰의 더 큰 컨텍스트 창을 위해 구성된 서버로 잘못 라우팅되었습니다. 8월 29일 로드 밸런싱 변경으로 문제가 더욱 악화되었습니다.
• 해결책: 요청이 올바른 서버 풀로 전달되도록 라우팅 로직을 수정하여 9월에 배포했습니다.

2. 출력 손상 (Output Corruption)

• 원인: Claude API TPU 서버의 잘못된 구성으로 인해 토큰 생성 중 오류가 발생하여 응답에 예기치 않은 문자가 나타났습니다. 여러 Claude 모델에 영향을 미쳤습니다.
• 해결책: 9월 2일에 잘못 구성된 변경 사항을 식별하고 롤백하여 해결했습니다.

3. "대략적인 top-k" 컴파일 오류 ("approximate top-k" miscompilation)

• 원인: 토큰 선택을 개선하기 위한 코드 변경이 XLA:TPU 컴파일러의 잠재적인 버그를 유발하여 Claude Haiku 3.5 및 기타 모델에 영향을 미쳤습니다.
• 해결책: 변경 사항을 롤백하고 XLA:TPU 팀과 협력하여 컴파일러 버그를 해결했습니다. 또한 토큰 선택을 위해 "정확한 top-k" 작업을 사용하도록 전환했습니다.