DAYJOB: Tax - 전문 세무 과제 50개로 AI 에이전트 평가하기

DAYJOB: Tax는 AI 에이전트가 고객의 최초 요청부터 최종 산출물까지 세무 업무를 책임지고 수행하는지 평가하며, 고객이 묻지 않은 문제를 발견하는 전문적 판단력까지 시험함 평가 기준의 95% 이상을 충족해야 통과하는 조건에서 Claude Sonnet 5.5가 통과율 10.8% 로 1위를 기록함 세무 실무 8개 영역의 50개 환경에 파일 1,789개가 포함되며, 에이전트는 상충하는 기록과 불완전한 증빙을 검토해 신고서, 검토 문서, 고객 자문 등을 완성해야 함 주택 매각 자문에서는 제안된 날짜의 세제 혜택 여부를 맞게 판단하고도 자격 만료 시한을 놓쳤고, 퇴직계좌 분할 자문에서는 혼인 여부를 확인하지 않은 가정에 의존하는 실패가 나타남 정해진 세금 질문에 답하거나 신고액을 계산하는 능력과 달리, 무엇을 조사해야 하는지 판단하고 결과물에 일관되게 반영하는 능력은 이번 평가의 최상위 모델에도 여전히 어려운 과제였음 평가 대상과 업무 범위 DAYJOB: Tax는 Surge AI의 DAYJOB 벤치마크 제품군에 속하며, 앞서 공개한 의료와 금융 평가를 세무 신고, 규정 준수, 자문 업무로 확장함 50개 환경에서 고객 요청과 관련 기록을 받아 신고서, 세무 작업 문서, 기술적 검토, 고객 자문을 작성함 세무 지식, 계산, 정보 검색, 지시 준수뿐 아니라 조사할 사안의 선택, 상충하는 증거의 해소, 정보 부족의 인식, 판단의 최종 결과물 반영까지 평가함 업무 범위는 8개 영역을 포괄함 개인과 가족 세무, 소규모 사업체 세무, 파트너십, 부동산과 투자, 유산과 증여 및 신탁, 국제 세무, 기업 거래, 세무 검토와 분쟁을 다룸 과제에 따라 증빙 작업 문서를 갖춘 전체 신고 패키지를 완성하거나, 거래 조사, 기존 신고 검토, 아직 결정하지 않은 고객의 선택에 대한 자문을 수행해야 함 통과 기준과 모델 성적 DAYJOB: Tax 리더보드는 평가 기준 95% 충족을 통과선으로 삼는 pass@1을 보고함 계산, 뒷받침하는 증거, 중요한 쟁점, 완성된 산출물을 기준으로 각 시도를 평가함 Claude Sonnet 5.5의 통과율은 10.8%로 1위였으며, Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%로 뒤를 이음 시도당 평균 비용과 성능을 비교했을 때 Sonnet 5.5와 Opus 5.5가 측정된 파레토 프런티어의 고성능 구간을 차지함 문서 구성과 비정형 증거 작업 환경에는 파일 1,789개가 ...