Jev의 아키텍처를 파헤치다

Jev는 사전 학습 LLM의 지식을 활용하되, 확신도를 문장으로 생성하는 대신 허용된 답의 확률 분포를 병렬 출력하는 의사결정 모델임 공개 문서와 API 실험은 공유 상태 처리, 질문 간 격리, 직접 확률 출력을 뒷받침함. 다만 가중치와 연구 방법이 비공개여서 정확한 내부 구조는 확인되지 않음 유력한 구현은 상태를 한 번 처리하고 질문별 분기를 병렬 실행한 뒤 수치 결과를 읽어내는 방식임. 자동회귀 디코딩을 생략하고 공통 입력의 반복 계산을 줄일 수 있음 질문은 서로 격리되지만 한 질문 안의 선택지들은 최종 판단에 함께 영향을 줌. 선택지 추가나 순서 변경만으로 기존 답의 확률이 달라져, 실제 의사결정 임곗값을 넘나들 수 있음 확률 보정 실험은 일부 과제에서 유망한 결과를 보였지만, 미래 고객 업무에서의 신뢰성을 보장하지 않음. API의 confidence도 정답 가능성을 별도로 학습한 값이 아니라 분포에서 계산한 요약 지표임 문장 생성 대신 의사결정 확률을 출력하는 이유 일반 LLM이 생성한 “90% 확신함”이라는 문장의 생성 확률은 그 판단이 맞을 확률 90%를 뜻하지 않음 사기 탐지, 콘텐츠 검토, 요청 분류, 위험 평가에서 이런 값을 확률로 사용하면 검증되지 않은 확신도에 의존하면서 토큰별 생성 비용까지 지불하게 됨 Jev는 공통 state, questions, 허용된 답을 받아 텍스트 생성 없이 답의 분포를 병렬 반환함 사전 학습 모델의 지식은 유지하면서 내부 표현에서 확률을 직접 읽어내고, 실제 결과를 기준으로 그 확률을 학습하는 방식임 가중치는 공개되지 않았고 TypeSafe도 구체적인 연구 방법을 공개하지 않아, 내부 구조의 상당 부분은 API 실험에 기초한 재구성임 지원 요청을 예로 들면 담당 부서를 payments로 분류할 확률과 긴급 대응 필요 확률은 서로 다른 불확실성임 예시의 payments 0.91, 긴급 대응 0.42는 실제 측정값이 아닌 가상 수치이며, 부서 배정과 긴급 대응 정책을 따로 적용할 수 있음을 보여줌 인과적 어텐션은 각 위치가 어떤 정보를 볼 수 있는지를 정할 뿐, 알려진 입력 토큰을 반드시 하나씩 실행해야 한다는 뜻은 아님 프리필(prefill)에서는 입력 전체가 이미 있으므로 한 레이어 안의 위치들을 함께 처리하고, 마스크로 미래 위치 접근을 막을 수 있음. 레이어들은 여전히 순차 실행됨 자동회귀 디코딩은 앞선 토큰이 선택되어야 다음 토큰을 만들 수 있지만, 제안된 ...