Nanbeige4.3 33B, 한국어 문서 RAG 299문항 직접 채점: 공식 벤치마크에선 qwen3.8 27B를 이겼지만 한국...
2 hours ago
3
10월 24일 공개된 33B 오픈 모델 Nanbeige4.3을 정답이 있는 한국어 문서 RAG 시험지(Allganize, 299문항)로 채점했습니다. 에이전트 코딩용 모델이지만, 한국어 환경에서 에이전트로 쓰려면 한국어 문서를 읽고 근거로 답하는 기초가 필요해서 그 부분만 쟀습니다. 모든 모델이 같은 검색 결과 5쪽, 같은 지시문, 같은 채점기를 씁니다.
정답률: 생각 켬 66.2%, 생각 끔 64.9%. 모델 카드가 비교한 qwen3.8 27B는 생각 켬 77.3%입니다. 같은 조건 점수는 gemma4 12B(66.6%), qwen3.5 9B(65.6%)와 비슷합니다.
처음 측정에서 생각 켬 29문항이 출력 한도 8,192토큰에 걸렸고, 그중 20개는 답이 비어 있었습니다. 이 29문항을 카드 권장 설정으로 다시 돌리면 70.6%가 되지만, 여전히 qwen3.8 27B보다 낮습니다(짝비교 6 대 26, p 0.001 미만). Claude Opus 5.5로 다시 채점해도 결론은 같았습니다.
생각 끔에서는 320개 중 92개가 출력 한도 1,024토큰에 잘렸습니다. 한도를 4,096으로 올려 다시 돌리니 92개 중 43개가 같은 문장을 계속 되풀이했고, 카드 권장 샘플링으로 바꿔도 나아지지 않았습니다.
공식 벤치마크에선 앞섰다고 한 분야는 에이전트 코딩과 업무 자동화이고 언어 표시는 영어, 중국어입니다. 공식 벤치마크 숫자가 틀렸다는 뜻이 아니라, 그 우위가 한국어 문서 질의응답까지 이어지지 않았다는 결과입니다.
RTX 3090에서 초당 약 38토큰, 문항당 약 18초(생각 끔)입니다.
한도에 걸린 답을 다시 잰 과정과, 그 뒤 측정 도구에 넣은 경고(잘림, 빈 답, 반복)도 적었습니다. 스크립트와 문항별 판정 파일을 공개합니다.
2 hours ago
3
![[아시안게임] 유도 김민종, 남자 100㎏이상급 동메달…2회 연속 메달](https://img3.yna.co.kr/photo/yna/YH/2026/10/02/PYH2026100223210001300_P4.jpg)
![[2026 노벨상] 생리의학상…뇌에 대한 이해 바꿔놓은 이들에게](https://image.inews24.com/v1/a8cf79c5a2313a.jpg)
English (US) · 