로컬 LLM, 권장된 샘플링 대신 temp 0으로 실행해도 되나? ( 한국어 문서 RAG 320문항 재측정)

한국어 문서 RAG 시험(정답 있는 299문항 + 답 없는 질문 20개)을 temp 0으로 실행했더니, Hugging Face 토론에서 "qwen3.8은 카드 권장값으로 재야 공정하다"는 지적을 받았습니다. 그래서 RTX 3090로 qwen3.8 27B와 Nanbeige4.3 33B를 권장 설정값으로 320문항씩 다시 실행해봤습니다.

• qwen3.8 27B: 생각 켬 77.3% → 77.9%, 생각 끔 71.2% → 72.2%. 같은 문항 짝비교로 차이 없음(p 0.75, 0.68)
• Nanbeige4.3 33B 생각 켬: 66.2% → 70.6%로 올랐지만, 예전 한도(8,192토큰)에 안 걸린 270문항만 보면 194개 대 196개로 같음. 오른 몫은 출력 한도를 20,480으로 늘린 덕
• 온도를 올리면 끝없이 생각하다 잘리는 답이 늘어남: 20,480에서 잘린 답이 온도 0 약 3개, 0.6에서 10개, 1.0에서 11개
• 그 답 중 되풀이가 아닌 7개를 다시 뽑으니 7개 모두 20,480토큰 안에서 스스로 끝남. 한도가 모자랐다기보다 그 표본이 길어진 것
• 같은 29문항을 같은 설정으로 두 번 돌리니 17개, 15개. 시드를 고정해도 같은 답이 다시 안 나옴. 한 번짜리 측정의 1~2%p는 잡음
• Nanbeige 카드가 권하는 출력 한도 262,144토큰은 3090에서 문항당 7시간이 넘어 현실적으로 못 씀(문맥 32k에서도 약 4GB가 CPU로 넘침)
• 리더보드에 "카드 권장 샘플링" 칸을 추가했고, 스크립트와 문항별 판정을 재현 파일로 공개

한국어 문서 질의응답 한 가지 시험의 결과라, 수학이나 코딩에서는 다를 수 있습니다.

(측정과 숫자는 직접 돌린 값이고, 글 정리는 AI 도움을 받았습니다.)