NVIDIA Nemotron 3.5 Transcribe: 40개 언어를 지원하는 공개 음성 인식 모델

Nemotron 3.5 Transcribe는 전사, 화자 구분, 번역, 오디오 질의응답을 하나의 공개 가중치 모델로 제공하며, 자연어 지시로 출력 형태를 바꿀 수 있음 40개 언어 전사를 지원하고, 이 중 31개 언어는 영어와 양방향 번역, 13개 언어는 화자 구분이 가능하며, 실시간 스트리밍이 아닌 녹음 오디오용임 영어 Open ASR 평가에서 공개 가중치 모델 중 평균 WER 5.33%로 1위를 기록했으며, David AI와 VoiceArena의 화자 구분 평가에서도 최저 오류율을 달성함 Granary v2는 48개 언어, 463,062시간의 공개 데이터 매니페스트와 재사용 가능한 정제 파이프라인을 제공해 전사 형식과 도메인 어휘에 맞춘 학습을 지원함 의료 음성 사례에서는 미세조정으로 별도 평가 화자의 WER를 22.44%에서 12.17%로 낮췄으며, 최적 프롬프트 대비 45.8% 상대 개선을 달성했지만 일반 영어 인식 성능은 소폭 하락함 자연어로 제어하는 전사와 오디오 분석 Nemotron 3.5 Transcribe는 같은 체크포인트에 서로 다른 지시를 내려 전사, 화자 표시, 영어 번역, 회의 결정 사항에 대한 질의응답을 수행함 40개 언어 전사, 31개 언어와 영어 간 양방향 번역, 13개 언어 화자 구분을 지원함 최대 1시간 녹음과 8명의 화자를 처리하고, 단어 단위 타임스탬프도 제공함 작업별 지원 언어가 다르며, 오디오 질의응답은 영어로 학습됨 낯선 용어에는 학습 전에 문맥 프롬프트를 적용할 수 있음 의료 대화라면 HbA1c, metformin 같은 후보 용어를 주고, 오디오가 뒷받침할 때만 사용하도록 지시함 원어 유지, 표준 의학 철자, 일반적인 숫자 표기 등 출력 규칙도 지정할 수 있음 모델 카드에는 오디오 질문용 추론 설정을 포함한 권장 프리셋, 프롬프트 안내, 작업별 언어 지원표가 있음 이름, 화자 전환, 질의응답 결과는 원본 녹음과 대조해 표본 검수해야 함 시연에서는 빠르고 겹치는 대사가 많은 영화 His Girl Friday(1940)의 장면을 전사하고 화자를 표시함 Agora의 교실 데모는 단어 단위 타임스탬프를 활용해 녹화 수업 재생 화면 옆에 전사문을 표시하고, 학생이 발언 내용과 시점을 함께 확인하도록 구성함 전사 정확도와 모델 구조 Hugging Face Open ASR Leaderboard의 영어 평가에서 API 모델을 제외한 공개 가중치 모델 중 평균 단어 오류율(WER) 5...