일레븐랩스, '오디오 투 오디오' 방식 AI 더빙 모델 '더빙 v2' 출시

일레븐랩스는 원본의 감정 표현과 퍼포먼스를 그대로 재현하는 새로운 더빙 인공지능(AI) 모델 '더빙 v2'를 애플리케이션 프로그래밍 인터페이스(API)로 제공한다고 10일 밝혔다.

'더빙 v2'는 음성을 음성으로 직접 변환하는 '오디오-투-오디오(audio-to-audio)' 아키텍처를 채택한 모델이다.

기존의 음성 인식 → 번역 → 음성 합성(클론 보이스) 파이프라인 방식과 달리, 입력된 음성을 기반으로 음성 출력을 직접 생성하기 때문에 원본의 감정 표현과 뉘앙스를 더욱 충실하게 반영할 수 있다고 회사는 설명했다.

화자 본인의 목소리를 클론해 더욱 자연스러운 다국어 번역 제공도 가능하다. 발화 타이밍이 영상과 자연스럽게 만도록 설계돼 싱크 정확도가 높은 것도 장점이다.

영상 및 게임 캐릭터 대사 및 로컬라이제이션, 다국어 마케팅 영상 제작, 영화·드라마 등 장편 콘텐츠 다지역 전개 등에서 활용이 가능할 것으로 전망된다.

더빙 v2는 한국어와 일본어를 포함한 전 세계 92개 언어를 지원한다. 이를 통해 K-콘텐츠의 글로벌 시장 진출 시 완성도 높은 다국어 더빙은 물론, 해외 유수 콘텐츠의 한국어 더빙 등 양방향에서의 활용이 가능할 것으로 회사는 기대하고 있다.

'더빙 v2'는 지난 5월 사용자인터페이스(UI) 버전으로 먼저 공개된 바 있으며, 이번 API 공개를 통해 개발자와 기업이 자사의 제품 및 워크플로우에 직접 연동하고 통합할 수 있게 됐다.

정현정 기자 iam@etnews.com