“감정까지 번역한다”…한국 스타트업, AI더빙의 마지막 장벽을 넘다

AI 더빙 기술이 콘텐츠 시장의 판을 흔들고 있다. 한국어로 제작된 드라마와 영화의 음성을 AI가 자동으로 자연스러운 영어·일본어 더빙 음성으로 변환하는 기술이 국내 스타트업에 의해 구현됐다. 단순히 대사를 다른 언어로 번역하는 수준을 넘어 배우의 목소리와 감정 연기까지 자연스럽게 재현하는 기술이 등장하면서 영화·드라마 등 영상 콘텐츠의 글로벌 유통 방식에도 변화가 예상된다. 특히 K-콘텐츠의 해외 수요가 확대되는 가운데 더빙 품질과 제작 속도를 동시에 높일 수 있는 AI 기술이 업계의 관심을 받고 있다.

AI 더빙 기술 기업 딥로딩이 개발한 AI 더빙 솔루션 'CastVox'를 기자가 직접 체험해봤다. 한국어 원본 음성은 배우 고유의 음색과 감정선을 유지한 채 자연스러운 영어 더빙으로 구현됐다. 배우의 호흡과 감정 변화가 영어 대사에도 비교적 자연스럽게 반영됐으며, 청취만으로는 AI 생성 음성인지 전문 성우의 더빙인지 쉽게 구분하기 어려운 수준이었다.

딥로딩은 18개월 이상의 연구개발(R&D)을 통해 단순한 음성 합성을 넘어 배우의 감정 자체를 외국어로 옮기는 기술을 완성했다. AI 더빙 업계에서 감정 표현은 해결이 쉽지 않은 과제로 꼽히는 가운데, 딥로딩은 해당 기술을 앞세워 글로벌 콘텐츠 시장 공략에 나서고 있다.

기존 AI 더빙은 음성을 다른 언어로 변환하는 수준에 머무르는 경우가 많았다. 이 과정에서 배우의 감정선이 희석되거나 외국어의 자연스러운 억양과 운율을 구현하지 못해 기계적인 느낌을 준다는 지적을 받아왔다.

실제로 넷플릭스, 아마존 등 글로벌 빅테크 기업들도 AI 더빙 상용화 과정에서 품질 논란을 피하지 못했다. 시청자들은 밋밋한 감정 표현, 어색한 발음, 기계적인 음성 등의 문제점을 반복적으로 지적했다. 결국 AI 더빙은 유튜브 자동 번역이나 저예산 콘텐츠에나 적용되는 기술로 한계가 그어졌고, 감정 연기가 수반되는 영화·드라마 시장에서의 상용화는 큰 진전을 보이고 있지 못하다.

딥로딩은 이 문제의 본질을 다르게 봤다. 원인은 음성 합성 기술 부족이 아니라 감정과 문화적 맥락을 언어별 특성에 맞게 재현하지 못하는 데 있다는 판단이었다. 이에 따라 한국어 원본 음성에 담긴 감정의 강도와 떨림, 호흡 패턴을 분석해 영어·일본어 음성으로 재구성하는 기술 개발에 집중했다.

CastVox의 핵심은 '감정 이식(Emotion Transfer)' 기술이다. 음성 합성(TTS)과 음색 변환(Voice Conversion) 기술을 결합해 배우의 목소리 특성을 유지하면서 다른 언어로 더빙을 생성한다. 단순히 문장을 번역해 읽는 것이 아니라 원본 음성의 감정선을 함께 분석하고 재현하는 방식이다.

배우가 오열하거나 분노를 폭발시키는 장면에서는 음성의 떨림, 호흡, 발성 강도까지 수치화해 영어·일본어 더빙에 그대로 반영한다. 딥로딩은 이를 “감정을 번역하는 것이 아니라 감정 자체를 이식하는 기술”이라고 설명한다. 시청자 입장에서는 낯선 성우의 목소리가 아니라 원작 배우가 직접 외국어로 연기하는 것처럼 느껴지는 이유다.

한국어 억양을 외국어에 그대로 얹는 오류도 없다. 영어는 영어 고유의 강세와 인토네이션 체계 위에서, 일본어는 일본어의 음운 구조 위에서 감정을 구현한다. 원어민이 들어도 이질감 없이 자연스럽고, 배우의 감정선은 온전히 살아있다. 직접 청취했을 때 성우와 AI의 구분이 불가능했던 이유가 바로 여기에 있었다.

기술적 혁신과 함께 비용·속도 측면에서도 획기적이다. CastVox는 전체 더빙 공정의 99%를 AI로 자동 처리한다. 기존 더빙 제작 과정은 현지 성우 섭외, 녹음 스튜디오 예약, 음성 편집, 립싱크 작업 등 수십 개의 수작업 공정을 수반하며 편당 수천만 원, 수주에서 수개월이 소요되는 작업이다.

CastVox는 이 과정을 수 시간에서 수 일로 압축하고, 비용은 기존 대비 90% 이상 절감한다. K-콘텐츠 제작사 입장에서는 해외 동시 공개를 가로막던 언어 장벽이 사실상 허물어지는 수준이다.

딥로딩은 기술 검증의 기준을 낮추지 않았다. 테스트 대상으로 선택한 것은 AI 더빙 기술 난도 측면에서 가장 까다롭다는 평가를 받는 한국 영화이다. 감정 표현의 폭이 넓고 강렬하며, 빠른 대사 전환과 극적 연기가 빈번하게 등장하는 장르가 많기 때문이다.

미국과 일본 원어민을 대상으로 한 별도의 시청 평가에서도 CastVox는 높은 점수를 받았다. 원어민 평가단은 감정 표현의 자연스러움과 발화의 유창성 측면에서 기존 AI 더빙과는 확연히 다른 수준이라고 평가했다. 현재는 한국어→영어, 한국어→일본어 더빙을 지원하며 향후 스페인어, 중국어, 아랍어 등으로 확대할 계획이다. 다만 지원 언어 수를 늘리는 것보다 각 언어의 완성도를 높이는 데 우선순위를 두겠다는 방침이다.

2021년 설립된 딥로딩은 대표와 주요 임원진이 삼성 출신 엔지니어로 구성된 AI 연구개발 기업이다. 자체 LLM 연구와 AI 모델 평가 사업을 기반으로 성장해 왔으며, 최근에는 정부 R&D 과제를 통해 AI 더빙 기술 고도화에 집중하고 있다.

딥로딩 최환조 대표는 “AI 더빙의 핵심은 단순한 음성 생성 기술이 아니라 배우의 감정과 연기를 다른 언어로 얼마나 자연스럽게 전달할 수 있느냐에 있다”며 “시청자가 마치 한국 배우가 직접 영어와 일본어로 연기하는 것처럼 느낄 수 있는 수준, 그 기준을 CastVox로 새로 쓰겠다”고 말했다.

K-콘텐츠의 글로벌 수요가 폭발적으로 증가하는 지금, 콘텐츠 현지화의 속도와 품질이 시장 선점의 핵심 변수로 부상하고 있다. 딥로딩은 감정 전달 중심의 AI 더빙 기술을 앞세워 영화와 드라마를 비롯한 영상 콘텐츠 시장에서 활용 범위를 확대해 나간다는 계획이다.

임민지 기자 minzi56@etnews.com