[디지털투데이 AI리포터] 일레븐랩스가 원 화자의 감정과 표현을 유지한 채 여러 언어로 변환하는 음성 더빙 모델 '더빙 v2'를 출시했다.

1일(현지시간) 온라인 매체 기가진에 따르면, 이 모델은 언어가 바뀌어도 화자의 톤과 말투, 발화 리듬이 자연스럽게 유지되도록 설계됐다.

일레븐랩스는 구글 출신 엔지니어들이 설립한 인공지능(AI) 기업이다. 더빙 v2는 기존 AI 더빙이 텍스트 기반 대본에 크게 의존했던 한계를 줄이는 데 초점을 맞췄다. 기존 방식은 번역 자체는 가능했지만, 화자의 말투와 억양, 감정, 뉘앙스를 자연스럽게 재현하는 데 제약이 있었다.

더빙 v2는 화자의 실제 음성을 분석해 억양과 톤, 발화 특성을 반영하고 이를 다른 언어에서도 재현한다. 단순 번역에 그치지 않고 언어별로 자연스러운 문장 구조와 리듬, 구어체 표현을 적용하면서 원본 콘텐츠와의 동기화도 유지한다.

발화 시작과 종료 시점, 말하는 속도 역시 자동으로 조정한다. 이를 통해 수작업 편집 부담을 줄이고 보다 자연스러운 다국어 더빙 결과물을 구현할 수 있도록 했다.

일레븐랩스는 전문 더빙 작업에 번역가와 성우, 편집자, 음향 엔지니어 등 다양한 인력이 필요하며 비용도 1분당 수만 엔에 이를 수 있다고 설명했다. 더빙 v2는 이러한 과정을 자동화해 제작자와 기업이 복잡한 제작 절차나 여러 업체와의 협업 없이 다국어 콘텐츠를 제작할 수 있도록 지원한다.

서비스 적용 범위도 확대되고 있다. 더빙 v2는 현재 '일레븐크리에이티브'와 '일레븐프로덕션'에서 사용할 수 있으며, 향후 API 형태로도 제공될 예정이다. 이에 따라 개인 창작자뿐 아니라 자체 서비스에 더빙 기능을 적용하려는 기업 수요도 겨냥한 것으로 보인다.

다만 비용과 사용량을 둘러싼 반응도 나왔다. 실제 이용자들은 월 22달러(약 3만원) 요금제에서 제공되는 더빙 가능 분량이 9분에 불과하다는 점에 놀랍다는 의견을 내놓기도 했다

• AI 없인 개발 못한다는데…코딩 도구 의존 속 생산성 논란
• 특수건설, 제5회차 전환사채 만기 전 36억3600만원 취득
• 인텔의 반격…로봇 AI 승부수 던졌다 "엔비디아 절반 비용"
• 벤츠 신형 CLA, 테슬라 정조준…22분 충전에 602km 간다
• 테슬라 모델 3 플래드 나오나…테슬라 임원 "검토 중" 깜짝 발언