보이스 클로닝이란 무엇인가요?

보이스 클로닝은 특정 실제 인물의 음성 녹음으로, 그 사람처럼 들리는 합성 목소리를 만드는 것입니다. 이렇게 만든 복제 목소리는 그 사람이 녹음한 적 없는 새 문장, 다른 언어의 문장까지 말할 수 있으며, 더빙 도구가 번역에서 화자 본인의 목소리를 유지하는 방식이 바로 이것입니다.

예시

샘플:  영상에서 Anna가 영어로 말하는 42초
텍스트:  “Empezamos con tres clientes y una sala alquilada.”
결과:  Anna처럼 들리는 목소리로 말하는 스페인어 대사

작동 원리

수많은 목소리로 학습한 음성 모델은 음높이, 음색, 억양, 리듬처럼 목소리를 서로 다르게 만드는 요소를 익힙니다. 새 화자의 샘플을 받으면 그 특징을 포착해, 말하는 모든 텍스트에 적용합니다. 말의 내용은 텍스트에서 오고, 목소리의 소리만 샘플에서 옵니다.

즉석 복제와 전문 복제

즉석 복제는 보통 1~2분 이하의 짧은 샘플로 몇 초 만에 만들며, 차분한 말투에서는 실제 사람과 비슷하게 들립니다. 전문 복제는 보통 30분에서 몇 시간 분량의 깨끗한 녹음으로 훨씬 많은 오디오를 학습하며, 감정 표현이나 외침, 속삭임에서도 더 잘 버팁니다.

동의와 법

목소리는 사람을 식별합니다. GDPR에서 누군가를 식별하려고 처리하는 음성 데이터는 생체 정보이며, 이 서비스를 포함해 목소리를 복제하는 서비스는 샘플을 그렇게 취급합니다. 즉 적법한 근거, 보통 명시적 동의가 필요합니다. 일리노이주 BIPA는 성문(voiceprint)을 보호하고, 테네시주 ELVIS Act는 허락 없는 목소리 모방으로부터 개인의 목소리를 보호하며, EU AI Act는 합성 오디오임을 밝히도록 요구합니다. 허락 없이 누군가를 복제하면 이 중 여러 법을 한꺼번에 위반할 수 있습니다.

어디에 쓰이나

크리에이터의 영상을 본인 목소리로 더빙하기, 재녹음 없이 녹음 속 단어 하나 고치기, 목소리를 잃은 사람을 위한 내레이션, 저자가 직접 읽는 오디오북 등입니다. 같은 기술로 음성 사기도 가능하기 때문에, 신뢰할 수 있는 도구는 그 목소리를 써도 되는지 확인을 요구합니다.

자주 묻는 질문

목소리를 복제하려면 오디오가 얼마나 필요한가요?

즉석 복제라면 깨끗한 음성 약 20초에서 2분 정도면 됩니다. 전문 복제는 30분 이상으로 학습합니다.

보이스 클로닝은 합법인가요?

내 목소리나 사용 허락을 받은 목소리를 복제하는 것은 대부분의 나라에서 합법입니다. 동의 없이 남의 목소리를 복제하면 개인정보, 생체 정보, 퍼블리시티권 관련 법을 위반할 수 있고, 속이려고 쓰면 사기입니다.

복제한 목소리로 다른 언어도 말할 수 있나요?

네. 다국어 음성 모델은 그 사람이 할 줄 모르는 언어도 목소리의 느낌을 유지한 채 말하게 할 수 있습니다. 다만 억양은 달라질 수 있습니다.

목소리 복제와 진짜 목소리를 구별할 수 있나요?

짧고 차분한 문장이라면 구별하기 어려운 경우가 많습니다. 길게 들으면 밋밋한 감정, 어색한 강세, 잘못 읽은 이름에서 대개 티가 납니다.