ボイスクローンとは？

ボイスクローンとは、特定の実在の人物の話し声の録音から、その人そっくりに聞こえる合成音声を作ることです。音声クローンとも呼ばれます。クローンは本人が録音していない新しい文も、ほかの言語でも話せるため、吹き替えツールはこれを使って翻訳でも話者本人の声を残します。

例

サンプル：動画内でAnnaが英語で話す42秒間
テキスト：「Empezamos con tres clientes y una sala alquilada.」
結果：Annaそっくりの声で話されるスペイン語のセリフ

仕組み

多くの声で学習した音声モデルは、声の高さ、音色、なまり、リズムなど、声ごとの違いを生む要素を学びます。新しい話者のサンプルを与えると、その特徴をとらえ、話すすべてのテキストに適用します。言葉はテキストから、声の響きだけがサンプルから来ます。

インスタントクローンとプロフェッショナルクローン

インスタントクローンは、短いサンプル（多くは1〜2分未満）から数秒で作られ、落ち着いた話し方なら本人にかなり近く聞こえます。プロフェッショナルクローンははるかに多くの音声（通常は30分から数時間のきれいな録音）で学習し、感情の込もった声、叫び声、ささやき声でも崩れにくくなります。

同意と法律

声は個人を特定します。GDPRでは、個人を識別するために処理される音声データは生体データにあたり、声をクローンするサービス（このサービスを含む）はサンプルをそのように扱います。つまり法的根拠、通常は明示的な同意が必要です。イリノイ州のBIPAは声紋を対象とし、テネシー州のELVIS Actは無断のものまねから個人の声を守り、EU AI Actは合成音声であることの開示を義務づけています。許可なく他人の声をクローンすると、これらの複数に同時に違反するおそれがあります。

用途

クリエイターの動画を本人の声で吹き替える、撮り直しなしで録音の一語を直す、声を失った人のためのナレーション、著者自身が読むオーディオブックなどです。同じ技術は音声詐欺も可能にするため、信頼できるツールはその声を使ってよいかの確認を求めます。

よくある質問

声をクローンするには、どれくらいの音声が必要ですか？

インスタントクローンなら、はっきりした話し声が約20秒から2分ほどあれば作れます。プロフェッショナルクローンは30分以上の音声で学習します。

ボイスクローンは違法ですか？

ご自身の声や、使用の許可を得た声のクローンは、ほとんどの地域で合法です。同意なく他人の声をクローンすると、プライバシー、生体情報、パブリシティ権に関する法律に違反するおそれがあり、人をだますために使えば詐欺になります。

クローンした声でほかの言語を話せますか？

はい。多言語の音声モデルなら、本人が話せない言語でも、声の響きを保ったままクローンに話させられます。ただし、なまりは変わることがあります。

クローンした声と本物の声は聞き分けられますか？

短く落ち着いた文では、聞き分けられないことが多いです。長い内容になると、平板な感情、不自然な強調、名前の読み間違いなどで、たいてい見抜けます。