Was ist Voice Cloning?

Voice Cloning bedeutet, aus Aufnahmen der Sprache einer bestimmten realen Person eine synthetische Stimme zu erzeugen, die wie sie klingt. Der Klon kann dann neue Sätze sprechen, die die Person nie aufgenommen hat, auch in anderen Sprachen – so behalten Synchronisationstools die eigene Stimme eines Sprechers in einer Übersetzung.

Beispiel

Probe:    42 Sekunden, in denen Anna in ihrem Video Englisch spricht
Text:     „Empezamos con tres clientes y una sala alquilada.“
Ergebnis: der spanische Satz, gesprochen mit einer Stimme, die wie Anna klingt

So funktioniert es

Ein Sprachmodell, das mit vielen Stimmen trainiert wurde, lernt, was eine Stimme von anderen unterscheidet: Tonhöhe, Klangfarbe, Akzent und Rhythmus. Bekommt es eine Probe eines neuen Sprechers, erfasst es diese Merkmale und wendet sie auf jeden Text an, den es spricht. Die Worte kommen aus dem Text; nur der Klang der Stimme stammt aus der Probe.

Sofort- und Profi-Klone: Stimme klonen in zwei Stufen

Ein Sofort-Klon entsteht in Sekunden aus einer kurzen Probe, oft unter einer oder zwei Minuten, und klingt bei neutraler Sprache nah an der Person. Ein professioneller Klon wird mit deutlich mehr Audio trainiert, typischerweise einer halben Stunde bis mehreren Stunden sauberer Aufnahmen, und hält bei Emotionen, Schreien oder Flüstern besser stand.

Einwilligung und Recht

Eine Stimme identifiziert einen Menschen. Nach der GDPR (DSGVO) sind Stimmdaten, die zur Identifizierung einer Person verarbeitet werden, biometrische Daten, und Dienste, die Stimmen klonen, auch dieser, behandeln die Proben entsprechend: Sie brauchen eine Rechtsgrundlage, normalerweise eine ausdrückliche Einwilligung. Der BIPA in Illinois erfasst Stimmabdrücke, der ELVIS Act in Tennessee schützt die Stimme eines Menschen vor unerlaubter Nachahmung, und der EU AI Act verlangt, synthetisches Audio als solches offenzulegen. Wer jemanden ohne Erlaubnis klont, kann gegen mehrere dieser Regeln gleichzeitig verstoßen.

Wofür es genutzt wird

Um die Videos eines Creators in seiner eigenen Stimme zu synchronisieren, ein Wort in einer Aufnahme ohne neuen Take zu korrigieren, als Sprachausgabe für Menschen, die ihre Stimme verloren haben, und für Hörbücher, die der Autor selbst liest. Dieselbe Technik ermöglicht auch Betrug mit gefälschten Stimmen – deshalb lassen seriöse Tools bestätigen, dass Sie die Stimme nutzen dürfen.

Fragen

Wie viel Audio braucht man, um eine Stimme zu klonen?

Für einen Sofort-Klon etwa 20 Sekunden bis ein paar Minuten klarer Sprache. Professionelle Klone werden mit 30 Minuten oder mehr trainiert.

Ist Voice Cloning legal?

Die eigene Stimme zu klonen oder eine, die Sie nutzen dürfen, ist an den meisten Orten legal. Jemanden ohne Einwilligung zu klonen, kann gegen Datenschutz-, Biometrie- und Persönlichkeitsrechte verstoßen, und wer damit täuscht, begeht Betrug.

Kann eine geklonte Stimme eine andere Sprache sprechen?

Ja. Mehrsprachige Sprachmodelle können den Klon Sprachen sprechen lassen, die die Person nicht spricht, und behalten dabei den Klang ihrer Stimme – der Akzent kann sich allerdings ändern.

Kann man eine geklonte Stimme von der echten unterscheiden?

Bei kurzen, neutralen Sätzen oft nicht. Bei längeren Passagen verraten sie meist flache Emotionen, seltsame Betonungen oder falsch ausgesprochene Namen.