InloggenProbeer gratis

Wat is voice cloning?

Voice cloning, of stem klonen, is het maken van een synthetische stem die klinkt als een specifiek echt persoon, op basis van opnames van zijn of haar spraak. De kloon kan daarna nieuwe zinnen zeggen die de persoon nooit heeft opgenomen, ook in andere talen, en zo houden nasynchronisatietools de eigen stem van een spreker in een vertaling.

Voorbeeld
Fragment: 42 seconden van Anna die Nederlands spreekt in haar video
Tekst:    “Empezamos con tres clientes y una sala alquilada.”
Resultaat: de Spaanse zin, uitgesproken met een stem die klinkt als Anna

Hoe het werkt

Een spraakmodel dat op veel stemmen is getraind, leert wat een stem onderscheidt: toonhoogte, klankkleur, accent en ritme. Krijgt het een fragment van een nieuwe spreker, dan legt het die kenmerken vast en past ze toe op elke tekst die het uitspreekt. De woorden komen uit de tekst; alleen de klank van de stem komt uit het fragment.

Directe en professionele klonen

Een directe kloon wordt in seconden gemaakt uit een kort fragment, vaak korter dan een minuut of twee, en klinkt bij neutrale spraak dicht bij de persoon. Een professionele kloon wordt getraind op veel meer audio, meestal een half uur tot enkele uren aan schone opnames, en houdt beter stand bij emotie, schreeuwen of fluisteren.

Toestemming en de wet bij stem klonen

Een stem identificeert een persoon. Onder de AVG (GDPR) zijn stemgegevens die worden verwerkt om iemand te identificeren biometrische gegevens, en diensten die stemmen klonen, ook deze, behandelen de fragmenten zo: ze hebben een rechtsgrond nodig, normaal gesproken uitdrukkelijke toestemming. De BIPA van Illinois dekt stemafdrukken, de ELVIS Act van Tennessee beschermt iemands stem tegen ongeoorloofde imitatie, en de EU AI Act eist dat synthetische audio als zodanig wordt aangeduid. Iemand zonder toestemming klonen kan meerdere van deze regels tegelijk schenden.

Waarvoor het wordt gebruikt

Video’s van een maker nasynchroniseren in zijn eigen stem, een woord in een opname verbeteren zonder nieuwe take, vertelstemmen voor mensen die hun stem kwijt zijn, en luisterboeken die door de auteur worden voorgelezen. Dezelfde technologie maakt oplichting met stemmen mogelijk, en daarom vragen betrouwbare tools om te bevestigen dat je de stem mag gebruiken.

Vragen

Hoeveel audio heb je nodig om een stem te klonen?

Voor een directe kloon van ongeveer 20 seconden tot een paar minuten duidelijke spraak. Professionele klonen worden getraind op 30 minuten of meer.

Is voice cloning legaal?

Je eigen stem klonen, of een stem die je mag gebruiken, is op de meeste plaatsen legaal. Iemand zonder toestemming klonen kan privacy-, biometrie- en portretrechtwetgeving schenden, en het gebruiken om te misleiden is fraude.

Kan een gekloonde stem een andere taal spreken?

Ja. Meertalige spraakmodellen kunnen de kloon talen laten spreken die de persoon zelf niet spreekt, met behoud van de klank van de stem, al kan het accent veranderen.

Kunnen mensen een gekloonde stem van de echte onderscheiden?

Bij korte, neutrale zinnen vaak niet. In een langer stuk verraden een vlakke emotie, vreemde klemtonen of verkeerd uitgesproken namen het meestal.

Lees meer

Verwante begrippen

  • Nasynchronisatie

    Nasynchronisatie, in het Engels dubbing, is het vervangen van de spraak in een film, serie of video door nieuw opgenomen spraak, meestal een vertaling in een andere taal, zodat kijkers het verhaal in hun eigen taal horen in plaats van ondertitels te lezen. De nieuwe zinnen worden op het beeld getimed, en de muziek en geluidseffecten van het origineel blijven behouden.

  • Voice-over vertaling

    Een voice-over vertaling legt een gesproken vertaling over de originele audio, die op een lager volume hoorbaar blijft. Anders dan bij nasynchronisatie probeert ze de originele stemmen niet te vervangen of lipbewegingen te volgen: kijkers horen dat iemand anders vertaalt.

  • Dubbingscript

    Een dubbingscript is de vertaalde dialoog van een film of video, zo herschreven dat elke zin kan worden uitgesproken in de tijd die de originele zin op het scherm duurt. Het bevat elke zin met het personage dat hem zegt en de in- en uittijdcodes. De aangepaste tekst is wat stemacteurs, of een AI-stem, in de studio voorlezen.

Bijgewerkt: