Word Error Rate (WER): jak interpretować obietnice „99% dokładności”

Word Error Rate (WER), czyli współczynnik błędów słownych, to standardowa miara rozpoznawania mowy: bierzesz idealną transkrypcję referencyjną, porównujesz z nią wynik maszyny słowo po słowie i liczysz pomyłki. WER na poziomie 5% oznacza z grubsza „95% dokładności” – i właśnie przy tym przekładzie z metryki na język marketingu zaczynają się kłopoty. WER to prawdziwa, przydatna miara, ale sposób, w jaki cytuje się ją w reklamach, jest niemal pozbawiony sensu. Wyjaśniamy, jak działa ta metryka, co ukrywa i jak interpretować obietnice „99% skuteczności” niczym ktoś, kto zna się na rzeczy.

Jak oblicza się WER

Zestaw transkrypcję maszynową z referencją zweryfikowaną przez człowieka i policz trzy rodzaje błędów:

• Podstawienia – niewłaściwe słowo: „morze” zamiast „może”, „bla bla scribe” zamiast „BlaBlaScribe”.

• Usunięcia – słowa, które maszyna pominęła.

• Wstawienia – słowa, które wymyśliła, często z szumu w tle.

Następnie: WER = (S + D + I) ÷ N, gdzie N to liczba słów w referencji. Dziesięć błędów w referencji liczącej 200 słów daje 5% WER. Ponieważ wstawienia też się liczą, przy fatalnym nagraniu WER może przekroczyć 100% – to dziwactwo dobrze pokazuje, jak dosłowna jest ta metryka. (Wywodzi się z odległości edycyjnej, a formalną definicję znajdziesz w haśle w Wikipedii).

Czego WER nie pokazuje

Wszystkie błędy ważą tyle samo – choć wcale nie powinny

Pominięte „yyy” i przekręcone nazwisko prezesa to dla WER po jednym błędzie. Dla czytelnika pierwszy jest niewidoczny, a drugi kończy się zrzutem ekranu w internecie. Prawdziwe transkrypcje stoją lub upadają w zależności od tego, które słowa są błędne – nazwiska, liczby, przeczenia – a WER tej różnicy nie widzi. („Zdążymy” zamiast „nie zdążymy” to tylko jeden błąd).

Bez nagrania testowego liczba nic nie znaczy

Ten sam system może osiągnąć 4% WER na podcaście nagranym w studiu i 30% na telefonicznym nagraniu z wietrznego tłumu dziennikarzy. Czyjeś „99% dokładności” zmierzono na czymś – niemal na pewno na czystej mowie jednego mówcy z rodzimym akcentem. Jedynym punktem odniesienia, który przewiduje Twoje wyniki, jest Twoje nagranie – i to jest uczciwe sedno naszego poradnika o tym, dlaczego dokładność transkrypcji się różni.

Gry z normalizacją

Przed porównaniem teksty się normalizuje – wielkość liter, interpunkcja, „20” czy „dwadzieścia”, wtrącenia. Różne decyzje normalizacyjne przesuwają WER o kilka punktów. Publikowane wyniki rzadko ujawniają te decyzje, więc porównywanie liczb z nagłówków między dostawcami to w większości teatr.

WER nie mówi nic o reszcie produktu

Błędy w przypisaniu mówców, rozsypana interpunkcja, rozjeżdżające się znaczniki czasu – nic z tego nie trafia do WER. Transkrypcja z 3% WER i pomieszanymi etykietami mówców to gorszy materiał roboczy niż ta z 5% WER i czystym przypisaniem. (Diaryzacja ma własną metrykę, DER, którą dostawcy cytują jeszcze rzadziej).

Jak interpretować obietnice dokładności

Krótki słownik języka marketingu:

Żadne z tych haseł nie jest właściwie kłamstwem – to wyniki z najlepszego scenariusza podane jako typowe. Uczciwą rozmowę o dokładności poznasz po tym, że mówi o warunkach: jakie nagrania, jakie akcenty, jaka normalizacja.

Jedyny benchmark, który się liczy: Twój

Testowanie wygrywa z czytaniem. Cała procedura zajmuje dwadzieścia minut:

1. Wybierz jedno prawdziwe nagranie – Twoje zwykłe mikrofony, akcenty, mówienie jeden przez drugiego. Nie najczystszy plik, tylko typowy.

2. Przepuść je przez porównywane narzędzia (od tego są darmowe plany – nasz przegląd darmowych narzędzi je zestawia).

3. Nie licz formalnego WER – czytaj. Sprawdź słowa, które Cię kosztują: nazwiska, liczby, terminy techniczne, przeczenia. Policz te błędy.

4. Sprawdź otoczenie: czy etykiety mówców się zgadzają? Czy interpunkcja jest czytelna? Czy znaczniki czasu dają się kliknąć, żeby coś zweryfikować?

5. Zmierz czas poprawek: liczba minut do wersji nadającej się do publikacji w edytorze każdego narzędzia to metryka, którą naprawdę odczujesz w swoim tygodniu.

Najczęściej zadawane pytania

Jaki WER jest dobry dla transkrypcji AI w 2026 roku?

Przy czystej, dobrze nagranej mowie czołowe systemy osiągają niskie wartości jednocyfrowe – to naprawdę znakomity wynik. Przy trudnym nagraniu (szum, silne akcenty, nakładające się głosy) WER mocno rośnie w każdym systemie. Nie ma jednej uczciwej liczby.

Czy 95% dokładności to dobry wynik?

To jeden błąd na dwadzieścia słów – widoczny w każdej linijce gęstej transkrypcji. Czy to „dobrze”, zależy wyłącznie od tego, które słowa są błędne i jak szybko edytor pozwoli Ci je poprawić.

Dlaczego wszyscy dostawcy deklarują ok. 99%?

Bo tam lądują wyniki z najlepszego scenariusza na czystych benchmarkach, a nikt nie reklamuje swojego wyniku z wietrznego parkingu. Zbieżne deklaracje traktuj jako dowód, że metryka przestała różnicować, a nie że wszystkie narzędzia są równie dobre.

Czy niższy WER zawsze oznacza lepszą transkrypcję?

Zwykle tak, na tym samym nagraniu – ale o wartości roboczej decydują przypisanie mówców, interpunkcja i łatwość edycji. Porównuj gotowe transkrypcje, a nie miejsca po przecinku.

Podsumowanie

WER to dobra metryka inżynierska i kiepski przewodnik zakupowy. Wiedz, co liczy, zauważaj, co pomija, i pozwól, żeby jedno nieuporządkowane, prawdziwe nagranie – przeczytane na własne oczy – przegłosowało każdy procent z każdej reklamy.