Kelime hata oranı nedir ve %99 doğruluk iddiaları neyi gizler?

Kelime hata oranı (WER, Word Error Rate), konuşma tanımanın standart ölçütüdür: kusursuz bir referans transkript alın, makinenin çıktısıyla kelime kelime karşılaştırın ve hataları sayın. %5'lik bir WER kabaca “%95 doğruluk” anlamına gelir — sorun da tam olarak bu ölçütün pazarlama diline çevrildiği yerde başlar. WER gerçek ve kullanışlı bir ölçüdür; reklamlarda aktarılma biçimi ise neredeyse anlamsızdır. Bu yazıda kelime hata oranı nedir, ölçüt nasıl işler, neyi gizler ve %99 doğruluk iddialarını işin ehli biri gibi nasıl değerlendirebilirsiniz, adım adım anlatıyoruz.

Kelime hata oranı (WER) nasıl hesaplanır?

Makinenin transkriptini insan tarafından doğrulanmış bir referansla hizalayın ve üç tür hatayı sayın:

• Değiştirmeler (substitution) — yanlış kelime: “hâlâ” yerine “hala”, “BlaBlaScribe” yerine “bla bla skrayb”.

• Silmeler (deletion) — makinenin atladığı kelimeler.

• Eklemeler (insertion) — makinenin uydurduğu, çoğu zaman arka plan gürültüsünden türeyen kelimeler.

Ardından: WER = (S + D + I) ÷ N; burada N, referanstaki kelime sayısıdır. 200 kelimelik bir referansta on hata = %5 WER. Eklemeler de sayıldığı için WER, çok kötü seslerde %100'ü aşabilir — ölçütün ne kadar lafzi olduğunu gösteren bir tuhaflık. (Ölçütün kökeni düzenleme mesafesine dayanır; resmî tanım Wikipedia maddesinde.)

WER neyi gizler?

Bütün hatalar aynı ağırlıkta sayılır — oysa öyle değildir

Bir “ııı”yı atlamak da CEO'nun adını yanlış yazmak da WER için birer hatadır. Okur açısından biri görünmezdir, diğeri ekran görüntüsü alınıp paylaşılacak bir gaftır. Gerçek transkriptlerin kaderini hangi kelimelerin yanlış olduğu belirler — isimler, sayılar, olumsuzluklar — ve WER bu farkı görmez. (“Yapabiliriz” ile “yapamayız” arasındaki fark tek bir değiştirmedir.)

Test sesi bilinmeden sayı hiçbir şey ifade etmez

Aynı sistem stüdyoda kaydedilmiş bir podcast'te %4 WER, rüzgârlı bir ayaküstü basın açıklamasının telefon kaydında ise %30 WER alabilir. Bir sağlayıcının “%99 doğruluk” iddiası bir şey üzerinde ölçülmüştür — neredeyse kesinlikle temiz, anadil aksanlı, tek konuşmacılı bir konuşma üzerinde. Sizin sonuçlarınızı öngören tek ölçüt sizin sesinizdir; transkripsiyon doğruluğunun neden değiştiğini anlattığımız rehberin dürüst özü de budur.

Normalleştirme oyunları

Karşılaştırmadan önce metinler normalleştirilir — büyük/küçük harf, noktalama, “20” mi “yirmi” mi, dolgu kelimeleri. Farklı normalleştirme tercihleri WER'i birkaç puan oynatır. Yayımlanan sayılar bu tercihleri nadiren açıklar; bu da manşet rakamları üzerinden yapılan sağlayıcılar arası karşılaştırmaları çoğunlukla bir gösteriye çevirir.

WER, ürünün geri kalanı hakkında hiçbir şey söylemez

Konuşmacı atama hataları, bozuk noktalama, kayan zaman damgaları — hiçbiri WER'e yansımaz. %3 WER'li ama konuşmacı etiketleri birbirine girmiş bir transkript, konuşmacıları temiz ayrılmış %5 WER'li bir transkriptten daha kötü bir iş çıktısıdır. (Konuşmacı ayrımının kendi ölçütü DER'dir ve sağlayıcılar onu daha da seyrek anar.)

%99 doğruluk iddiaları nasıl okunmalı?

Pazarlama dili için hızlı bir çeviri tablosu:

Bunların hiçbiri tam anlamıyla yalan değil — tipikmiş gibi sunulan en iyi durum rakamları. Dürüst bir doğruluk tartışmasını ele veren şey koşullardır: hangi ses, hangi aksanlar, hangi normalleştirme.

Önemli olan tek kıyaslama: sizinki

Test etmek, okumaktan iyidir. Prosedür yirmi dakika sürer:

1. Gerçek bir kayıt seçin — her zamanki mikrofonlarınız, aksanlarınız, çapraz konuşmalarınız. En temiz dosyayı değil, tipik olanı.

2. Kaydı karşılaştırdığınız araçlardan geçirin (ücretsiz planlar tam da bunun için var — ücretsiz araçlar rehberimiz onları sıralıyor).

3. Resmî WER hesaplamayın — okuyun. Size pahalıya patlayan kelimeleri kontrol edin: isimler, sayılar, teknik terimler, olumsuzluklar. Bu hataları sayın.

4. Çevresini kontrol edin: konuşmacı etiketleri doğru mu? Noktalama okunabilir mi? Zaman damgaları doğrulama için tıklanabilir mi?

5. Düzeltme süresini ölçün: her aracın düzenleyicisinde yayımlanabilir hâle gelene kadar geçen dakikalar, haftanızda gerçekten hissedeceğiniz ölçüttür.

Sık sorulan sorular

2026'da yapay zekâ transkripsiyonu için iyi bir WER ne kadar?

Temiz, iyi mikrofonla kaydedilmiş konuşmada önde gelen sistemler tek haneli rakamların alt ucunda — gerçekten mükemmel. Zor seslerde (gürültü, belirgin aksanlar, üst üste konuşma) WER her sistemde hızla tırmanır. Tek ve dürüst bir sayı yoktur.

%95 doğruluk iyi mi?

Bu, her yirmi kelimede bir hata demek — yoğun bir transkriptin her satırında fark edilir. “İyi” olup olmadığı tamamen hangi kelimelerin yanlış olduğuna ve düzenleyicinin onları ne kadar hızlı düzeltmenize izin verdiğine bağlıdır.

Neden bütün sağlayıcılar ~%99 iddia ediyor?

Çünkü temiz kıyaslama setlerindeki en iyi durum rakamları oraya düşüyor ve kimse rüzgârlı bir otoparkta aldığı skorun reklamını yapmıyor. Birbirine yakınsayan iddiaları, bütün araçların eşit olduğunun değil, ölçütün artık ayırt edici olmadığının kanıtı olarak görün.

Daha düşük WER her zaman daha iyi transkript demek mi?

Aynı seste genellikle evet — ama pratik değeri konuşmacı ataması, noktalama ve düzenlenebilirlik belirler. Ondalık basamakları değil, bitmiş transkriptleri karşılaştırın.

Özetle

WER iyi bir mühendislik ölçütü, kötü bir satın alma rehberidir. Neyi saydığını bilin, neyi görmezden geldiğini fark edin ve kendi gözlerinizle okuduğunuz dağınık, gerçek bir kaydın, bütün reklamlardaki bütün yüzdelerden daha ağır basmasına izin verin.