Speech to text nasıl çalışır? Ses dalgalarından kelimelere

Telefona bir şey söylüyorsunuz ve bir saniye sonra sözleriniz metin olarak beliriyor. Artık sıradan geliyor, ama perde arkasında modern bilişimin en dikkat çekici numaralarından biri yatıyor: havadaki bir basınç dalgasını, aksanlara, gürültüye ve insan konuşmasının genel karmaşasına rağmen tam olarak kastettiğiniz kelime dizisine dönüştürmek. Speech to text, yani konuşmadan metne teknolojisi tam olarak bunu yapar.

Bu yazı, yapay zekâ ile konuşmadan metne dönüştürmenin gerçekte nasıl çalıştığını sade bir dille anlatıyor: ses ile cümle arasında neler olduğunu, Whisper tarzı modellerin gelişiyle birlikte modern sistemlerin neden bu kadar iyileştiğini ve neden hâlâ belirli türden hatalar yaptıklarını. Matematik bilmenize gerek yok; amaç zihninizde bir model oluşturmak, çünkü bu, temiz transkriptler almakta sizi daha başarılı kılar.

Ses dalgasından sayılara

Her şey sesi dijitalleştirmekle başlar. Mikrofon, hava basıncındaki değişimleri elektrik sinyaline çevirir; bu sinyal saniyede binlerce kez örneklenerek uzun bir sayı listesine, yani ham dalga biçimine dönüşür. Ham dalga biçimleriyle çalışmak zordur; bu yüzden sistem onları daha kullanışlı bir gösterime çevirir: spektrogram. Spektrogram, özünde sesin bir resmidir ve her an hangi frekansların bulunduğunu gösterir.

Bu, göründüğünden daha önemlidir. Konuşmanın frekans düzleminde bir yapısı vardır: ünlüler, ünsüzler ve perde, her biri kendine özgü desenler bırakır. Spektrogram bu desenleri, bir notanın melodiyi görünür kılması gibi görünür kılar ve bu desenleri “okumak”, yapay sinir ağlarının son derece iyi olduğu ortaya çıkan bir iştir.

Eski yöntem: uzmanlardan oluşan bir hat

Onlarca yıl boyunca otomatik konuşma tanıma (ASR), ayrı bileşenlerden oluşan bir montaj hattı gibi çalıştı. Akustik model, spektrogram dilimlerini fonemlerle, yani bir dilin temel ses birimleriyle eşleştirirdi. Bir telaffuz sözlüğü fonem dizilerini aday kelimelere bağlardı. Ardından bir dil modeli hangi kelime dizilerinin makul olduğunu sıralardı; böylece örneğin İngilizcede kulağa neredeyse aynı gelen “recognize speech” (konuşmayı tanı), “wreck a nice beach”e (güzel bir plajı mahvet) üstün gelirdi.

Bu hat işe yarıyordu ama kırılgandı. Her bileşen ayrı ayrı geliştirilip ayarlanıyor, hatalar hat boyunca birikiyordu; yeni bir dili ya da aksanı desteklemek birkaç parçayı yeniden inşa etmek demekti. Sizden bir saat boyunca kendi sesinizle eğitilmeyi bekleyen dikte yazılımlarını hatırlıyorsanız, o dönem işte bu hat dönemiydi.

Yeni yöntem: uçtan uca tek büyük model

Modern sistemler — en ünlü açık örnek Whisper — montaj hattını uçtan uca eğitilmiş tek bir sinir ağında topladı. Model spektrogramı bir uçtan alır, diğer uçtan metin üretir; akustiği, kelime dağarcığını ve dilbilgisini, transkriptleriyle eşleştirilmiş muazzam miktarda ses üzerinden birlikte öğrenir. Pek çok dilde, dağınık gerçek dünya koşullarında yüz binlerce saatlik konuşma.

Mimari açıdan bunlar transformer modelleridir; modern dil yapay zekâsının arkasındaki aileyle aynı. Sezgisel olarak şöyle düşünebilirsiniz: bir kodlayıcı (encoder) sesi zengin bir iç temsile dönüştürür, bir kod çözücü (decoder) ise transkripti her seferinde bir token olacak şekilde yazar ve her adımda hem sese hem de o ana kadar yazdığı kelimelere bakar. Model aslında aynı anda hem dinler hem de makul bir transkriptin devamında ne yazacağını tahmin eder; gürültüyü ve belirsizliği eski hattan çok daha iyi yönetmesinin nedeni de tam olarak budur. Bir kelime öksürükle yarı yarıya kaybolduğunda, modelin bağlam duygusu boşluğu tıpkı bir insan dinleyicinin yapacağı gibi doldurur.

Dağınık, çok dilli, gerçek dünya sesleriyle eğitilmek, modern araçların aksanları, arka plan gürültüsünü ve gündelik konuşmayı kullanıcıya özel eğitim olmadan halledebilmesinin de nedenidir. Eskiden hattı bozan çeşitlilik, artık modelin eğitim menüsüdür.

Speech to text adım adım: bir dosya yüklediğinizde neler olur?

Hepsini bir araya getirelim; kaydınızın modern bir transkripsiyon aracı içindeki yolculuğu şöyle:

1. Çözme ve hazırlık. MP3, MP4 ya da WAV dosyanız standart bir dalga biçimine çözülür; çok uzun dosyalar modelin işleyebileceği parçalara bölünür.

2. Öznitelik çıkarımı. Her parça bir spektrograma, yani modelin okuduğu frekans resmine dönüştürülür.

3. Tanıma. Sinir ağı her parçayı yazıya döker; belirsiz sesleri bağlamdan yararlanarak olası kelimelere çevirir, noktalama ve büyük harfleri ekler.

4. Zaman damgaları. Sistem kelimeleri sesteki anlarla hizalar; sonradan bir cümleye tıklayıp tam o saniyeyi dinleyebilmeniz bu sayede mümkün olur.

5. Konuşmacı ayrımı. Paralel olarak yardımcı bir süreç seslerin izini çıkarır ve onları kümeler; böylece satırlar Konuşmacı 1'e, Konuşmacı 2'ye ve diğerlerine atanabilir.

6. Birleştirme. Parçalar yeniden birleştirilerek düzenlemeye, çeviriye ya da içerik üretimine hazır, tutarlı, zaman damgalı ve konuşmacı etiketli tek bir transkript oluşturulur.

Bir saatlik ses için tüm bunlar genellikle birkaç dakika sürer; model sesi gerçek zamandan çok daha hızlı işler.

Neden hâlâ hata yapıyor (ve hatalar neden böyle görünüyor)?

Mekanizmayı anlamak, tipik hataları da açıklar:

• Model makul metin tahmin eder; bu yüzden ses net olmadığında boşluk bırakmak yerine akıcı bir şey uydurur. Hatalar doğal okunur; gözden kaçmalarının ve bir kontrol turunu hak etmelerinin nedeni budur.

• Nadir kelimeler, yaygın olanlara yenilir. Modelin pek az gördüğü bir ürün adı ya da alışılmadık bir soyadı, sık geçen benzer bir kelimeyle yer değiştirir. Adların ve jargonun kontrol listesinin başında olmasının nedeni budur.

• Üst üste binen konuşma, “aynı anda tek ses” varsayımını bozar; spektrogramda kelimenin tam anlamıyla aynı anda iki desen bulunur.

• Gürültü kanıtı siler. Model orta düzey gürültünün içinden çıkarım yapabilir, ama mikrofona hiç ulaşmamış frekansları geri getiremez.

• Kaynağı kısıtlı dillerin eğitim verisi daha azdır; bu yüzden aynı model içinde bile doğruluk dile göre değişir.

Madalyonun pratik yüzü: modele yardımcı olan her şey — temiz ses, yakın mikrofonlar, sırayla konuşma, adların net telaffuzu — doğrudan bu mekanizmaya karşılık gelir. İyi kayıt alışkanlıkları batıl inanç değildir; modele ihtiyaç duyduğu kanıtı sağlamanın yoludur.

Peki çeviri ve özetler?

Konuşma metne dönüştükten sonra modern dil yapay zekâsının geri kalanı devreye girer. Çok dilli modeller onlarca dili yazıya dökebilir; çeviri de bir dildeki transkripti başka bir dilde okunabilir bir belgeye dönüştürür. Özetleme ve içerik üretimi bunun üzerine eklenen dil modeli görevleridir: transkript; toplantı notları, bölüm notları, bir blog taslağı ya da sosyal medya gönderileri için kaynak malzemeye dönüşür.

Transkripsiyon araçlarının sessiz sedasız içerik araçlarına dönüşmesinin nedeni de bu: zor kısım, yani sesten aslına sadık metin çıkarmak, diğer her şeyin kilidini açan adımın ta kendisidir. BlaBlaScribe gibi bir araç bu aşamaları birbirine bağlar; tek bir yüklemeden transkript, çeviri ve türetilmiş içerik tek bir iş akışında çıkar.

Sık sorulan sorular

ASR nedir?

ASR, İngilizce “automatic speech recognition” yani otomatik konuşma tanıma ifadesinin kısaltmasıdır: konuşulan sesi yazılı metne dönüştüren teknoloji. Modern ASR, akustik ve dil modellerinden oluşan eski çok bileşenli hatların yerini alan, çok büyük miktarda sesle eğitilmiş uçtan uca sinir ağları kullanır.

Whisper nedir?

Whisper, uçtan uca ve çok dilli eğitimin transkripsiyon kalitesini ne kadar ileri taşıyabileceğini gösteren, tanınmış bir açık kaynak konuşma tanıma modelidir. Muazzam miktarda gerçek dünya sesiyle eğitilmiştir, birçok dili sağlam biçimde yazıya döker ve modern transkripsiyon araçlarının üzerine inşa ettiği standardın belirlenmesine katkıda bulunmuştur.

Speech to text ne söylediğimi anlıyor mu?

İnsani anlamda hayır. Model istatistiksel yapıyı öğrenir — hangi seslerin hangi kelimelere karşılık geldiğini ve hangi kelimelerin hangilerini makul biçimde izlediğini — ama kavrayış ya da niyet olmadan. Bu, dikkat çekici derecede iyi yazıya dökmeye yeter; hataların bariz saçmalıklar değil, kulağa akıcı gelen tahminler olmasının nedeni de budur.

Transkriptim neden birbirine benzeyen kelimeleri karıştırıyor?

Çünkü model belirsiz sesleri bağlam ve sıklık kullanarak çözer. İki kelime birbirine benziyorsa bağlama daha uygun olanı seçer: çoğunlukla doğru, ara sıra yanlış; özellikle de pek az gördüğü adlarda ve uzmanlık terimlerinde. Net telaffuz ve adlar üzerinde hızlı bir kontrol turu bunun büyük kısmını düzeltir.

Transkripsiyon araçları sesimle model eğitiyor mu?

Politikalar sağlayıcıya göre değişir. Güvenilir araçlar, yüklemelerin saklanıp saklanmadığını ve modelleri geliştirmek için kullanılıp kullanılmadığını açıkça belirtir; birçoğu müşteri sesleriyle model eğitmeme taahhüdü verir. İşiniz açısından önemliyse yüklemeden önce veri politikasını kontrol edin; iyi sağlayıcılar onu bulmayı kolaylaştırır.

Speech to text ile ses tanıma aynı şey mi?

Tam olarak değil; terimler sık sık birbirine karıştırılır. Speech to text (ASR), söyleneni yazılı kelimelere dönüştürür. Ses tanıma ise dar anlamıyla, sese dayalı bir güvenlik kontrolünün bir kişiyi doğrulaması gibi, kimin konuştuğunu belirlemek ya da doğrulamakla ilgilidir. Bir transkripsiyon aracı kelimelere odaklanır; tek tek konuşmacıları tanımak ise konuşmacı ayrımının üstlendiği ayrı bir iştir.

Özetle

Yapay zekâ ile konuşmadan metne dönüştürme, sesi bir frekans resmine çevirerek ve ardından okyanuslar dolusu gerçek konuşmayla eğitilmiş büyük bir sinir ağının bu resmi okuyup kelimeleri yazmasına izin vererek çalışır; sesin belirsiz bıraktığı yerleri de bağlamla doldurur. Transkripsiyonun çarpıcı biçimde iyileşmesinin, diller arasında çalışmasının ve nadir hatalarının neden böyle göründüğünün açıklaması budur.

Bunu takdir etmenin en iyi yolu, kendi sesinizle denemektir. BlaBlaScribe'a ücretsiz bir dosya yükleyin ve konuşmanın birkaç dakikada zaman damgalı, konuşmacı etiketli bir transkripte dönüşmesini izleyin; artık arada tam olarak neler olduğunu biliyorsunuz. Mekanizmayı anlamanın kendi ödülü de var: modelin bir frekans resmini okuyup en makul kelimeleri tahmin ettiğini bildiğinizde, bu rehberdeki her kayıt ipucu ezberlenecek bir kural olmaktan çıkar ve kendi başınıza akıl yürütebileceğiniz bir şeye dönüşür.