音声認識はどう動く？AIが音声をテキストに変える仕組み

スマートフォンに話しかけると、1秒後には言葉が文字になって表示される。いまではごく当たり前の光景ですが、その裏側では、現代のコンピューティングでも指折りの見事な技が働いています。空気の圧力の波を、なまりや雑音、人の話し言葉につきものの混沌を乗り越えて、話し手が意図したとおりの単語の並びに変えているのです。

この記事では、AIによる音声認識の仕組みを、専門用語に頼らずわかりやすく案内します。音が文章になるまでに何が起きているのか、Whisperのようなモデルの登場を境に最新のシステムがなぜこれほど良くなったのか、そしてなぜ今でも特有の間違いをするのか。数式は不要です。目指すのは頭の中にイメージを持つこと。それがあれば、きれいな文字起こしを得るのが上手になるからです。

音の波から数値へ

すべては音のデジタル化から始まります。マイクが空気の圧力の変化を電気信号に変え、その信号を1秒間に何千回もサンプリングして、長い数値の列にします。これが生の波形です。生の波形はそのままでは扱いにくいので、システムはもっと使いやすい表現に変換します。それがスペクトログラム、つまりどの瞬間にどの周波数が含まれているかを示す、音声の「絵」のようなものです。

これは見た目以上に重要です。話し声には周波数の構造があり、母音、子音、声の高さはそれぞれ特徴的なパターンを残します。楽譜がメロディーを目に見える形にするように、スペクトログラムはそうしたパターンを見える形にします。そして、そのパターンを「読む」ことは、ニューラルネットワークが驚くほど得意とする作業なのです。

かつての方法：専門部品を並べたパイプライン

何十年ものあいだ、自動音声認識（ASR）は、別々の部品を並べた組み立てラインのように動いていました。音響モデルがスペクトログラムの断片を音素、つまりその言語の音の基本単位に対応させます。発音辞書が音素の並びを候補となる単語に対応させます。そして言語モデルが、どの単語の並びがもっともらしいかを順位づけします。これにより、音がまったく同じ「ここではきものをぬいでください」でも、「ここで履物を脱いでください」が「ここでは着物を脱いでください」より優先される、といった判断ができました。

このパイプラインは機能しましたが、もろいものでした。部品はそれぞれ別々に作られ調整されていたので、誤りが後段へ行くほど積み重なり、新しい言語やなまりに対応するには、いくつもの部品を作り直す必要がありました。1時間かけて自分の声を覚えさせなければならなかった音声入力ソフトを覚えているなら、それがパイプラインの時代です。

新しい方法：ひとつの大きなモデルでエンドツーエンドに

最新のシステムは、組み立てラインをエンドツーエンドで学習するひとつのニューラルネットワークにまとめました。オープンなモデルとして有名なのがWhisperです。モデルは片側からスペクトログラムを受け取り、反対側からテキストを出力します。音響、語彙、文法を、文字起こしとペアになった膨大な量の音声からまとめて学習するのです。その量は、多くの言語にわたる、雑多な現実の環境で録られた何十万時間もの話し声です。

構造としては、これらはトランスフォーマーモデルで、最新の言語AIを支えるのと同じ系統です。イメージとしてはこうです。エンコーダーが音声を咀嚼して豊かな内部表現に変え、デコーダーが文字起こしをトークンごとに書き出していきます。その際、各ステップで音声とすでに書いた言葉の両方に注意を向けます。つまりモデルは、聞きながら同時に、もっともらしい文字起こしの続きを予測しているのです。これこそが、雑音やあいまいさに古いパイプラインよりはるかに強い理由です。咳で言葉が半分かき消されても、人間の聞き手と同じように、モデルは文脈から抜けた部分を補います。

雑多で多言語の、現実の音声で学習していることが、最新のツールがユーザーごとの学習なしに、なまりや背景の雑音、くだけた話し言葉に対応できる理由でもあります。かつてパイプラインを壊していた多様性が、いまでは学習の糧になっているのです。

音声認識の仕組み：ファイルをアップロードすると何が起きるのか

ここまでをまとめて、最新の文字起こしツールの中で録音がたどる道のりを見てみましょう。

1. デコードと下準備。MP3、MP4、WAVなどのファイルが標準的な波形にデコードされ、非常に長いファイルはモデルが処理できる長さの区間に分割されます。

2. 特徴抽出。各区間がスペクトログラム、つまりモデルが読む周波数の絵に変換されます。

3. 認識。ニューラルネットワークが各区間を文字起こしし、文脈を手がかりにあいまいな音をもっともらしい単語に決め、句読点を付けます（英語などでは大文字・小文字も整えます）。

4. タイムスタンプ。システムが単語と音声の中の時点を対応づけます。これがあるからこそ、あとで文をクリックするとその秒の音声を聞けるのです。

5. 話者分離。並行して、別の処理が声の特徴を捉えてグループ分けし、各行を話者1、話者2……と割り当てられるようにします。

6. 組み立て。区間がつなぎ合わされ、タイムスタンプと話者ラベル付きのひとつのまとまった文字起こしになります。これで編集、翻訳、コンテンツ生成の準備が整います。

1時間の音声なら、ここまでにかかるのはたいてい数分です。モデルは実時間よりずっと速く処理するからです。

それでも間違えるのはなぜか（そして間違い方に特徴があるのはなぜか）

仕組みがわかると、特徴的な誤りの理由も見えてきます。

• モデルはもっともらしいテキストを予測します。そのため音声が不明瞭だと、空白にせずに流暢な何かを推測で埋めます。誤りが自然に読めてしまうので見落としやすく、だからこそ見直しが必要です。

• 珍しい言葉はよくある言葉に負けます。モデルがほとんど目にしたことのない製品名や珍しい名字は、よく似たありふれた言葉に置き換えられがちです。人名や専門用語を真っ先に確認すべきなのはこのためです。

• 話し声の重なりは、声は一度にひとつという前提を崩します。スペクトログラムには文字どおり2つのパターンが同時に含まれてしまいます。

• 雑音は手がかりを消します。モデルはほどほどの雑音なら推測で乗り越えられますが、そもそもマイクに届かなかった周波数を取り戻すことはできません。

• 話者の少ない言語は学習データが手薄なので、同じモデルでも言語によって精度にばらつきが出ます。

裏を返せば、実践的な指針にもなります。クリアな音声、口元に近いマイク、一人ずつ話すこと、名前をはっきり発音すること。モデルを助けるものはすべて、この仕組みにそのまま対応しています。録音のコツは迷信ではありません。モデルが必要とする手がかりを与えているのです。

翻訳や要約はどうなっているのか

音声がテキストになれば、あとは最新の言語AIの出番です。多言語モデルは何十もの言語を文字起こしでき、翻訳によって、ある言語の文字起こしを別の言語で読める文書に変えられます。要約やコンテンツ生成は、その上に重ねる言語モデルの仕事です。文字起こしが、議事録、番組メモ、ブログ記事の下書き、SNS投稿の素材になるのです。

文字起こしツールがいつの間にかコンテンツツールへと育ったのは、これが理由です。いちばん難しい部分、つまり音声から忠実なテキストを取り出す工程こそが、ほかのすべてを可能にする鍵だからです。BlaBlaScribeのようなツールはこれらの工程をつなげているので、1回のアップロードから、文字起こし、翻訳、そこから派生するコンテンツまでをひとつのワークフローで得られます。

よくある質問

ASRとは何ですか？

ASRは自動音声認識（Automatic Speech Recognition）の略で、話し声を書き言葉のテキストに変換する技術です。最新のASRは膨大な量の音声で学習したエンドツーエンドのニューラルネットワークを使い、音響モデルと言語モデルを組み合わせたかつての多段式パイプラインに取って代わりました。

Whisperとは何ですか？

Whisperはよく知られたオープンソースの音声認識モデルで、エンドツーエンドの多言語学習によって文字起こしの品質をどこまで高められるかを示しました。膨大な量の現実の音声で学習しており、多くの言語を安定して文字起こしでき、最新の文字起こしツールが土台とする水準をつくるのに貢献しました。

音声認識は話の内容を理解しているのですか？

人間と同じ意味では理解していません。モデルが学ぶのは統計的な構造、つまりどの音がどの単語に対応し、どの単語のあとにどの単語が来やすいかであって、理解や意図はありません。それでも驚くほど上手に文字起こしできますし、だからこそ誤りは明らかな意味不明の文字列ではなく、流暢に聞こえる推測になるのです。

文字起こしで発音の似た言葉を取り違えるのはなぜですか？

モデルが、あいまいな音声を文脈と出現頻度で判断しているからです。2つの言葉が似た音なら、文脈上よりもっともらしいほうを選びます。たいていは正しいのですが、ときどき間違えます。特に、ほとんど目にしたことのない人名や専門用語で起こりがちです。はっきり発音することと、人名をさっと見直すことで、ほとんどは解決します。

文字起こしツールはアップロードした音声で学習しますか？

方針はサービスによって異なります。信頼できるツールは、アップロードしたファイルを保存するかどうか、モデルの改善に使うかどうかを明記しており、多くは顧客の音声で学習しないと約束しています。仕事で重要なら、アップロードする前にデータポリシーを確認しましょう。良いサービスほど、すぐに見つかる場所に載せています。

音声認識と声紋認証は同じものですか？

少し違います。この2つの言葉はよく混同されます。音声認識（ASR）は、話された内容を書き言葉に変換するものです。一方、厳密な意味での声紋認証（話者照合）は、誰が話しているかを識別・確認するもので、声を使ったセキュリティチェックで本人を確認するのがその例です。文字起こしツールが扱うのは言葉であり、個々の話者を見分けるのは、話者分離が担う別の仕事です。

まとめ

AIによる音声認識は、音を周波数の絵に変え、膨大な量の現実の話し声で学習した大規模なニューラルネットワークがその絵を読んで言葉を書き出す、という仕組みで動いています。音声だけでは判断できない部分は文脈で補います。文字起こしが劇的に良くなったのも、多くの言語で使えるのも、まれな間違いがあのような形になるのも、すべてこの仕組みによるものです。

そのすごさを実感するいちばんの方法は、自分の音声で使ってみることです。BlaBlaScribeに無料でファイルをアップロードして、話し声が数分でタイムスタンプと話者ラベル付きの文字起こしになる様子を見てみてください。その間に何が起きているのか、もうおわかりのはずです。仕組みを理解することには、それ自体にも価値があります。モデルが周波数の絵を読み、もっともらしい言葉を予測しているとわかれば、このガイドで紹介した録音のコツは暗記すべきルールではなく、自分で筋道立てて考えられるものになります。