単語誤り率（WER）：文字起こし精度の測定方法

単語誤り率（WER）は、自動音声認識（ASR）システムの精度を測定する標準指標です。トランスクリプト中の単語が、置換、削除、挿入を通じて検証済みの参照トランスクリプトとどれだけ異なるかをパーセンテージで計算します。

文字起こしサービスを評価している場合でも、ASRモデルのベンチマークを行っている場合でも、「95%の精度」が実際に何を意味するのか理解しようとしている場合でも、WERが重要な数値です。このガイドでは、WERの仕組み、良いスコアとは何か、そしてこの指標が持つ強みと重要な限界について説明します。

単語誤り率とは？

単語誤り率は、文字起こしシステムが正解（グラウンドトゥルース）の参照トランスクリプトと比較して、どれだけの単語を間違えたかを測定します。パーセンテージで表され、低い値ほど高い精度を示します：WER 5%は、100単語中5つの単語でエラーがあったことを意味します。

WERの公式は次の通りです：

WER = (S + D + I) / N x 100%

各項目の意味：

• S（置換）：異なる単語に置き換えられた単語。参照が「cat」なのにトランスクリプトが「cap」になっている場合。
• D（削除）：参照に存在するがトランスクリプトにない単語。話されたがが文字起こしされなかった単語。
• I（挿入）：参照に存在しないがトランスクリプトにある単語。システムが話されていない単語を追加した場合。
• N：参照トランスクリプトの総単語数。

WER 0%はトランスクリプトが参照と完全に一致することを意味します。WER 100%はエラー数が参照の総単語数と等しいことを意味します。挿入が参照の単語数を超える場合、WERは実際に100%を超えることがありますが、現代のシステムではまれです。

なぜこの3種類のエラーが重要か

各エラータイプは音声認識における異なる失敗モードを反映しています：

• 置換は最も一般的なエラータイプです。音響モデルが似た音の単語を混同した場合（「their」と「there」）、言語モデルが統計的に可能性が高いが不正確な単語を選択した場合、アクセントや方言が誤認識を引き起こした場合に発生します。
• 削除はシステムが単語を完全に見落とした場合に発生します。フィラーワード（「えーと」「あの」）、早口の発話、話者の重複、音量の小さい箇所で一般的です。
• 挿入はシステムが話されていない単語を幻覚した場合に発生します。背景ノイズ、エコー、音楽が誤った単語検出を引き起こす可能性があります。

S、D、Iエラーの内訳を理解することは、集計WER数値だけよりもしばしば有用です。システムがどこで失敗しているか、結果を改善するために何ができるかを明らかにするからです。

WERの計算方法

WER計算は動的計画法を使用して、参照トランスクリプトと仮説（システム出力）間の最小編集距離を見つけます。これは文字列編集距離（レーベンシュタイン距離）に使用されるのと同じアルゴリズムで、単語レベルで適用されます。

以下はステップバイステップの例です。

参照トランスクリプト（実際に話された内容）：

The quick brown fox jumps over the lazy dog

仮説トランスクリプト（システムが生成した内容）：

The quik brown fox jump over a lazy dock

ステップ1：トランスクリプトを単語ごとにアライン。

参照	The	quick	brown	fox	jumps	over	the	lazy	dog
仮説	The	quik	brown	fox	jump	over	a	lazy	dock
エラータイプ	--	S	--	--	S	--	S	--	S

ステップ2：各エラータイプをカウント。

• 置換（S）：4（"quick" -> "quik"、"jumps" -> "jump"、"the" -> "a"、"dog" -> "dock"）
• 削除（D）：0（省略された単語なし）
• 挿入（I）：0（追加された単語なし）

ステップ3：公式を適用。

WER = (4 + 0 + 0) / 9 x 100% = 44.4%

参照の総単語数（N）は9です。4つの置換エラーで、WERは44.4%です。

より複雑な例

3つのエラータイプすべてを含むケースを考えてみましょう。

参照： "She sells sea shells by the seashore"

仮説： "She sell sea shells on seashore today"

アライメント：

参照	She	sells	sea	shells	by	the	seashore	--
仮説	She	sell	sea	shells	on	--	seashore	today
エラータイプ	--	S	--	--	S	D	--	I

• S = 2（"sells" -> "sell"、"by" -> "on"）
• D = 1（"the"が削除された）
• I = 1（"today"が挿入された）
• N = 7

WER = (2 + 1 + 1) / 7 x 100% = 57.1%

実際には、多くの挿入と削除がある長いトランスクリプトの手動アラインメントはエラーが起きやすいため、アラインメントステップはアルゴリズム的に計算されます。NISTのscliteやPythonのjiwerライブラリなどの研究ツールがこのプロセスを自動化します。

良いWERとは？

WERベンチマークは音質、ドメイン、話者数、言語によって大きく異なります。以下は英語の文字起こしの一般的なガイドです。

WER範囲	品質レベル	典型的なシナリオ
5%未満	優秀	スタジオ品質の音声、単一話者、クリアな発話、一般的な語彙
5%〜10%	良好	プロの録音、静かな部屋での会議、良いマイクでのインタビュー
10%〜15%	許容範囲	電話会議、ウェビナー、中程度の背景ノイズ
15%〜20%	まあまあ	ノイズの多い環境、アクセントのある発話、複数の話者が重複
20%超	不良	非常にノイズの多い音声、強いアクセント、マイク品質が悪い、遠距離の発話

参考として、プロの人間の文字起こし者は好条件下で通常4%〜6%のWERを達成しています。人間と機械のパフォーマンスの差は近年劇的に縮まり、最良のAIシステムはクリーンな音声で人間レベルの精度に匹敵またはそれに近づいています。

必要な品質レベルはユースケースによって異なります。10%のWERは、参加者がコンテキストを補完できる議事録には完全に許容できるかもしれませんが、すべての単語が重要な法的証言録取や医療トランスクリプトには不十分でしょう。

現代AIのWERベンチマーク

現代の自動音声認識システムは2020年以降大幅に改善されています。以下は、標準的な英語ベンチマークにおける著名なASRシステムの近似WER数値です。

システム	近似WER（クリーン音声）	備考
OpenAI Whisper（large-v3）	3%〜5%	オープンソース、多言語、多様なアクセントに強い
Google Cloud Speech-to-Text（v2）	4%〜6%	クラウドAPI、リアルタイムとバッチ文字起こし対応
AWS Amazon Transcribe	5%〜8%	クラウドAPI、話者分離含む
Microsoft Azure Speech	4%〜7%	クラウドAPI、カスタマイズ可能な言語モデル
Deepgram Nova-2	3%〜5%	速度と精度に最適化
Meta MMS	5%〜10%	オープンソース、1,100以上の言語をカバー

これらの数値は近似値であり、公開されたベンチマーク、研究論文、独立した評価から得られたものです。実際のパフォーマンスは音声条件、ドメインの語彙、アクセント、言語によって大きく異なります。クリーンなTEDトークで4%のWERを達成するシステムが、ノイズの多い電話通話では15%以上のWERを生み出す可能性があります。

ベンダーはしばしば慎重に選ばれたベンチマークでのWERを報告することにも注意が必要です。背景ノイズ、クロストーク、ドメイン固有の用語、様々な録音機器を伴う実世界のパフォーマンスは、通常、公開された数値よりも高くなります。文字起こしサービスを評価する際は、ベンチマークの主張だけに頼るのではなく、自身の音声でテストしてください。

WERの限界

WERは有用ですが不完全な指標です。その限界を理解することで、精度の主張をより批判的に解釈できます。

WERは意味的正確性を無視する

WERはすべての単語エラーを等しく扱います。「I need to book a flight」を「I need to cook a flight」と文字起こしすると1つの置換エラーとしてカウントされますが、「I need to book a fright」も同じ1つの置換エラーです。しかし、前者のエラーは意味に対してより有害です。WERにはエラーが理解にどれだけ損害を与えるかという概念がありません。

句読点と大文字化は除外される

標準的なWER評価は比較前に句読点を除去しケースを正規化します。つまり、完璧な単語を持ちながらピリオド、カンマ、疑問符が欠けているトランスクリプトは、読みにくいにもかかわらず0%のWERスコアになります。逆に、正しい句読点があっても単語エラーがあるトランスクリプトは完全にペナルティを受けます。

フォーマットと構造は見えない

WERは段落区切り、話者ラベル、タイムスタンプ、その他の構造的フォーマットを考慮しません。同一のテキストを持ちながら大きく異なる読みやすさ（一方はテキストの壁、もう一方は話者ごとに適切にセグメント化されている）の2つのトランスクリプトは同じWERスコアを受けます。構造が重要な議事録などのユースケースでは、WERだけでは不十分です。

短い発話はWERを膨張させる

WERは比率であるため、短いフレーズは不安定なスコアを生み出します。参照が「はい、もちろん」（2単語）でシステムが「はい、確実に」と出力した場合、その1つの置換で50%のWERになります。200単語のパッセージでの同じタイプのエラーはWERに0.5%しか寄与しません。これにより、短い形式の文字起こしタスクの評価ではWERの意味が薄れます。

正規化の違いが不一致を引き起こす

WER計算前にテキストをどのように正規化するかは結果に影響します。「Dr.」と「Doctor」はマッチとして扱うべきか？「100」と「one hundred」はどうか？異なる評価パイプラインは異なる正規化の選択を行うため、異なるソースからのWER数値は必ずしも直接比較できません。

その他の精度指標

研究者と実務者は、WERの限界に対処するためにいくつかの代替的および補完的な指標を開発しました。

文字誤り率（CER）

CERは単語レベルではなく文字レベルで同じ置換/削除/挿入の公式を適用します。CERは明確な単語境界がない言語（中国語、日本語、タイ語など）やエラーの重大度を評価するのに特に有用です。「cat」を「car」に置換するとWERでは1エラーですがCERでは1文字エラーのみで、「cat」を「elephant」に置換してもWERでは依然1エラーですがCERでは多くの文字エラーとなります。

CER = (Sc + Dc + Ic) / Nc x 100%

Sc、Dc、Icは文字レベルの置換、削除、挿入で、Ncは参照の総文字数です。

マッチ誤り率（MER）

MERは参照の長さだけでなく一致の総数を考慮するようにWERの公式を調整します。仮説と参照の長さが大きく異なる場合に、より均衡の取れた精度の見方を提供します。

MER = (S + D + I) / (S + D + C) x 100%

Cは正しい（一致する）単語の数です。

単語情報損失（WIL）

WILは文字起こしプロセスでどれだけの情報が失われたかを測定します。エラーに焦点を当てるWERとは異なり、WILは精度（仮説のどれだけが正しいか）と再現率（参照のどれだけがキャプチャされたか）の両方を考慮します。WILは0（完璧）から1（完全な情報損失）の範囲です。

意味距離指標

より新しい評価アプローチは、正確な単語マッチングではなく、参照と仮説トランスクリプト間の意味的類似性を測定するために言語モデルを使用します。これらの指標は、正確な単語が異なっていても意味が保持されたかどうかをより良くキャプチャします。この分野の研究は活発ですが、これらの指標はまだ標準化されていません。

文字起こしWERの改善方法

AI文字起こしか人間の文字起こしかにかかわらず、音質は精度に影響する最大の要因です。以下はWERを改善するための実用的なステップです。

良いマイクで録音する

ノートパソコンの内蔵マイクではなく、専用マイクを使用してください。ソロ録音の場合、話者から6〜12インチの位置に配置されたUSBコンデンサーマイクは、部屋の向こうのウェブカメラマイクよりも劇的に良い結果を生み出します。会議の場合、ビームフォーミングマイク付きのカンファレンススピーカーフォンが全参加者の認識精度を向上させます。

背景ノイズを最小限に

可能な限り静かな環境で録音してください。窓を閉め、ファンやエアコンを消し、アンビエントミュージックや会話のある場所を避けてください。現代のノイズ耐性ASRモデルでも、クリーンな音声の方が測定可能な改善が見られます。避けられないノイズの処理のヒントについては、ノイズの多い音声の文字起こしのガイドをご覧ください。

はっきりと適度なペースで話す

早口の発話、もごもごした発話、文末のフェードアウトはすべてWERを増加させます。文字起こしされるコンテンツを録音する際は、一貫した話速を維持し、はっきりと発音してください。不自然にゆっくり話す必要はありません。重要なポイントを急いで話さないことが大切です。

より高い音声ビットレートを使用する

音声を128 kbps以上で圧縮してください。高圧縮の音声（64 kbps以下）はASRシステムが正確な認識に依存する音響的な詳細を破棄します。特に文字起こし用に録音する場合、256 kbpsまたはロスレス形式が最も有用な信号を保持します。

発話の重複を避ける

複数の人が同時に話す場合、最良の分離システムでも両方の話者を正確に分離して文字起こしするのに苦戦します。会議やインタビューでは、順番待ちのルールを確立してください。重複が避けられない場合、各話者に個別のマイクを使用することで結果が大幅に改善されます。

適切な文字起こしツールを選ぶ

ASRシステムによって強みが異なります。アクセントのある音声に強いもの、ドメイン固有の語彙に優れるもの、ノイズの多い条件に最適化されたものがあります。Vocovaは自動言語検出と話者分離付きで100以上の言語に対応しており、多様な録音条件にわたって精度を維持するのに役立ちます。ワークフローにコミットする前に、特定の音声タイプでサービスをテストすることは常に価値があります。

コンテキストを使って後処理する

文字起こし後、元の音声とともに出力をレビューしてください。ドメイン固有の用語、固有名詞、略語が最も一般的なエラーカテゴリです。多くの文字起こしツールでは直接トランスクリプトを編集でき、既知の用語のエラーを減らすカスタム語彙リストに対応しているものもあります。

よくある質問

良い単語誤り率とはどのくらいですか？

5%未満のWERは優秀とされ、プロの人間の文字起こし品質に匹敵します。ほとんどのビジネスアプリケーション（議事録、インタビュートランスクリプト、コンテンツ制作）では、5%〜10%のWERは良好とされ、最小限の編集で使用可能なトランスクリプトを生み出します。

WERは100%を超えることがありますか？

はい。挿入はエラーカウントに加算されますが参照の単語数（N）には加算されないため、多くの余分な単語を生成するシステムは100%を超えるWERを生み出す可能性があります。例えば、参照が10単語でシステムが多数のエラーを含む25単語を出力した場合、(S + D + I) / N の計算は1.0を超える値を生み出す可能性があります。現代のシステムではまれですが数学的には可能です。

WERと精度の違いは何ですか？

精度は(1 - WER)として報告されることがあります。WER 8%は92%の精度に対応します。ただし、「精度」はマーケティングでは曖昧に使用され、異なる評価方法論を指す場合があります。文字起こしプロバイダーからの精度の主張を見る場合、どの指標が使用されているか、評価がどのように行われたかを常に確認してください。

同じ音声で異なるASRシステムが異なるWERを報告するのはなぜですか？

WERは評価データセット、テキスト正規化パイプライン、スコアリング方法論に依存します。あるベンダーはスコアリング前に「Dr. Smith」を「doctor smith」に正規化するかもしれませんが、別のベンダーはそのまま残すかもしれません。クリーンな読み上げ音声で評価するものもあれば、会話音声を使用するものもあります。これらの方法論的な違いにより、同じ評価プロトコルを使用しない限り、直接比較は信頼性が低くなります。

WERは句読点エラーを考慮しますか？

いいえ。標準的なWER評価はアラインメントとスコアリングの前にすべての句読点を除去します。完璧な単語を持ちながら句読点が一切ないトランスクリプトは0%のWERを達成します。句読点の精度にはWERよりも標準化されていない別の評価指標が必要です。

自分のトランスクリプトのWERはどのように計算できますか？

最もアクセスしやすいツールはPythonのjiwerライブラリです。pip install jiwerでインストールし、数行のコードでWERを計算できます：

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
hypothesis = "the quik brown fox jump over a lazy dock"

error_rate = wer(reference, hypothesis)
print(f"WER: {error_rate:.1%}")  # Output: WER: 44.4%

より長いトランスクリプトの場合、比較のための検証済み参照トランスクリプトが必要です。これは通常、人間の文字起こし者が音声のグラウンドトゥルースバージョンを作成することを意味します。