Whisper精度ベンチマーク2026：large-v3・turbo・smallを12言語で検証

オープンソースのAI文字起こしが2026年に実際どれほど正確かを測るため、1,749件の文字起こしを実行しました。3つのWhisperモデル（large-v3、large-v3-turbo、small）が、公開データセットFLEURSの12言語それぞれで50件の発話を文字起こししました。要点はこうです。large-v3は高リソースの欧州言語で約3〜6パーセントの単語誤り率を達成し（スペイン語2.9%、イタリア語3.2%、英語4.1%）、人間の文字起こしでよく引用される範囲に近い水準です。ヒンディー語では15.7%、エジプト方言アラビア語では14.6%まで上がります。同一モデル内で、最良の言語と最悪の言語の差は5倍を超え、モデルのバージョン間の差をはるかに上回ります。

平均値は話の半分にすぎないので、本記事は平均が隠すものも報告します。英語とイタリア語では60%超の文が一語も誤りなく返ってきた一方、ヒンディー語と広東語は4%でした。そして小さいモデルが難しい言語で失敗するとき、その失敗は穏やかではありません。生の出力の中に、教科書どおりの繰り返しループ型ハルシネーションを4件見つけました。すべてturboとsmallによるもので、large-v3からは1件もありませんでした。

本記事のすべての数値は、2026年7月に私たち自身が実行したテストから得たものです。固定した乱数シード、公開したスクリプト、ダウンロード可能な生の結果を伴います。すべて再現することも、私たちの作業を一行ずつ確認することもできます。

何を、どう測ったか

ウェブ上の文字起こし精度の数値はほぼすべて、ベンダーのページや他の記事から、裏付けとなるテストなしにコピーされたものです。以下が私たちの正確なセットアップです。

項目	設定
テストセット	Google FLEURS test split（公開の学術データセット、朗読音声）
サンプリング	シャッフル済みtest splitの各言語先頭50発話（shuffle seed 42、決定的）、1言語あたり約9分の音声
モデル	Whisper large-v3、large-v3-turbo、small（オープンソースのMLX変換版）
推論	temperature 0、ソース言語を固定（自動検出なし）、直前テキストによる条件付けなし
正規化	Whisper論文と同一：英語はEnglishTextNormalizer、その他はBasicTextNormalizer（transformers経由）
指標	WER（単語誤り率）。中国語・日本語・広東語は主指標をCER（文字誤り率）とする
ソフトウェア	mlx-whisper 0.4.3、jiwer 4.0.0、transformers 5.11.0、datasets 3.6.0
ハードウェア	Apple M3、MLX推論、fp16
テスト日	2026年7月

12言語は、モデルに有利になるようにではなく、リソース水準と書記体系を網羅するように選びました。高リソースの欧州言語6つ、文字単位の採点が必要な空白なしのCJK言語3つ、さらに韓国語（膠着語、空白あり）、ヒンディー語（デーヴァナーガリー）、エジプト方言アラビア語です。

生ファイルを検証する方の細かな点として、FLEURSには同じ文を異なる話者が録音した複数の音声が含まれ、1つの文idを共有することがよくあります。私たちの再開ロジックは文idで重複を除くため、英語のlarge-v3セルは50ではなく49発話です。他のセルはすべて50で、合計1,749件の文字起こしになります。

表の前に正直な注意点が2つ。第一に、FLEURSは朗読音声です。きれいな音声、一定のペース、話者1人。実際の会議やインタビューはかなり悪いスコアになります。背景雑音、なまり、話者の重なりが誤り率を押し上げるためです（実務的な対策は雑音の多い音声を文字起こしする方法を参照）。これらの数値は各言語の上限であり、約束ではないと捉えてください。第二に、1言語50発話はサンプルであり、全テストセットではありません。個々の数値は数パーセントポイントの幅を持つため、小数ではなく桁と順位を読んでください。

結果：12言語、3モデル

数値はWER %で、低いほど良好です。日本語・中国語（普通話）・広東語（*付き）は、これらの言語が語を空白で区切らないためCER %です。

言語	large-v3	large-v3-turbo	small
英語	4.1%	4.7%	6.6%
スペイン語	2.9%	3.3%	6.5%
フランス語	5.8%	6.7%	14.3%
ドイツ語	4.6%	6.0%	12.8%
イタリア語	3.2%	3.9%	8.2%
ポルトガル語	6.6%	7.2%	11.0%
日本語 *	6.6%	5.8%	16.4%
韓国語	14.9%	14.5%	21.7%
中国語（普通話）*	6.7%	8.0%	19.5%
広東語 *	10.5%	43.3%	非対応
ヒンディー語	15.7%	22.3%	42.4%
アラビア語（エジプト）	14.6%	16.1%	32.7%

際立つ点が3つあります。言語間の差はモデル間の差よりはるかに大きく、同じlarge-v3でスペイン語2.9%に対しヒンディー語15.7%です。turboモデルは欧州6言語ではわずか0.3〜1.4ポイントの代償ですが、ヒンディー語では6.6ポイント、広東語では10.5%から43.3% CERへ崩壊します。そしてsmallは高リソース言語の外で壊滅的に劣化し、ヒンディー語42.4%、アラビア語32.7%は、成果物ではなくプレビュー用ツールにとどまります。

「非対応」のセルは文字どおりです。広東語のyue言語トークンはlarge-v3世代で導入されたため（公式モデルカードは変更点として「広東語の新しい言語トークン」を挙げています）、旧世代のsmallモデルはこの言語をきっぱり拒否します。私たちの実行では非対応言語エラーが発生しましたが、これ自体が有用なデータ点です。モデルの品質を比較する前に、そもそもモデルがあなたの言語に対応しているかを確認してください。

平均の先へ：ほとんどの文は完璧、一部の裾は違う

平均誤り率は、実際には大きく偏った分布を平らにならしてしまいます。large-v3の言語ごとに、誤りゼロで文字起こしされた発話の割合、中央値、90パーセンタイルを示します。

言語	誤りゼロの発話	中央値	90パーセンタイル
英語	61%	0.0%	12.5%
スペイン語	54%	0.0%	7.7%
フランス語	38%	4.3%	12.5%
ドイツ語	56%	0.0%	14.3%
イタリア語	62%	0.0%	10.5%
ポルトガル語	42%	3.7%	18.8%
日本語 *	36%	3.2%	15.8%
韓国語	34%	13.7%	35.3%
中国語（普通話）*	40%	3.0%	17.8%
広東語 *	4%	9.7%	17.6%
ヒンディー語	4%	14.9%	27.5%
アラビア語（エジプト）	28%	10.3%	37.5%

2つの読み方が重要です。強い言語では、中央値の発話が誤りゼロです。英語の4.1%という平均は、ほぼすべて少数の難しい文から生じており、だからこそそこでの文字起こしは、時折の修正箇所を伴いながらほぼ完璧に感じられます。そして完璧率の列は、平均が一緒くたにする言語を分けます。広東語（10.5%）とアラビア語（平均14.6%）は見た目より近くありません。広東語で完璧に返ってきた文はわずか4%、アラビア語は28%です。悪い箇所を探して校正するなら、裾のパーセンタイルのほうが平均よりあなたの作業量をよく予測します。

発見1：言語間の差はモデル間の差をかすませる

large-v3の中で、最良の言語（スペイン語、2.9%）と最悪の言語（ヒンディー語、15.7%）の幅は5倍を超えます。英語（4.1%）対エジプト方言アラビア語（14.6%）は4倍近くです。一方、単一の欧州言語の中では、turboからlarge-v3へ上げても数値は約1ポイントしか動きません（英語4.7%→4.1%、ドイツ語6.0%→4.6%）。

smallではこの非対称がさらに鋭くなります。英語ではlarge-v3にわずか2.5ポイント及ばないだけですが、フランス語では5.8%から14.3%へ、ヒンディー語では15.7%から42.4%へ劣化します。英語では妥当な妥協に見える同じチェックポイントが、ヒンディー語では使い物になりません。

実務的な結論はこうです。モデルがあなたの言語をよく対応しているかどうかは、モデルのどのバージョンを選ぶかよりはるかに重要です。スペイン語で作業するなら、現代のものならほぼ何でも問題ありません。ヒンディー語や広東語で作業するなら、モデルの選択が文字起こしをそもそも使えるかどうかを決めます。

発見2：turboが実際にあなたに課す代償

私たちのM3では、典型的なスループットはlarge-v3で実時間の約3.8倍、turboで5.2倍、smallで14.3倍でした（各実行はシステム負荷で変動し、絶対速度はハードウェアに依存します。信号は比率です）。つまりturboはlarge-v3より約1.4倍速く動きます。

高リソースの欧州6言語では、この速度の代償はほぼありません。turboは平均でlarge-v3に約0.8ポイント及ばないだけで、私たちのサンプルでは日本語と韓国語でturboがlarge-v3をわずかに上回りさえしました（5.8%対6.6% CER、14.5%対14.9% WER）。商用の文字起こしサービスが広く蒸留・高速化モデルへ移行した理由がここにあります。

しかしturboはただではありません。ヒンディー語は6.6ポイント劣化し（22.3%対15.7%）、エジプト方言アラビア語は1.5ポイント、広東語は10.5%から43.3% CERへ崩壊し、使い物になりません。精度と速度を交換する判断は、全体一律ではなく言語ごとに下す必要があります。

発見3：語の境界がない言語には別の物差しが要る

中国語、日本語、広東語は語を空白で区切らないため、「単語」誤り率はテキストの分割方法に完全に依存し、異なるトークナイザは同一の文字起こしでも大きく異なるWERを出します。学術的な慣行は、Whisper論文自体も含め、これらの言語には文字誤り率（CER）を使うことであり、私たちが報告するのもそれです。

そう測ると、日本語（6.6% CER）と中国語（6.7% CER）は、large-v3で強い欧州言語と同じ品質帯に収まります。広東語は私たちのデータセット全体で最も鮮明な反例です。large-v3で10.5% CER、turboで43.3%、smallでは対応すらなし。1つの言語、3つのモデルで、結果は使えるから不可能までの幅を持ちます。

韓国語には注記が必要です。14.9%は見劣りしますが、韓国語は膠着語で、空白区切りのWERを押し上げる分かち書きの慣行を用いるため、文字単位の精度は数値の印象より良好です。それでも欧州言語より多くの校正が要りますが、WERの素朴な読みが示唆するほどではありません。

どのベンダーを評価する際にも役立つ教訓はこうです。あるツールが「中国語で95%の精度」と主張しても、それがWERかCERか、どの音声で、どの正規化で測ったのかを言わなければ、その数値は情報を持ちません。指標の仕組みはWER解説で詳しく扱っています。

発見4：小さいモデルが失敗するとき、一気に失敗する

平均値は、誤りが文字起こし全体に均等にちりばめられているかのように見せます。生の出力はその逆を語ります。1,749件すべての仮説を退化した出力（誤り率100%超、または参照の2倍を超える長さの出力）について走査したところ、ちょうど4件見つかりました。turboから3件（広東語2件、ヒンディー語1件）、smallから1件（ヒンディー語）です。large-v3は599件の発話すべてで1件も出しませんでした。

4件はすべて同じ故障モード、繰り返しループです。最悪の広東語のケースは372% CERに達しました（挿入は指標を100%超に押し上げ得ます）。turboは最初の数語をもっともらしく文字起こしした後、単一の文字にはまり込み、それを46回続けて出力しました。ヒンディー語の失敗も形は同じで、1つの語が何度も刻印されていました。まさに同じ発話で、large-v3は6.9% CERのほぼ完璧な文字起こしを生成しました。正確な文字列は生データにあります（results.jsonlの発話id 1980）。確認したい方はどうぞ。

この広東語のケースは、静かに2つ目の故障も示しています。ループに入る前に、turboはすでに繁体字中国語から簡体字と普通話の語選択へ漂流していた一方、large-v3は参照の書記体系にとどまっていました。広東語話者にとって、これは誤り率と同じくらい重要です。「文字起こし」が別の書き言葉へ滑り込んでいるからです。

Whisper系モデルのハルシネーションは、私たちのサンプルを超えて記録されています。Koenecke et al. (2024)はWhisperの文字起こしを監査し、およそ1%のセグメントに、休止や非流暢な発話の周辺に集中する形で捏造された内容が含まれることを発見しました。朗読音声である私たちの率はより低く（1,749件中4件、約0.2%）、これは整合的です。きれいで連続した音声は、モデルが埋めるべき無音を少なくするからです。両者から得る実務ルールはこうです。最悪の文字起こし失敗は均等に分布したノイズではなく、局所的な完全な破損であり、弱い言語で小さいチェックポイントに集中し、繰り返しトークンの手早い走査でその大半を捕まえられます。

私たちのlarge-v3の数値は、公開されたlarge-v2の表とどう比べられるか

私たちの言語別精度ガイドは、Whisper論文が公開したlarge-v2のFLEURS結果をまとめています。重複する言語について、それを2026年7月の私たちのlarge-v3測定と並べます（論文の数値は全test split、私たちのは50発話のサンプルなので、小数ではなく方向を読んでください）。

言語	論文 large-v2	私たちの large-v3	方向
スペイン語	3.0%	2.9%	横ばい、すでに強い
英語	4.2%	4.1%	横ばい、すでに強い
イタリア語	4.0%	3.2%	やや改善
ドイツ語	4.5%	4.6%	横ばい
フランス語	8.3%	5.8%	改善
日本語（CER）	5.3%	6.6%	誤差の範囲で横ばい
韓国語	14.3%	14.9%	誤差の範囲で横ばい
中国語（普通話, CER）	14.7%	6.7%	半減
アラビア語	16.0%	14.6%	やや改善
ヒンディー語	21.5%	15.7%	明確に改善

このパターンは、追加の学習データがどこに向かったかと整合します。すでに下限近くにあった言語はそのままで、大きな改善は中国語（半減）、ヒンディー語、フランス語に集中しました。広東語はlarge-v2の表にそもそも登場せず、これは同じ物語の最も端的な形です。モデル世代の間で、一部の言語にとって最も重要な変化は、誤り率の低下ではなく、存在そのものです。

これらの数値があなたの仕事に意味すること

誤り率を体感に翻訳すると、5%は20語に1語の誤りで、手早い校正で済みます。15%は7語に1語で、編集が本当に時間を食い始めます。30%を超えると、段落まるごと聴き直しが必要で、文字起こしはよくても下書きです。

• 高リソースの欧州言語（英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語）： large-v3はきれいな音声で3〜7パーセントに収まり、「まず下書きを信頼し、あとでざっと見る」領域にしっかり入ります。turboは1.5ポイント未満の代償で、日常業務には十分です。smallはフランス語とドイツ語で13〜14パーセントまで劣化します。納品するものには使わないでください。
• 日本語、中国語、韓国語： large-v3で6〜7パーセントCERの日本語と中国語は、数値を文字単位として読む限り、下書きとして信頼できます。韓国語のWERは誤りを過大に見せますが、欧州グループより多めの修正を見込んでください。
• 広東語、ヒンディー語、アラビア語： 要注意ゾーンです。ヒンディー語とエジプト方言アラビア語はlarge-v3でも15〜16パーセント、6〜7語に1語の誤りなので、実質的な編集を見積もってください。広東語はlarge-v3でのみ実用的で、変種を誤ると誤り率は4倍になります。

これらすべてが朗読音声での上限性能であることを忘れないでください。実際の録音はより悪いスコアになり、最も重要な3つの変数は録音品質、話者数、なまりの強さです。複数話者の素材では、話者の帰属は単語精度に加わる別の誤りクラスです。仕組みは話者ダイアライゼーションとはを参照してください。

私たちの12言語ではなく約100言語の言語別の全体像が欲しい場合は、言語別精度ガイドがWhisper論文の公開FLEURS表を、ほぼ人間並みから実質的に使い物にならないまで段階分けしてまとめています。あのページは公開された結果の集約で、こちらは私たち自身が実行したベンチマークです。重複する部分で両者は一致します。

再現する、あるいは私たちの作業を確認する

このベンチマークを検証・拡張するのに必要なものはすべて公開されています。

• results.jsonl：1,749件すべての発話単位の結果。参照テキスト、モデル出力、発話ごとのWER/CER付き
• results-summary.csv：本記事の背後にある言語×モデルの集計表
• bench.py：データを生成した正確なスクリプト。決定的サンプリング（seed 42）
• データパッケージのREADME：セットアップコマンド、バージョン、ライセンス

python bench.py --n 50を実行すれば、固定のshuffle seedのおかげで私たちと同じ発話が選ばれます。--nを増やせばサンプルを拡大できます（FLEURSのtest splitは1言語あたり約350〜900発話）。スクリプトはHugging FaceからFLEURSをストリーミングし、ローカルで文字起こしし、Whisper論文の正規化で採点し、発話ごとにJSONL行を追記するため、中断した実行はきれいに再開します。

出典：参照の文字起こしはGoogleのFLEURSデータセット（Conneau et al., 2022）に由来し、そのCC-BY-4.0ライセンスの下で再配布しています。Whisperのモデル重みはOpenAIのもので、Apache 2.0で公開されています。

よくある質問

Whisperは最も正確なオープンソースの文字起こしモデルですか？

最も多く再現され、言語カバレッジの広いオープンなファミリーであり、そのため優れた公開ベースラインになります。他にもMetaのMMSやSeamlessの系列、多数の言語特化のファインチューニングなどオープンソースのファミリーはありますが、言語カバレッジ、ライセンス、評価の慣行が異なるため、ファミリー横断の公平な比較には独自の統制されたテストが必要です。私たちがWhisperを選んだのは、重みが固定で公開されており、結果が再現可能で、1つの方法で12言語すべてを扱えるからです。

なぜOtter、Rev、HappyScribeのような商用サービスをテストしなかったのですか？

商用の利用規約はベンチマーク結果の公開を制限することが多く、API背後のモデルは不透明で予告なく変わり、今日測った数値が来四半期には無意味になり得ます。オープンソースの重みは凍結されているため、誰でも私たちの正確なテストを無期限に再実行できます。ベンダーの精度主張は各社サイトにありますが、テストセットと正規化をどれほど稀にしか開示しないかに注目してください。

1言語50発話で十分ですか？

桁と順位には十分ですが、細かな有意差検定には十分ではありません。私たちはまさにそのように結果を提示しています。FLEURSの全test splitは1言語あたり約350〜900発話で、サンプルの拡大は公開スクリプトの1つのパラメータ変更です。

朗読音声の結果は実際の録音を代表しますか？

いいえ。ここで測ったすべては上限性能です。きれいで、話者1人、一定のペースの音声です。実際の会議、電話、インタビューでは、雑音、なまりの強さ、話者の重なりが増すほど損なわれ、明確に高い誤り率が予想されます。このベンチマークから現実世界へ移せるのは順位（きれいな音声で勝つ言語やモデルは、たいてい乱れた音声でも勝つ）であって、絶対的なパーセンテージではありません。

テストを正確に再現するには？

bench.pyをダウンロードし、データパッケージのREADMEに記載の依存関係をインストールして、python bench.py --n 50を実行してください。シードはスクリプトに固定され、サンプリングは決定的で、結果は中断後に再開するJSONLファイルへ追記されます。スクリプトはMLX（Apple Silicon）を使います。別のハードウェアでは、文字起こしの呼び出しを同じ設定のopenai-whisperまたはfaster-whisperに置き換えてください。

これらのモデルはハルシネーションを起こしますか？

私たちの朗読音声サンプルでは、まれですが起きるときは壊滅的です。1,749件の出力のうち4件（約0.2%）が繰り返しループで、すべてturboまたはsmallの広東語とヒンディー語、large-v3からはゼロでした。会話や非流暢な発話に関する公開監査は、より高い率、セグメントの約1%を報告しています（Koenecke et al., 2024）。長い休止のある実際の音声ではこれがもっと起きると見込み、出力を繰り返しトークンについて走査してください。

Vocovaはどのモデルを使っていますか？

このベンチマークはオープンソースのモデルを測るものであり、Vocovaの本番パイプラインではありません。そこから得られる要点は一般的です。あなたの言語がよく対応されているかは、モデルのバージョン番号より重要です。Vocovaは多言語作業のために文字起こしを高精度のモデル階層へ振り分け、その上に話者ラベル、翻訳、書き出し形式を加えます。最も直接的な証拠は、あなた自身の言語のあなた自身の音声でのテスト実行です。

参考文献とさらに読む

• FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech（Conneau et al., 2022）、私たちのサンプルすべての出所となるデータセット
• Hugging FaceのgoogleのFLEURS、データセットの配布とCC-BY-4.0ライセンス
• Robust Speech Recognition via Large-Scale Weak Supervision（Radford et al., 2022）、私たちが正規化とCERの慣行に従うWhisper論文
• openai/whisper-large-v3モデルカード、large-v3で追加された広東語言語トークンとApache 2.0の重みライセンスを記載
• Careless Whisper: Speech-to-Text Hallucination Harms（Koenecke et al., 2024）、私たちの失敗件数を比較する対象であるWhisperのハルシネーション率の外部監査
• PyPIのmlx-whisper、このベンチマークで使った推論ランタイム
• GitHubのjiwer、WER/CER採点ライブラリ

自分の素材で多言語文字起こしを見てみたいですか？音声または動画のリンクをVocovaに貼り付け、出力を本記事があなたの言語について示す期待値と照らし合わせてください。