AI 轉錄到底有多準？50+ 種語言的 WER 實測結果（2026）

轉錄準確度因語言而異甚鉅。2026 年,在乾淨的音訊條件下,最頂尖的自動語音辨識(ASR)系統在英語、西班牙語和華語上的詞錯誤率低於 5%,在波蘭語、韓語和越南語等中等資源語言上介於 7-12%,而在阿姆哈拉語、約魯巴語或僧伽羅語等低資源語言中則達 20-40% 甚至更高。造成此準確度差距的原因,歸結於訓練資料量、語音複雜度,以及每個模型所接觸的方言多樣性。

本指南彙整 Whisper、NVIDIA Canary、Google USM 及 Hugging Face Open ASR Leaderboard 公開發表的 WER 基準,並依語言層級分類。若你正在為特定語言評估轉錄工具,或是想理解為何德語音訊轉錄完美無瑕,但泰語音訊卻不盡人意,下列資料能解釋這個差距。

TL;DR:準確度層級一覽

層級	WER 範圍	代表語言	預期表現
Tier 1	2-6% WER	英語、華語、西班牙語、法語、德語、日語、義大利語、葡萄牙語	乾淨音訊上接近人類水準
Tier 2	6-12% WER	韓語、荷蘭語、俄語、阿拉伯語、土耳其語、波蘭語、加泰隆尼亞語、瑞典語	可用於正式產出,僅需少量修正
Tier 3	12-20% WER	越南語、印地語、泰語、希臘語、羅馬尼亞語、烏克蘭語、希伯來語、印尼語	可用,但需明顯的人工清理
Tier 4	20-40% WER	坦米爾語、孟加拉語、斯瓦希里語、菲律賓語、馬來語、烏爾都語、尼泊爾語	草稿等級,須人工審校
Tier 5	>40% WER	阿姆哈拉語、約魯巴語、僧伽羅語、高棉語、寮語、緬甸語、馬爾他語	實驗性,大量後編輯後才可能可用

資料來源:OpenAI Whisper 論文(2022)、FLEURS 基準(Google Research, 2022)、Hugging Face Open ASR Leaderboard、NVIDIA Canary-1B-v2(2025)。

WER 基準如何測量

本文中的每個數字皆來自三個公開基準套件之一。了解每個基準測試的內容,可以避免「將實驗室分數與真實世界表現混為一談」這個常見錯誤。

LibriSpeech(僅限英語)採用乾淨的有聲書錄音。這是大多數模型測試的最容易基準,因此其數字代表模型在理想條件下的下限表現。目前英語在 LibriSpeech test-clean 上的最先進 WER 約為 1.4-2.7%。

FLEURS(Few-shot Learning Evaluation of Universal Representations of Speech)涵蓋 102 種語言,每種語言約 12 小時語音。它在不同語言間使用相同的句子(來自維基百科內容的翻譯),因此跨語言比較具有意義。FLEURS 是最廣被引用的多語基準。

Common Voice(Mozilla)包含超過 100 種語言的群眾外包錄音。由於說話者為非專業人士且錄音環境各異,它比 FLEURS 更嘈雜,因此同一語言在 Common Voice 上的 WER 通常比 FLEURS 高 2-5 個百分點。

真實世界的音訊 — 帶有口音、重疊說話、背景噪音及不完美的錄音設備 — 會在基準數字之上再加 5-15 個 WER 百分點。一個在 FLEURS 上報告 5% WER 的模型,在典型的 Zoom 錄音上可能會得到 10-15%。

Tier 1:極高準確度(2-6% WER)

這些語言擁有最大的訓練語料(數萬小時的標註音訊),也是模型開發者最關注的對象。在乾淨音訊上可望得到生產就緒的逐字稿,只需極少編輯。

語言	Whisper large-v3 FLEURS WER	NVIDIA Canary WER(如有)	備註
英語	4.2%	6.5%(Canary-1B Common Voice)	參考語言,大多數基準聚焦於此
西班牙語	3.0%	4.6%	在拉丁美洲變體上表現特別優異
華語	5.7%(CER)	--	以字元錯誤率衡量,而非 WER
法語	4.7%	6.0%	歐洲法語在訓練資料中占主導
德語	4.5%	4.8%	標準德語表現優異;瑞士/奧地利方言會降低準確度
義大利語	4.0%	4.2%	為覆蓋最完整的歐洲語言之一
葡萄牙語	3.9%	3.6%	巴西葡萄牙語為訓練資料多數
日語	4.9%(CER)	--	以字元層級衡量;句子品質極佳

Tier 1 語言受惠於商業應用的推力:配音、隱藏式字幕和搜尋幾十年來持續推動資料集的建立。如果你是在這些語言中進行轉錄,模型選擇的重要性不如你所輸入的音訊品質。

Tier 2:高準確度(6-12% WER)

這些語言擁有可觀的訓練資料,但不是資料量略遜於 Tier 1,就是語音更為複雜。多數生產用途運作良好,但須預期偶爾需修正誤聽的專有名詞和專業術語。

語言	Whisper large-v3 FLEURS WER	備註
韓語	7.0%(CER)	字元層級;句子準確度通常很高
荷蘭語	6.1%	受惠於與德語及英語訓練資料的相近性
俄語	8.8%	標準俄語表現良好;區域口音會降低準確度
阿拉伯語	9.5%(現代標準)	方言阿拉伯語(埃及、黎凡特、波斯灣)難度高許多
土耳其語	9.6%	黏著語形態增加複雜度
波蘭語	8.6%	覆蓋良好的斯拉夫語系語言
加泰隆尼亞語	5.1%	得益於專門資料集,表現超越其使用人口預期
瑞典語	7.0%	作為較小語言表現強勁;北歐語料經過良好整理
挪威語	9.0%	兩種書寫標準(Bokmål/Nynorsk)使評估更複雜
烏克蘭語	10.2%	2022 年後因資料集成長而顯著改善
丹麥語	9.6%	語音困難,但資料充足

對 Tier 2 語言而言,模型選擇開始產生差異。Whisper large-v3、NVIDIA Canary-1B-v2 和 Google USM 會因具體語言而輪替領先,因此在將管線標準化前,值得檢視針對特定基準的比較。

Tier 3:中等準確度(12-20% WER)

這些語言是 AI 轉錄開始顯得明顯不完美的區間。逐字稿仍可作為初稿使用,但須預期每分鐘音訊需要修正數處錯誤,特別是專有名詞、數字和語氣詞。

語言	Whisper large-v3 FLEURS WER	備註
越南語	13.6%	有聲調;聲調錯誤頻繁
印地語	13.8%	口音差異大且與英語混碼使用
泰語	13.3%(CER)	單詞間無空格,使分詞更複雜
希臘語	13.5%	訓練語料比其他歐洲語言更小
羅馬尼亞語	14.9%	隨資料集成長而快速改善
希伯來語	15.9%	由右至左書寫,形態豐富
印尼語	13.4%	相對於其資源等級表現強勁
克羅埃西亞語	17.7%	與其他南斯拉夫語共享的特徵有所助益
塞爾維亞語	15.7%	支援西里爾與拉丁兩種字母
捷克語	13.5%	儘管形態複雜仍表現穩健
保加利亞語	15.6%	中等資源等級的斯拉夫語系語言

混碼 — 也就是說話者在單一發言中切換兩種語言 — 對 Tier 3 語言的衝擊通常比對 Tier 1 更大,因為訓練資料較不可能涵蓋特定的語言組合。

Tier 4:較低準確度(20-40% WER)

此層級的語言往往擁有數億名使用者,但標註訓練資料有限。轉錄所產生的草稿比從零開始編輯更快,但仍需大量人工審校。

語言	Whisper large-v3 FLEURS WER	備註
坦米爾語	29.4%	達羅毗荼語系語言,形態複雜
孟加拉語	28.8%	使用人口龐大但在訓練資料中比例不足
泰盧固語	32.8%	挑戰與坦米爾語相似
斯瓦希里語	34.2%	東非通用語,資料集規模持續擴大
菲律賓語(他加祿語)	22.4%	自然口語中大量與英語混碼
馬來語	21.3%	與印尼語共享的特徵有所助益
烏爾都語	26.3%	與印地語相關但以波斯阿拉伯字母書寫
尼泊爾語	30.0%	訓練語料較小
旁遮普語	29.1%	旁遮普-英語混碼相當常見
坎那達語	33.5%	達羅毗荼語族
馬拉提語	30.7%	資源中等的印歐語系語言

對 Tier 4 語言而言,混合工作流程 — 由 AI 產出初稿,再由母語編輯清理 — 通常是產能最高的選項。在許多情況下,純人工轉錄仍比修正嚴重失真的 AI 輸出來得更快。

Tier 5:低資源與實驗性(>40% WER)

這些語言的標註資料非常有限、與模型訓練過的任何語言語音距離顯著,或兩者皆有。在這些語言中,轉錄仍可用於內容索引與搜尋,但不適合用於可發表的文字。

範例包括阿姆哈拉語(衣索比亞,約 42% WER)、約魯巴語(奈及利亞,約 43% WER)、僧伽羅語(斯里蘭卡,約 48% WER)、高棉語(柬埔寨,約 50% WER)、寮語(寮國,約 52% WER)、緬甸語(約 55% WER)與馬爾他語(約 45% WER)。數字在不同模型與基準間差異甚大。隨著社群資料集成長,差距正在縮小,但針對這些語言的生產用途,投入特定語言資料的專業供應商通常比通用模型高出 5-15 個 WER 百分點。

準確度差距的成因

三個因素解釋了跨語言 WER 大部分的變異。

訓練資料量是最強的單一預測因子。Whisper 在 680,000 小時音訊上訓練,但其中 65% 為英語。高資源語言擁有數萬小時;最低資源語言僅有數百小時。訓練資料每倍增,剩餘 WER 大致會減半,直到遞減報酬開始出現。

語音與形態複雜度即使資料充足,仍會造成天花板效應。聲調語言(華語、越南語、泰語、約魯巴語)強迫模型以音調輪廓辨別語音相似的詞彙。黏著語(土耳其語、芬蘭語、斯瓦希里語)由多個詞素組成長詞,而這會與分詞機制交互作用。由右至左書寫系統(阿拉伯語、希伯來語)與表意文字系統(漢字、日文)將衡量指標從 WER 轉為字元錯誤率,並改變何者算作替換錯誤。

音訊領域匹配度與語言本身一樣重要。主要以朗讀有聲書資料訓練的模型,在同一語言的自然對話中會表現不佳。對於商業轉錄用途(會議、訪談、Podcast),模型選擇應考量供應商是否在對話或廣播音訊上進行微調,而不僅是乾淨的獨白。

如何改善低層級語言的準確度

有幾項務實做法能顯著降低任何語言的 WER,但在基準越高時效果越大。

在轉錄前先改善音訊。 降噪、說話者隔離和穩定的錄音電平可在真實世界音訊上降低 2-5 個 WER 百分點。這份音訊品質指南涵蓋最快速的改善方式。

提供領域脈絡。 許多轉錄 API 接受技術術語、專有名詞或可能出現詞彙的清單。這些偏置詞彙在正確配置後,可讓產業術語與命名實體的替換錯誤減少 10-30%。

為每種語言選擇合適的模型。 Whisper 在某些語言領先,NVIDIA Canary 在其他語言,而在部分語言(特別是日語、韓語和阿拉伯語)由語言專門供應商領先。若某語言對你的工作流程至關重要,在具代表性的樣本上測試 2-3 家供應商值得花費一小時。

最後一哩使用人工編輯。 對 Tier 3 以下語言,母語編輯審校 AI 逐字稿大約比從零轉錄快 5-8 倍,最終準確度可達 98% 以上。

Vocova 這類平台支援 100+ 種語言並具自動語言偵測,免除了為每種語言選擇合適模型的摩擦。語言偵測在轉錄開始之前完成,因此你不需要事先為音訊檔案標記語言。

常見問題

哪種語言的轉錄最準確?

2026 年,英語擁有最準確的 AI 轉錄,最先進的模型在乾淨的 LibriSpeech 音訊上達到 1.4-2.7% WER,在真實世界的自然口語上約達 4% WER。西班牙語、華語、法語、德語、義大利語和葡萄牙語緊隨其後,落在 3-6% WER 區間。

Whisper 在不同語言上的準確度如何?

Whisper large-v3 在 FLEURS 基準的約 30 種語言上達到 10% 以下 WER,涵蓋本指南中所有 Tier 1 和多數 Tier 2 語言。在此層級以下,其準確度急劇下滑,部分低資源語言的 WER 甚至超過 50%。

多少 WER 算「好」?

對於多數商業應用,低於 10% 的 WER 所產出的逐字稿比閱讀和編輯原始音訊更快。低於 5% 通常被視為接近人類水準。超過 20% 則需大量人工修正才可作為發表文字使用。

為什麼我的德語轉錄比泰語轉錄更準確?

德語是 Tier 1 語言,擁有數萬小時的訓練資料、與英語(資料集最大的語言)共享的語音特徵,且在商業轉錄領域被廣泛採用。泰語則是聲調、無空格語言,標註訓練資料少得多。即使是最佳模型,兩者之間的 WER 差距仍達 7-10 個百分點。

我可以改善特定語言的轉錄準確度嗎?

可以。音訊品質改善、自訂詞彙和針對說話者的訓練資料,在多數語言中都能將 WER 降低 5-15%。對 Tier 3 以下語言,採用 AI + 人工編輯的混合工作流程,可在遠低於純人工轉錄成本的情況下,達到 98% 以上的最終準確度。

FLEURS 和 Common Voice 的基準可直接對照真實世界音訊嗎?

無法直接對照。基準音訊通常較乾淨、為朗讀而非自然口語、並以專業設備錄製。真實世界音訊(會議、電話、街頭訪談)在同一語言與模型上,通常比基準音訊高出 5-15 個 WER 百分點。

總結

2026 年的 AI 轉錄準確度取決於語言層級、音訊品質以及模型與任務的契合度。Tier 1 語言在乾淨音訊上提供接近人類水準的準確度;Tier 3 需要編輯;Tier 5 仍屬實驗性質。由於頂尖模型進步速度快於中階模型,最佳與平均表現在真實世界音訊上的差距持續擴大,使得工具選擇比三年前更為關鍵。

若你正在建立或挑選轉錄管線,最實用的做法是在承諾特定供應商前,先在 2-3 個具代表性樣本上測試你的特定語言與音訊領域。基準是起點,而非決策。