언어별 AI 전사 정확도는 얼마나 될까? 언어별 WER 벤치마크 (2026)
AI 전사 정확도는 언어에 따라 크게 달라집니다. Whisper 논문의 FLEURS 벤치마크에서 언어별 단어 오류율을 정리해, 어떤 언어가 인간 수준에 가깝고 어떤 언어는 편집이 필요하며 어떤 언어는 일반 모델로 사실상 전사할 수 없는지 설명합니다.
전사 정확도는 언어에 따라 극적으로 달라집니다. FLEURS 벤치마크에서 OpenAI의 Whisper는 영어, 스페인어, 이탈리아어, 독일어에서 약 3-5%의 단어 오류율(WER)을 보입니다. 네덜란드어, 터키어, 베트남어처럼 중간 수준의 리소스를 가진 언어에서는 한 자릿수 후반이며, 암하라어, 요루바어, 버마어 같은 저리소스 언어에서는 75%를 넘습니다. 이런 언어에서는 일반 모델이 사실상 사용할 수 있는 텍스트를 만들지 못합니다. 격차는 학습 데이터의 양, 음성학적 복잡성, 문자 체계에서 비롯됩니다.
이 글은 OpenAI(2022)의 Whisper 논문에 공개된 FLEURS 결과에서 정리한 언어별 WER를 정확도 단계별로 제시합니다. 특정 언어의 전사를 평가하고 있거나, 독일어 오디오는 거의 완벽하게 전사되는데 태국어 오디오는 그렇지 않은 이유가 궁금하다면 아래 데이터가 그 차이를 설명합니다.
이 숫자가 의미하는 것과 의미하지 않는 것. 아래의 모든 수치는 Whisper 논문 부록 D.2.4에 있는 FLEURS 벤치마크의 Whisper large-v2 WER입니다. 대형 연구소가 공개한 언어별 WER 표 중 가장 완전한 자료입니다. 다만 하나의 모델을 낭독 음성 벤치마크에서 평가한 결과일 뿐, 우리가 직접 실행한 실시간 테스트는 아닙니다. 이 수치는 현재 가능한 최고 성능이 아니라 비교 가능한 기준선으로 봐야 합니다. Whisper large-v3, NVIDIA Canary, 언어 특화 제공업체 같은 최신 시스템은 어려운 언어 상당수에서 훨씬 더 좋은 결과를 냅니다. 예를 들어 large-v3는 몰타어를 약 77% WER에서 약 26% 문자 오류율로 낮춥니다. 중국어, 일본어, 태국어, 라오어, 버마어의 경우 Whisper 논문은 문자 사이에 공백을 넣고 **문자 오류율(CER)**을 보고하므로, 해당 수치는 단어 수준 WER가 아니라 이미 문자 수준입니다. 한국어는 일반적인 단어 띄어쓰기를 사용하므로 실제 WER이지만, 한국어 띄어쓰기 관행 때문에 수치가 높게 나올 수 있습니다.
요약: 정확도 단계 한눈에 보기
| 단계 | WER 범위 | 대표 언어 | 기대 수준 |
|---|---|---|---|
| 1단계 | 약 6% 미만 WER | 영어, 스페인어, 이탈리아어, 독일어, 일본어(CER), 폴란드어, 러시아어 | 깨끗한 오디오에서 인간에 가까운 정확도 |
| 2단계 | 약 6-11% WER | 네덜란드어, 인도네시아어, 카탈루냐어, 프랑스어, 터키어, 스웨덴어, 말레이어, 베트남어 | 프로덕션 수준, 약간의 수정 필요 |
| 3단계 | 약 11-16% WER | 태국어, 그리스어, 체코어, 크로아티아어, 덴마크어, 한국어, 루마니아어, 중국어(만다린, CER), 아랍어 | 사용 가능하지만 의미 있는 수동 정리 필요 |
| 4단계 | 약 16-40% WER | 타밀어, 힌디어, 우르두어, 히브리어, 세르비아어, 칸나다어, 마라티어, 스와힐리어 | 초안 품질, 사람 검토 필요 |
| 5단계 | 약 45%에서 100% 초과 WER | 네팔어, 몰타어, 요루바어, 크메르어, 라오어, 벵골어, 버마어, 암하라어 | Whisper 같은 일반 모델은 사실상 실패하며 특화 모델 필요 |
숫자는 Whisper large-v2의 FLEURS WER(OpenAI, 2022)입니다. 정확한 수치와 위의 주의사항은 아래 단계별 표에서 확인할 수 있습니다.
WER 벤치마크는 어떻게 측정되는가
각 벤치마크가 무엇을 테스트하는지 이해하면 연구실 점수를 실제 오디오 성능과 그대로 비교하는 흔한 실수를 피할 수 있습니다.
LibriSpeech(영어 전용)는 깨끗한 오디오북 녹음을 사용합니다. 가장 쉬운 공통 벤치마크이므로, 이상적인 조건에서 모델이 낼 수 있는 하한에 가까운 숫자입니다. LibriSpeech test-clean에서 최신 영어 WER는 약 1.4-2.7%입니다.
FLEURS(Few-shot Learning Evaluation of Universal Representations of Speech)는 102개 언어를 다루며, 언어당 약 12시간의 음성을 포함합니다. 모든 언어에서 같은 문장(Wikipedia/FLoRes 콘텐츠 번역)을 사용하므로 언어 간 비교가 의미 있습니다. 이 글의 언어별 수치가 나온 가장 널리 인용되는 다국어 벤치마크입니다.
Common Voice(Mozilla)는 100개 이상의 언어에 대한 크라우드소싱 녹음을 포함합니다. 화자가 전문가가 아니고 녹음 환경도 다양하기 때문에, 같은 언어와 모델이라도 Common Voice WER는 보통 FLEURS보다 높습니다.
실제 오디오는 억양, 겹치는 발화, 배경 소음, 불완전한 장비 때문에 이러한 벤치마크 숫자에 대략 5-15 WER 포인트가 추가됩니다. FLEURS에서 5%를 보고하는 모델도 일반적인 Zoom 녹음에서는 10-15%가 나올 수 있습니다.
1단계: 매우 높은 정확도 (약 6% 미만 WER)
이 언어들은 학습 말뭉치가 가장 크고 모델 개발자의 관심도 가장 많이 받습니다. 깨끗한 오디오에서는 최소한의 편집만으로 프로덕션에 쓸 수 있는 전사를 기대할 수 있습니다.
| 언어 | Whisper large-v2 FLEURS WER | 참고 |
|---|---|---|
| 스페인어 | 3.0% | 거의 모든 벤치마크에서 최상위권 |
| 이탈리아어 | 4.0% | 가장 잘 다뤄지는 유럽 언어 중 하나 |
| 영어 | 4.2% | 기준 언어이며 대부분의 벤치마크가 여기에 집중 |
| 독일어 | 4.5% | 표준 독일어에 강함. 스위스/오스트리아 방언에서는 성능 저하 |
| 일본어 | 5.3% (CER) | Whisper는 일본어를 문자 수준으로 측정하며 문장 품질은 매우 우수 |
| 폴란드어 | 5.4% | 슬라브어로서는 예외적으로 강함 |
| 러시아어 | 5.6% | 표준 러시아어에 좋지만 지역 억양에서는 성능 저하 |
이 언어들을 깨끗한 오디오로 전사한다면, 모델 선택보다 모델에 넣는 오디오 품질이 더 중요해지는 경우가 많습니다.
2단계: 높은 정확도 (약 6-11% WER)
의미 있는 학습 데이터가 있지만, 1단계보다 데이터 양이 적거나 음성학적 복잡성이 더 큽니다. 대부분의 프로덕션 사용 사례는 잘 작동하지만, 고유명사와 전문 용어는 가끔 수정해야 합니다.
| 언어 | Whisper large-v2 FLEURS WER | 참고 |
|---|---|---|
| 네덜란드어 | 6.7% | 독일어 및 영어 데이터와의 가까움이 도움 |
| 인도네시아어 | 7.1% | 리소스 수준 대비 강함 |
| 카탈루냐어 | 7.3% | 전용 데이터셋 덕분에 화자 수 대비 높은 성능 |
| 프랑스어 | 8.3% | 유럽 프랑스어가 학습 데이터를 지배 |
| 터키어 | 8.4% | 교착어적 형태론이 복잡성을 높임 |
| 스웨덴어 | 8.5% | 북유럽 말뭉치가 잘 정제되어 있음 |
| 우크라이나어 | 8.6% | 2022년 이후 데이터셋이 커지며 크게 개선 |
| 말레이어 | 8.7% | 인도네시아어와 특징을 공유 |
| 베트남어 | 10.3% | 성조 언어. 성조 오류가 주요 실패 모드 |
3단계: 중간 정확도 (약 11-16% WER)
이 단계부터 AI 전사의 불완전함이 눈에 띄기 시작합니다. 전사는 초안으로 사용할 수 있지만, 특히 고유명사와 숫자에서 분당 여러 개의 오류를 고쳐야 할 수 있습니다.
| 언어 | Whisper large-v2 FLEURS WER | 참고 |
|---|---|---|
| 태국어 | 11.5% (CER) | 단어 사이에 공백이 없어 Whisper 논문에서는 문자 수준으로 측정 |
| 그리스어 | 12.5% | 다른 유럽 언어보다 학습 말뭉치가 작음 |
| 체코어 | 13.3% | 복잡한 형태론에도 견고함 |
| 크로아티아어 | 13.4% | 남슬라브 언어와 공유하는 특징이 도움 |
| 덴마크어 | 13.8% | 음성학적으로 어렵지만 데이터에는 잘 포함됨 |
| 루마니아어 | 14.4% | 데이터셋 성장과 함께 개선 중 |
| 불가리아어 | 14.6% | 중간 리소스의 슬라브어 |
| 한국어 | 14.3% | 단어 띄어쓰기가 한국어 WER를 높임. 문자 수준 정확도는 훨씬 낫지만 논문은 한국어 CER를 공개하지 않음 |
| 중국어(만다린) | 14.7% (CER) | 문자 수준. FLEURS 낭독 음성에서는 일반적 인식보다 높게 나옴 |
| 아랍어 | 16.0% | 현대 표준 아랍어 기준. 이집트, 레반트, 걸프 방언은 훨씬 더 어려움 |
중국어(만다린)의 숫자는 의외일 수 있습니다. 깨끗하고 도메인이 맞는 오디오에서는 많은 도구가 더 잘하지만, 표준화된 FLEURS 문자 수준 평가에서 Whisper large-v2는 10%대 중반에 위치합니다. 최신 모델은 이 격차를 줄이고 있습니다.
4단계: 낮은 정확도 (약 16-40% WER)
이 언어들은 수억 명의 화자를 가진 경우가 많지만, 라벨이 붙은 학습 데이터는 제한적입니다. 결과물은 상당한 사람 검토가 필요한 거친 초안입니다.
| 언어 | Whisper large-v2 FLEURS WER | 참고 |
|---|---|---|
| 타밀어 | 17.5% | 복잡한 형태론을 가진 드라비다어 |
| 힌디어 | 21.5% | 억양과 영어 코드 스위칭에 따라 편차가 큼 |
| 우르두어 | 22.6% | 힌디어와 관련 있지만 페르소-아랍 문자로 표기 |
| 히브리어 | 27.1% | 오른쪽에서 왼쪽으로 쓰는 문자 체계, 풍부한 형태론 |
| 세르비아어 | 33.9% | FLEURS에서 주변 슬라브어보다 뚜렷하게 어려움 |
| 칸나다어 | 37.0% | 드라비다어족, 과소 대표됨 |
| 마라티어 | 38.3% | 인도아리아어, 중간 수준의 리소스 |
| 스와힐리어 | 39.3% | 동아프리카의 공용어. 데이터셋이 성장 중 |
4단계에서는 보통 하이브리드 워크플로가 가장 효율적입니다. AI가 초안을 만들고, 원어민 편집자가 이를 정리하는 방식입니다.
5단계: 일반 모델이 사실상 실패하는 영역 (약 45%에서 100% 초과 WER)
다른 곳에서 보이는 "~40-50%"라는 우호적인 숫자가 크게 빗나가는 구간이 바로 여기입니다. FLEURS에서 Whisper large-v2는 이 언어들에 대해 거칠지만 쓸 만한 초안을 만드는 것이 아니라, 75% 이상, 때로는 100%를 넘는 WER를 냅니다. 단어 수보다 오류가 더 많다는 뜻입니다. 특화 없이는 일반 모델로 사실상 전사할 수 없습니다.
| 언어 | Whisper large-v2 FLEURS WER | 참고 |
|---|---|---|
| 네팔어 | 47.1% | 경계선. 강한 검토 필요 |
| 몰타어 | 76.6% | large-v3에서 크게 개선됨(약 26% CER) |
| 요루바어 | 94.8% | 성조 언어. large-v3도 약 49% CER로 여전히 어려움 |
| 크메르어 | 99.7% | Whisper large-v2는 사용할 수 있는 출력을 거의 만들지 못함 |
| 라오어 | 101.5% | large-v2에서는 사실상 전사 불가 |
| 벵골어 | 104.1% | 화자 수는 매우 많지만 Whisper large-v2는 실패. large-v3 CER 약 34% |
| 버마어 | 115.7% | large-v2에서는 사실상 전사 불가 |
| 암하라어 | 140.3% | 단어보다 오류가 많음. 특화 모델 필요 |
여기서 중요한 점은 두 가지입니다. 첫째, 최신 모델과 특화 모델은 이 격차의 상당 부분을 줄입니다. Whisper large-v3와 언어별 데이터로 파인튜닝한 제공업체는 사용할 수 없는 large-v2 결과를 편집 가능한 초안으로 바꿀 수 있습니다(몰타어와 벵골어가 좋은 예입니다). 둘째, 싱할라어는 Whisper의 FLEURS 평가에 포함되어 있지 않습니다. 따라서 Whisper의 구체적인 "싱할라어 WER" 수치는 이 벤치마크로 뒷받침되지 않으며, 여기서는 미평가 언어로 봐야 합니다.
정확도 격차를 만드는 요인
학습 데이터의 양은 가장 강력한 단일 예측 변수입니다. Whisper는 68만 시간의 오디오로 학습되었고, 그 대부분은 영어입니다. 고리소스 언어에는 수만 시간이 있고, 가장 낮은 리소스 언어에는 몇백 시간만 있는 경우도 있습니다. 데이터가 많을수록 WER는 크게 낮아지지만, 언어가 충분히 잘 커버되면 개선 폭은 줄어듭니다.
음성학적 복잡성과 문자 체계의 복잡성은 데이터가 있어도 한계를 만듭니다. 성조 언어(중국어 만다린, 베트남어, 태국어, 요루바어)는 비슷한 단어를 음높이로 구분해야 합니다. 교착어(터키어, 핀란드어, 스와힐리어)는 많은 형태소로 긴 단어를 만들며, 이는 토큰화와 잘 맞지 않을 수 있습니다. 표어문자나 공백이 없는 문자 체계(중국어, 일본어, 태국어)는 공정한 지표를 WER에서 문자 오류율로 바꿉니다.
오디오 도메인 일치도 언어만큼 중요합니다. 주로 낭독 음성으로 학습한 모델은 같은 언어의 자연스러운 대화에서 성능이 떨어집니다. 그래서 FLEURS 낭독 음성 숫자는 회의 녹음에 대한 약속이 아니라 하한선에 가깝습니다.
더 어려운 언어에서 정확도를 높이는 방법
오디오를 먼저 개선하세요. 노이즈 감소, 화자 분리, 일정한 레벨은 실제 오디오에서 몇 WER 포인트를 줄일 수 있습니다. 가장 빠른 개선 방법은 소음이 있는 오디오 전사 가이드에서 다룹니다.
도메인 문맥을 제공하세요. 많은 전사 API는 고유명사, 기술 용어, 등장 가능성이 높은 문구 목록을 받을 수 있습니다. 편향 어휘는 전문 용어와 이름에서 발생하는 대체 오류를 줄입니다.
언어별로 맞는 모델을 선택하세요. 어떤 언어에서는 Whisper가 앞서고, 다른 언어에서는 NVIDIA Canary나 언어 특화 제공업체가 더 낫습니다(특히 일본어, 한국어, 아랍어). 특정 언어가 워크플로에 중요하다면 대표 샘플로 2-3개 제공업체를 테스트할 가치가 있습니다.
마지막 단계에는 사람 편집자를 두세요. 3단계 이하에서는 원어민 편집자가 AI 초안을 검토하는 방식이 처음부터 전사하는 것보다 몇 배 빠르고, 최종 정확도도 98%를 훨씬 넘길 수 있습니다.
Vocova 같은 도구는 자동 언어 감지로 100개 이상의 언어를 전사하므로, 파일에 미리 언어 태그를 붙일 필요가 없습니다. 다만 위 데이터가 보여주듯, 실제로 기대할 수 있는 정확도는 어떤 언어를 다루는지에 여전히 크게 좌우됩니다.
자주 묻는 질문
AI 전사 정확도가 가장 높은 언어는 무엇인가요?
FLEURS 벤치마크에서는 영어, 스페인어, 이탈리아어, 독일어가 깨끗한 낭독 음성에서 약 3-5% Whisper WER로 앞서며, 일본어도 문자 오류율 기준으로 그에 가깝습니다. 실제 자연 발화 오디오에서는 이 값들에 5-15포인트를 더해 보세요.
Whisper는 언어별로 얼마나 정확한가요?
FLEURS에서 Whisper large-v2는 이 글의 1-2단계 언어 대부분에서 약 10% 미만 WER를 보이고, 3-4단계에서는 10%대에서 30%대에 위치하며, 저리소스 언어군(암하라어, 요루바어, 크메르어, 라오어, 버마어, 벵골어)에서는 75%를 넘습니다. 이 구간에서는 사실상 전사할 수 없습니다. 최신 large-v3는 가장 어려운 사례를 크게 개선하지만, large-v3의 정확한 언어별 WER 표는 공개되지 않았습니다.
어느 정도 WER가 "좋은" 수준인가요?
대부분의 비즈니스 용도에서는 WER가 10% 미만이면 오디오를 듣는 것보다 더 빠르게 읽고 편집할 수 있는 전사가 됩니다. 5% 미만은 인간에 가까운 수준입니다. 20%를 넘으면 게시 가능한 텍스트로 쓰기 전에 상당한 수동 수정이 필요합니다. 계산 방식은 단어 오류율를 참고하세요.
독일어 전사가 태국어 전사보다 더 정확한 이유는 무엇인가요?
독일어는 데이터가 풍부한 고리소스 언어이며(FLEURS WER 약 4.5%), 영어와 공유하는 특징도 많습니다. 태국어는 성조 언어이고 단어 사이에 공백을 쓰지 않으며 라벨 데이터가 더 적습니다. WER는 약 11-12%이고, 더 공정한 지표는 문자 오류율입니다. 최고의 모델에서도 두 언어 사이에는 의미 있는 차이가 남습니다.
FLEURS 벤치마크는 실제 오디오와 비교할 수 있나요?
직접 비교하기는 어렵습니다. FLEURS는 깨끗하고, 자연 발화가 아니라 낭독이며, 전문적으로 녹음되었습니다. 실제 오디오(회의, 전화, 인터뷰)는 같은 언어와 모델에서도 보통 FLEURS보다 5-15포인트 높은 WER를 냅니다. 이 숫자는 언어를 비교하는 데 쓰고, 정확한 결과를 예측하는 데 쓰지는 않는 것이 좋습니다.
요약
2026년 AI 전사 정확도는 언어, 오디오 품질, 모델과 작업의 적합성에 의해 결정됩니다. Whisper FLEURS 기준선에서 1단계 언어는 깨끗한 오디오에서 인간에 가까운 정확도에 도달합니다. 3단계는 편집이 필요합니다. 그리고 일부 저리소스 언어는 특화 없이는 일반 모델로 사실상 전사할 수 없으며, 자주 인용되는 보기 좋은 두 자릿수 수치보다 훨씬 어렵습니다. 최신 모델과 언어 특화 모델은 특히 어려운 쪽에서 이 격차를 줄이고 있습니다.
전사 파이프라인을 고른다면, 가장 유용한 일은 실제로 다루는 언어와 오디오 도메인에 가까운 대표 샘플 2-3개로 테스트하는 것입니다. 벤치마크는 언어를 비교해 줄 뿐, 정확한 결과를 예측하지는 않습니다.
출처 및 추가 자료
- OpenAI, "Robust Speech Recognition via Large-Scale Weak Supervision" (Whisper 논문, 2022) - 언어별 FLEURS WER, 부록 D.2.4 / 표 13
- Conneau et al., "FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech" (2022)
- FLEURS-SLU (2025) - Whisper large-v3 언어별 CER. 이 글에서는 저리소스 언어 관련 주의사항에 사용
- Mozilla Common Voice datasets
- 단어 오류율
- AI가 다국어 커뮤니케이션을 혁신하는 방법
