Benchmark de precisão do Whisper 2026: testamos large-v3, turbo e small em 12 idiomas

Executamos 1.749 transcrições para medir quão precisa a transcrição por IA de código aberto realmente é em 2026. Três modelos Whisper (large-v3, large-v3-turbo e small) transcreveram 50 enunciados em cada um de 12 idiomas do conjunto de teste público FLEURS. O destaque: o large-v3 alcança uma taxa de erro de palavra de cerca de 3 a 6 por cento em idiomas europeus de altos recursos (espanhol 2,9%, italiano 3,2%, inglês 4,1%), perto da faixa comumente citada para a transcrição humana. Em hindi sobe para 15,7% e em árabe egípcio para 14,6%. Dentro de um mesmo modelo, a diferença entre o melhor e o pior idioma é mais de 5 vezes, o que ofusca a diferença entre versões do modelo.

As médias contam apenas metade da história, então este artigo também relata o que as médias escondem: em inglês e italiano, mais de 60% das frases voltaram perfeitas palavra por palavra, enquanto hindi e cantonês ficaram em 4%. E quando os modelos menores falham em idiomas difíceis, não falham com elegância: encontramos quatro alucinações de laço de repetição de manual na saída bruta, todas de turbo e small, nenhuma de large-v3.

Cada número deste artigo vem de um teste que executamos nós mesmos em julho de 2026, com uma semente aleatória fixa, um script publicado e resultados brutos para download. Você pode reproduzir tudo ou conferir nosso trabalho linha por linha.

O que testamos e como

Quase todos os números de precisão de transcrição na web são copiados de páginas de fornecedores ou de outros artigos, sem um teste por trás. Esta é a nossa configuração exata:

Item	Configuração
Conjunto de teste	Google FLEURS test split (conjunto acadêmico público, fala lida)
Amostragem	Primeiros 50 enunciados do test split embaralhado por idioma (shuffle seed 42, determinística), cerca de 9 minutos de áudio por idioma
Modelos	Whisper large-v3, large-v3-turbo e small (conversões MLX de código aberto)
Inferência	temperature 0, idioma de origem fixado (sem detecção automática), sem condicionamento no texto anterior
Normalização	Igual ao paper do Whisper: EnglishTextNormalizer para inglês, BasicTextNormalizer nos demais (via transformers)
Métricas	WER (taxa de erro de palavra); para chinês, japonês e cantonês a métrica principal é o CER (taxa de erro de caractere)
Software	mlx-whisper 0.4.3, jiwer 4.0.0, transformers 5.11.0, datasets 3.6.0
Hardware	Apple M3, inferência MLX, fp16
Data do teste	Julho de 2026

Escolhemos os 12 idiomas para abranger níveis de recursos e sistemas de escrita, não para favorecer os modelos: seis idiomas europeus de altos recursos, três idiomas CJK sem espaços que exigem pontuação no nível do caractere, mais coreano (aglutinante, com espaços), hindi (devanágari) e árabe egípcio.

Um detalhe de amostragem para quem auditar o arquivo bruto: o FLEURS costuma incluir várias gravações da mesma frase por falantes diferentes, compartilhando um id de frase. Nossa lógica de retomada remove duplicatas por id de frase, então a célula de inglês no large-v3 contém 49 enunciados em vez de 50; todas as outras contêm 50, num total de 1.749 transcrições.

Duas ressalvas honestas antes da tabela. Primeiro, o FLEURS é fala lida: áudio limpo, ritmo constante, um único falante. Reuniões e entrevistas reais têm desempenho bem pior, porque ruído de fundo, sotaques e sobreposição de falantes empurram as taxas de erro para cima (para passos práticos de mitigação, veja como transcrever áudio ruidoso). Trate esses números como o teto de cada idioma, não como uma promessa. Segundo, 50 enunciados por idioma são uma amostra, não o conjunto completo. Cada número carrega uma margem de alguns pontos percentuais, então leia as magnitudes e a ordenação, não os decimais.

Resultados: 12 idiomas, 3 modelos

Os números são WER %, menor é melhor. Para japonês, mandarim e cantonês (marcados com *) o número é CER %, porque esses idiomas não separam as palavras com espaços.

Idioma	large-v3	large-v3-turbo	small
Inglês	4,1%	4,7%	6,6%
Espanhol	2,9%	3,3%	6,5%
Francês	5,8%	6,7%	14,3%
Alemão	4,6%	6,0%	12,8%
Italiano	3,2%	3,9%	8,2%
Português	6,6%	7,2%	11,0%
Japonês *	6,6%	5,8%	16,4%
Coreano	14,9%	14,5%	21,7%
Mandarim *	6,7%	8,0%	19,5%
Cantonês *	10,5%	43,3%	não suportado
Hindi	15,7%	22,3%	42,4%
Árabe (Egito)	14,6%	16,1%	32,7%

Três coisas se destacam. A diferença entre idiomas é muito maior do que a diferença entre modelos: espanhol 2,9% contra hindi 15,7% no mesmo large-v3. O modelo turbo custa apenas 0,3 a 1,4 ponto nos seis idiomas europeus, mas 6,6 pontos em hindi, e em cantonês desaba de 10,5% para 43,3% CER. E o small se degrada de forma catastrófica fora dos idiomas de altos recursos: 42,4% em hindi e 32,7% em árabe fazem dele uma ferramenta de prévia, não um entregável.

A célula «não suportado» é literal: o token de idioma cantonês yue foi introduzido com a geração large-v3 (o cartão oficial do modelo lista «um novo token de idioma para cantonês» entre as mudanças), então o modelo small de geração anterior rejeita o idioma de imediato. Na nossa execução, ele lançou um erro de idioma não suportado, o que é em si um dado útil: antes de comparar a qualidade dos modelos, verifique se o modelo sequer suporta o seu idioma.

Além das médias: a maioria das frases é perfeita, uma cauda não é

Uma taxa de erro média achata uma distribuição que na verdade é muito assimétrica. Por idioma no large-v3, aqui está a proporção de enunciados transcritos sem erros, a mediana e o percentil 90:

Idioma	Enunciados perfeitos	Mediana	Percentil 90
Inglês	61%	0,0%	12,5%
Espanhol	54%	0,0%	7,7%
Francês	38%	4,3%	12,5%
Alemão	56%	0,0%	14,3%
Italiano	62%	0,0%	10,5%
Português	42%	3,7%	18,8%
Japonês *	36%	3,2%	15,8%
Coreano	34%	13,7%	35,3%
Mandarim *	40%	3,0%	17,8%
Cantonês *	4%	9,7%	17,6%
Hindi	4%	14,9%	27,5%
Árabe (Egito)	28%	10,3%	37,5%

Duas leituras importam. Nos idiomas fortes, o enunciado mediano não tem erros: a média de 4,1% do inglês é produzida quase inteiramente por uma minoria de frases mais difíceis, e é por isso que ali uma transcrição parece quase perfeita, com falhas ocasionais a corrigir. E a coluna da taxa de perfeição separa idiomas que a média agrupa: cantonês (10,5%) e árabe (14,6% de média) parecem mais próximos do que são, mas apenas 4% das frases em cantonês voltaram impecáveis contra 28% em árabe. Se você revisa procurando os trechos ruins, o percentil de cauda prevê sua carga de trabalho melhor do que a média.

Achado 1: a diferença entre idiomas ofusca a diferença entre modelos

Dentro do large-v3, a amplitude entre o melhor idioma (espanhol, 2,9%) e o pior (hindi, 15,7%) é mais de 5 vezes. Inglês (4,1%) contra árabe egípcio (14,6%) chega perto de 4 vezes. Em contrapartida, dentro de um único idioma europeu, passar de turbo para large-v3 move o número em cerca de um ponto (inglês 4,7% para 4,1%, alemão 6,0% para 4,6%).

A assimetria é ainda mais nítida no small. Em inglês ele fica apenas 2,5 pontos atrás do large-v3. Em francês se degrada de 5,8% para 14,3%, e em hindi de 15,7% para 42,4%. O mesmo checkpoint que parece um meio-termo razoável em inglês é inutilizável em hindi.

A conclusão prática: se um modelo suporta bem o seu idioma importa muito mais do que qual versão do modelo você escolhe. Se você trabalha em espanhol, quase tudo que é moderno serve. Se você trabalha em hindi ou cantonês, a escolha do modelo decide se a transcrição é sequer utilizável.

Achado 2: o que o turbo realmente custa a você

No nosso M3, a taxa típica foi de cerca de 3,8 vezes o tempo real para o large-v3, 5,2 vezes para o turbo e 14,3 vezes para o small, com média entre execuções (cada execução variou com a carga do sistema, e as velocidades absolutas dependem do hardware; o sinal são as proporções). Então o turbo roda cerca de 1,4 vez mais rápido que o large-v3.

Nos seis idiomas europeus de altos recursos, essa velocidade quase não custa nada: o turbo fica em média cerca de 0,8 ponto atrás do large-v3, e em japonês e coreano o turbo até superou levemente o large-v3 na nossa amostra (5,8% vs 6,6% CER, 14,5% vs 14,9% WER). É por isso que os serviços comerciais de transcrição migraram amplamente para modelos destilados e acelerados.

Mas o turbo não é de graça. O hindi se degrada 6,6 pontos (22,3% vs 15,7%), o árabe egípcio 1,5, e o cantonês desaba de 10,5% para 43,3% CER, o que é inutilizável. A decisão de trocar precisão por velocidade tem de ser tomada por idioma, não de forma geral.

Achado 3: idiomas sem fronteiras de palavra precisam de outra régua

Chinês, japonês e cantonês não separam as palavras com espaços, então uma taxa de erro de «palavra» depende inteiramente de como você divide o texto, e tokenizadores diferentes produzem WER muito distintas para transcrições idênticas. A prática acadêmica, incluindo o próprio paper do Whisper, é usar a taxa de erro de caractere (CER) para esses idiomas, e é o que relatamos.

Medidos assim, o japonês (6,6% CER) e o mandarim (6,7% CER) ficam na mesma faixa de qualidade dos idiomas europeus fortes no large-v3. O cantonês é o contraexemplo mais nítido de todo o nosso conjunto de dados: 10,5% CER no large-v3, 43,3% no turbo, nenhum suporte no small. Um idioma, três modelos, e o resultado vai de utilizável a impossível.

O coreano merece uma nota: seus 14,9% parecem ruins, mas o coreano é aglutinante e usa convenções de espaçamento que inflam o WER baseado em espaços, então sua precisão no nível do caractere é melhor do que o número sugere. Ainda precisa de mais revisão que os idiomas europeus, mas não tanto quanto uma leitura ingênua do WER implica.

A lição para avaliar qualquer fornecedor: se uma ferramenta afirma «95% de precisão em chinês» sem dizer se é WER ou CER, em qual áudio, com qual normalização, o número não carrega informação. Nosso artigo explicativo do WER trata da mecânica da métrica em detalhe.

Achado 4: quando os modelos menores falham, falham tudo de uma vez

As médias sugerem que os erros se espalham uniformemente por uma transcrição. A saída bruta diz o contrário. Varrendo todas as 1.749 hipóteses em busca de saída degenerada (taxa de erro acima de 100% ou saída com mais do que o dobro do comprimento de referência), encontramos exatamente quatro casos: três do turbo (dois em cantonês, um em hindi) e um do small (hindi). O large-v3 não produziu nenhum em todos os seus 599 enunciados.

Os quatro são o mesmo modo de falha: um laço de repetição. O pior caso em cantonês atingiu 372% CER (inserções podem empurrar a métrica além de 100%): o turbo transcreveu as primeiras palavras de forma plausível, depois travou em um único caractere e o emitiu 46 vezes seguidas. As falhas em hindi têm forma idêntica, uma palavra carimbada repetidamente. No mesmíssimo enunciado, o large-v3 produziu uma transcrição quase perfeita a 6,9% CER. As strings exatas estão nos dados brutos (enunciado id 1980 em results.jsonl) se você quiser inspecioná-las.

Esse caso em cantonês mostra discretamente uma segunda falha: antes de entrar no laço, o turbo já havia derivado do chinês tradicional para caracteres simplificados e escolhas lexicais do mandarim, enquanto o large-v3 permaneceu na escrita de referência. Para falantes de cantonês isso importa tanto quanto a taxa de erro, porque a «transcrição» desliza para outra língua escrita.

A alucinação nos modelos da família Whisper está documentada além da nossa amostra: Koenecke et al. (2024) auditaram transcrições do Whisper e encontraram na ordem de 1% dos segmentos com conteúdo inventado, concentrado em torno de pausas e fala hesitante. Nossa taxa em fala lida é menor (4 em 1.749, cerca de 0,2%), o que faz sentido: áudio limpo e contínuo dá ao modelo menos silêncios para preencher. A regra prática que tiramos de ambos: as piores falhas de transcrição não são ruído distribuído uniformemente, mas corrupção local total, concentram-se em checkpoints menores nos idiomas mais fracos, e uma varredura rápida por tokens repetidos captura a maioria delas.

Como nossos números do large-v3 se comparam à tabela publicada do large-v2

Nosso guia de precisão por idioma compila os resultados FLEURS do large-v2 publicados no paper do Whisper. Alinhando-os às nossas medições do large-v3 de julho de 2026 para os idiomas que se sobrepõem (os números do paper são o test split completo, os nossos uma amostra de 50 enunciados, então leia a direção, não os decimais):

Idioma	Paper large-v2	Nosso large-v3	Direção
Espanhol	3,0%	2,9%	estável, já forte
Inglês	4,2%	4,1%	estável, já forte
Italiano	4,0%	3,2%	um pouco melhor
Alemão	4,5%	4,6%	estável
Francês	8,3%	5,8%	melhor
Japonês (CER)	5,3%	6,6%	estável dentro do ruído
Coreano	14,3%	14,9%	estável dentro do ruído
Mandarim (CER)	14,7%	6,7%	reduzido à metade
Árabe	16,0%	14,6%	um pouco melhor
Hindi	21,5%	15,7%	nitidamente melhor

O padrão é coerente com para onde foram os dados de treinamento adicionais: os idiomas que já estavam perto do seu piso ficaram parados, e os grandes ganhos caíram em mandarim (reduzido à metade), hindi e francês. O cantonês não aparece de forma alguma na tabela do large-v2, que é a versão mais crua da mesma história: entre gerações de modelos, a mudança mais importante para alguns idiomas não é uma taxa de erro menor, mas a existência.

O que esses números significam para o seu trabalho

Traduzindo as taxas de erro em experiência percebida: 5% significa um erro a cada 20 palavras, uma revisão rápida. 15% significa um erro a cada 7 palavras, e a edição começa a custar tempo de verdade. Acima de 30%, trechos inteiros precisam ser reouvidos, e a transcrição é, no máximo, um rascunho.

• Idiomas europeus de altos recursos (inglês, espanhol, francês, alemão, italiano, português): o large-v3 fica entre 3 e 7 por cento em fala limpa, firmemente no território do «confie no primeiro rascunho e depois passe os olhos». O turbo custa menos de 1,5 ponto e serve para o trabalho de rotina. O small se degrada para 13 a 14 por cento em francês e alemão; não o use para nada que você entregue.
• Japonês, mandarim, coreano: japonês e mandarim a 6-7 por cento CER no large-v3 são confiáveis como primeiro rascunho, desde que você leia o número no nível do caractere. O WER do coreano superestima seus erros, mas planeje mais correção do que no grupo europeu.
• Cantonês, hindi, árabe: a zona de cautela. Hindi e árabe egípcio ficam em 15 a 16 por cento mesmo no large-v3, um erro a cada 6 ou 7 palavras, então reserve edição substancial. O cantonês só é viável no large-v3; escolha a variante errada e a taxa de erro quadruplica.

Lembre-se de que tudo isso é desempenho de teto em fala lida. Gravações reais têm desempenho pior, e as três variáveis que mais importam são a qualidade da gravação, o número de falantes e a intensidade do sotaque. Para material com vários falantes, a atribuição de falante é uma classe de erro à parte, além da precisão de palavra; veja o que é diarização de falantes para entender como funciona.

Se você quer o panorama por idioma em cerca de 100 idiomas em vez dos nossos 12, nosso guia de precisão por idioma compila a tabela FLEURS publicada no paper do Whisper, escalonada de quase humana a praticamente inutilizável. Aquela página é uma compilação de resultados publicados; esta é o benchmark que executamos nós mesmos, e as duas concordam onde se sobrepõem.

Reproduza ou confira nosso trabalho

Tudo o que é preciso para verificar ou ampliar este benchmark é público:

• results.jsonl: todos os 1.749 resultados por enunciado, com texto de referência, saída do modelo e WER/CER por enunciado
• results-summary.csv: a tabela agregada idioma x modelo por trás deste artigo
• bench.py: o script exato que produziu os dados, com amostragem determinística (seed 42)
• README do pacote de dados: comandos de instalação, versões e licenças

Execute python bench.py --n 50 e, graças ao shuffle seed fixo, você seleciona os mesmos enunciados que nós; aumente --n para ampliar a amostra (o test split do FLEURS tem cerca de 350 a 900 enunciados por idioma). O script transmite o FLEURS do Hugging Face, transcreve localmente, pontua com a normalização do paper do Whisper e anexa uma linha JSONL por enunciado, então execuções interrompidas retomam sem problemas.

Atribuição: as transcrições de referência vêm do conjunto FLEURS do Google (Conneau et al., 2022), redistribuído sob sua licença CC-BY-4.0. Os pesos do modelo Whisper são da OpenAI, lançados sob Apache 2.0.

Perguntas frequentes

O Whisper é o modelo de transcrição de código aberto mais preciso?

É a família aberta mais reproduzida e com maior abrangência de idiomas, o que a torna uma boa referência pública. Existem outras famílias de código aberto, incluindo as linhas MMS e Seamless da Meta e muitos ajustes finos específicos por idioma, mas elas diferem em cobertura de idiomas, licenciamento e convenções de avaliação, então uma comparação justa entre famílias exige seu próprio teste controlado. Escolhemos o Whisper porque os pesos são fixos e públicos, os resultados são reproduzíveis, e um único método cobre todos os 12 idiomas.

Por que vocês não testaram serviços comerciais como Otter, Rev ou HappyScribe?

Os termos de serviço comerciais costumam restringir a publicação de resultados de benchmark, os modelos por trás das APIs são opacos e mudam sem aviso, e um número medido hoje pode ser irrelevante no próximo trimestre. Os pesos de código aberto são congelados, então qualquer pessoa pode reexecutar nosso teste exato indefinidamente. As afirmações de precisão dos fornecedores estão em seus sites; note com que raridade revelam o conjunto de teste e a normalização.

50 enunciados por idioma são suficientes?

Suficientes para magnitudes e ordenação, não para testes de significância de granulação fina. É exatamente assim que apresentamos os resultados. O test split completo do FLEURS tem cerca de 350 a 900 enunciados por idioma, e ampliar a amostra é uma mudança de um único parâmetro no script publicado.

Resultados em fala lida representam gravações reais?

Não. Tudo o que medimos aqui é desempenho de teto: áudio limpo, um único falante, ritmo constante. Em reuniões, ligações e entrevistas reais, espere taxas de erro bem mais altas, com o dano crescendo conforme aumentam ruído, intensidade do sotaque e sobreposição de falantes. O que se transfere deste benchmark para o mundo real é a ordenação (um idioma ou modelo que vence em fala limpa geralmente vence também em fala confusa), não os percentuais absolutos.

Como reproduzo exatamente o teste?

Baixe bench.py, instale as dependências listadas no README do pacote de dados e execute python bench.py --n 50. A semente está fixa no script, a amostragem é determinística, e os resultados são anexados a um arquivo JSONL que retoma após interrupção. O script usa MLX (Apple Silicon); em outro hardware, troque a chamada de transcrição por openai-whisper ou faster-whisper com as mesmas configurações.

Esses modelos alucinam?

Na nossa amostra de fala lida, raramente, mas de forma catastrófica quando acontece: 4 das 1.749 saídas (cerca de 0,2%) foram laços de repetição, todas de turbo ou small em cantonês e hindi, nenhuma de large-v3. Auditorias publicadas de fala conversacional e hesitante relatam taxas mais altas, na ordem de 1% dos segmentos (Koenecke et al., 2024). Espere mais disso em áudio real com pausas longas, e varra as saídas em busca de tokens repetidos.

Qual modelo a Vocova usa?

Este benchmark mede modelos de código aberto, não o pipeline de produção da Vocova, e o ponto que ele levanta é geral: se o seu idioma é bem suportado importa mais do que o número da versão do modelo. A Vocova encaminha a transcrição para camadas de modelo de alta precisão no trabalho multilíngue e acrescenta rótulos de falante, tradução e formatos de exportação. A prova mais direta é um teste com o seu próprio áudio no seu próprio idioma.

Fontes e leituras adicionais

• FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech (Conneau et al., 2022), o conjunto de onde vêm todas as nossas amostras
• google/fleurs no Hugging Face, distribuição do conjunto e licença CC-BY-4.0
• Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., 2022), o paper do Whisper cujas convenções de normalização e CER seguimos
• Cartão do modelo openai/whisper-large-v3, documenta o token de idioma cantonês adicionado no large-v3 e a licença de pesos Apache 2.0
• Careless Whisper: Speech-to-Text Hallucination Harms (Koenecke et al., 2024), a auditoria externa das taxas de alucinação do Whisper com a qual comparamos nossas contagens de falhas
• mlx-whisper no PyPI, o runtime de inferência usado neste benchmark
• jiwer no GitHub, a biblioteca de pontuação WER/CER

Quer ver a transcrição multilíngue no seu próprio material? Cole um link de áudio ou vídeo na Vocova e compare a saída com o que este artigo espera para o seu idioma.