Taux d'erreur sur les mots (WER) : comment la précision de transcription est mesurée
Comprenez le taux d'erreur sur les mots (WER), la métrique standard pour mesurer la précision de transcription. Découvrez comment le WER est calculé et ce qui constitue un bon score.
Le taux d'erreur sur les mots (WER) est la métrique standard pour mesurer la précision des systèmes de reconnaissance automatique de la parole (ASR) -- il calcule le pourcentage de mots dans une transcription qui diffèrent d'une transcription de référence vérifiée par des substitutions, des suppressions et des insertions.
Que vous évaluiez des services de transcription, compariez des modèles ASR ou essayiez de comprendre ce que signifie réellement « 95 % de précision » en pratique, le WER est le chiffre qui compte. Ce guide explique comment le WER fonctionne, ce qui constitue un bon score, et pourquoi cette métrique a à la fois des forces et des limitations importantes.
Qu'est-ce que le taux d'erreur sur les mots ?
Le taux d'erreur sur les mots mesure combien de mots un système de transcription a mal transcrits par rapport à une transcription de référence vérifiée. Il est exprimé en pourcentage, où des valeurs plus basses indiquent une meilleure précision : un WER de 5 % signifie que le système a fait des erreurs sur 5 mots sur 100.
La formule du WER est :
WER = (S + D + I) / N x 100 %
Où :
- S (Substitutions) : Mots qui ont été remplacés par un mot différent. La référence dit « chat » mais la transcription dit « chap ».
- D (Suppressions) : Mots présents dans la référence qui manquent dans la transcription. Un mot a été prononcé mais pas transcrit.
- I (Insertions) : Mots dans la transcription qui n'apparaissent pas dans la référence. Le système a ajouté un mot qui n'a jamais été prononcé.
- N : Le nombre total de mots dans la transcription de référence.
Un WER de 0 % signifie que la transcription correspond parfaitement à la référence. Un WER de 100 % signifie que le nombre d'erreurs est égal au nombre total de mots de référence. Le WER peut en fait dépasser 100 % si le système insère plus de mots que la référence n'en contient, bien que ce soit rare avec les systèmes modernes.
Pourquoi ces trois types d'erreurs comptent
Chaque type d'erreur reflète un mode de défaillance différent dans la reconnaissance vocale :
- Les substitutions sont le type d'erreur le plus courant. Elles surviennent lorsque le modèle acoustique confond des mots aux sonorités similaires (« leur » vs « l'heure »), lorsque le modèle de langage choisit un mot statistiquement probable mais incorrect, ou lorsque les accents et dialectes causent des erreurs de reconnaissance.
- Les suppressions surviennent lorsque le système manque des mots entièrement. C'est courant avec les mots de remplissage (« euh », « hum »), la parole rapide, les locuteurs qui se chevauchent ou les passages à faible volume.
- Les insertions surviennent lorsque le système hallucine des mots qui n'ont pas été prononcés. Le bruit de fond, l'écho ou la musique peuvent déclencher de fausses détections de mots.
Comprendre la répartition des erreurs S, D et I est souvent plus utile que le chiffre WER agrégé seul, car cela révèle où le système échoue et ce qui pourrait être fait pour améliorer les résultats.
Comment le WER est calculé
Le calcul du WER repose sur la programmation dynamique pour trouver la distance d'édition minimale entre la transcription de référence et l'hypothèse (sortie du système). C'est le même algorithme utilisé pour la distance d'édition de chaînes (distance de Levenshtein), appliqué au niveau des mots.
Voici un exemple pas à pas.
Transcription de référence (ce qui a été réellement dit) :
Le rapide renard brun saute par-dessus le chien paresseux
Transcription hypothèse (ce que le système a produit) :
Le rapide renard brun saut par-dessus un chien pareseux
Étape 1 : Aligner les transcriptions mot par mot.
| Référence | Le | rapide | renard | brun | saute | par-dessus | le | chien | paresseux |
|---|---|---|---|---|---|---|---|---|---|
| Hypothèse | Le | rapide | renard | brun | saut | par-dessus | un | chien | pareseux |
| Type d'erreur | -- | -- | -- | -- | S | -- | S | -- | S |
Étape 2 : Compter chaque type d'erreur.
- Substitutions (S) : 3 (« saute » -> « saut », « le » -> « un », « paresseux » -> « pareseux »)
- Suppressions (D) : 0 (aucun mot n'a été omis)
- Insertions (I) : 0 (aucun mot supplémentaire n'a été ajouté)
Étape 3 : Appliquer la formule.
WER = (3 + 0 + 0) / 9 x 100 % = 33,3 %
Le nombre total de mots dans la référence (N) est 9. Avec 3 erreurs de substitution, le WER est de 33,3 %.
Un exemple plus complexe
Considérons un cas avec les trois types d'erreurs.
Référence : « Elle vend des coquillages sur le rivage »
Hypothèse : « Elle vend des coquillage sur rivage aujourd'hui »
Alignement :
| Référence | Elle | vend | des | coquillages | sur | le | rivage | -- |
|---|---|---|---|---|---|---|---|---|
| Hypothèse | Elle | vend | des | coquillage | sur | -- | rivage | aujourd'hui |
| Type d'erreur | -- | -- | -- | S | -- | D | -- | I |
- S = 1 (« coquillages » -> « coquillage »)
- D = 1 (« le » a été supprimé)
- I = 1 (« aujourd'hui » a été inséré)
- N = 7
WER = (1 + 1 + 1) / 7 x 100 % = 42,9 %
En pratique, l'étape d'alignement est calculée algorithmiquement car aligner manuellement de longues transcriptions avec de nombreuses insertions et suppressions est sujet à erreurs. Les outils de recherche comme sclite du NIST et la bibliothèque Python jiwer automatisent ce processus.
Qu'est-ce qu'un bon WER ?
Les benchmarks de WER varient significativement selon la qualité audio, le domaine, le nombre de locuteurs et la langue. Voici un guide général pour la transcription en anglais.
| Plage de WER | Niveau de qualité | Scénario typique |
|---|---|---|
| Moins de 5 % | Excellent | Audio de qualité studio, locuteur unique, parole claire, vocabulaire courant |
| 5 % -- 10 % | Bon | Enregistrements professionnels, réunions en salles calmes, interviews avec bons micros |
| 10 % -- 15 % | Acceptable | Conférences téléphoniques, webinaires, bruit de fond modéré |
| 15 % -- 20 % | Correct | Environnements bruyants, parole accentuée, locuteurs multiples se chevauchant |
| Plus de 20 % | Médiocre | Audio très bruyant, accents forts, mauvaise qualité de micro, parole distante |
Pour référence, les transcripteurs humains professionnels atteignent typiquement un WER de 4 % à 6 % dans des conditions favorables. L'écart entre la performance humaine et machine s'est considérablement réduit ces dernières années, les meilleurs systèmes IA égalant ou approchant désormais la précision de niveau humain sur un audio propre.
Le niveau de qualité dont vous avez besoin dépend de votre cas d'usage. Un WER de 10 % peut être parfaitement acceptable pour des notes de réunion où les participants peuvent compléter le contexte, mais il serait insuffisant pour des dépositions juridiques ou des transcriptions médicales où chaque mot compte.
Benchmarks de WER pour l'IA moderne
Les systèmes modernes de reconnaissance automatique de la parole se sont considérablement améliorés depuis 2020. Voici des chiffres de WER approximatifs pour des systèmes ASR bien connus sur des benchmarks standard en anglais.
| Système | WER approximatif (parole propre) | Notes |
|---|---|---|
| OpenAI Whisper (large-v3) | 3 % -- 5 % | Open source, multilingue, solide sur les accents divers |
| Google Cloud Speech-to-Text (v2) | 4 % -- 6 % | API cloud, supporte la transcription temps réel et par lots |
| AWS Amazon Transcribe | 5 % -- 8 % | API cloud, inclut la diarisation des locuteurs |
| Microsoft Azure Speech | 4 % -- 7 % | API cloud, modèles de langage personnalisables |
| Deepgram Nova-2 | 3 % -- 5 % | Optimisé pour la vitesse et la précision |
| Meta MMS | 5 % -- 10 % | Open source, couvre plus de 1 100 langues |
Ces chiffres sont approximatifs et proviennent de benchmarks publiés, d'articles de recherche et d'évaluations indépendantes. La performance réelle varie significativement selon les conditions audio, le vocabulaire du domaine, l'accent et la langue. Un système qui atteint 4 % de WER sur une conférence TED propre peut produire plus de 15 % de WER sur un appel téléphonique bruyant.
Il est également à noter que les fournisseurs rapportent souvent le WER sur des benchmarks soigneusement sélectionnés. La performance en conditions réelles -- avec bruit de fond, parole croisée, jargon spécifique au domaine et équipements d'enregistrement variés -- est typiquement plus élevée que les chiffres publiés. Lorsque vous évaluez un service de transcription, testez-le sur votre propre audio plutôt que de vous fier uniquement aux revendications de benchmark.
Limitations du WER
Le WER est une métrique utile mais imparfaite. Comprendre ses limitations vous aide à interpréter les revendications de précision de manière plus critique.
Le WER ignore la correction sémantique
Le WER traite toutes les erreurs de mots de manière égale. Transcrire « je dois réserver un vol » comme « je dois réserver un bol » compte comme une erreur de substitution, la même chose que de le transcrire comme « je dois réserver un vol ». Mais la première erreur est plus dommageable pour le sens que la seconde. Le WER n'a pas de concept de combien une erreur nuit à la compréhension.
La ponctuation et les majuscules sont exclues
L'évaluation standard du WER retire la ponctuation et normalise la casse avant la comparaison. Cela signifie qu'une transcription avec des mots parfaits mais des points, virgules et points d'interrogation manquants obtiendrait un WER de 0 % tout en étant difficile à lire. Inversement, une transcription avec une ponctuation correcte mais des erreurs de mots est pleinement pénalisée.
Le formatage et la structure sont invisibles
Le WER ne prend pas en compte les sauts de paragraphe, les étiquettes de locuteurs, les horodatages ni aucun formatage structurel. Deux transcriptions avec un texte identique mais une lisibilité très différente (l'une est un mur de texte, l'autre est correctement segmentée par locuteur) recevraient le même score WER. Pour les cas d'usage comme les transcriptions de réunion où la structure compte, le WER seul est insuffisant.
Les énoncés courts gonflent le WER
Le WER est un ratio, donc les phrases courtes produisent des scores volatils. Si la référence est « Oui, absolument » (2 mots) et que le système produit « Oui, certainement », cette unique substitution produit un WER de 50 %. Le même type d'erreur dans un passage de 200 mots ne contribuerait qu'à 0,5 % du WER. Cela rend le WER moins significatif pour évaluer les tâches de transcription de forme courte.
Les différences de normalisation causent des incohérences
La façon dont vous normalisez le texte avant de calculer le WER affecte le résultat. « Dr. » et « Docteur » doivent-ils être traités comme un match ? Et « 100 » vs « cent » ? Différents pipelines d'évaluation font des choix de normalisation différents, c'est pourquoi les chiffres de WER provenant de différentes sources ne sont pas toujours directement comparables.
Autres métriques de précision
Les chercheurs et praticiens ont développé plusieurs métriques alternatives et complémentaires pour pallier les limitations du WER.
Taux d'erreur sur les caractères (CER)
Le CER applique la même formule de substitution/suppression/insertion au niveau des caractères plutôt qu'au niveau des mots. Le CER est particulièrement utile pour les langues sans frontières de mots claires (comme le chinois, le japonais et le thaï) et pour évaluer la gravité des erreurs. Une substitution de « chat » pour « char » est 1 erreur en WER mais seulement 1 erreur de caractère en CER, tandis que « chat » pour « éléphant » est toujours 1 erreur WER mais de nombreuses erreurs de caractères.
CER = (Sc + Dc + Ic) / Nc x 100 %
Où Sc, Dc, Ic sont les substitutions, suppressions et insertions au niveau des caractères, et Nc est le nombre total de caractères dans la référence.
Taux d'erreur de correspondance (MER)
Le MER ajuste la formule du WER pour prendre en compte le nombre total de correspondances plutôt que seulement la longueur de la référence. Il fournit une vue plus équilibrée de la précision lorsque l'hypothèse et la référence diffèrent significativement en longueur.
MER = (S + D + I) / (S + D + C) x 100 %
Où C est le nombre de mots corrects (correspondants).
Information perdue sur les mots (WIL)
Le WIL mesure combien d'information est perdue dans le processus de transcription. Contrairement au WER, qui se concentre sur les erreurs, le WIL considère à la fois la précision (quelle part de l'hypothèse est correcte) et le rappel (quelle part de la référence a été capturée). Le WIL varie de 0 (parfait) à 1 (perte complète d'information).
Métriques de distance sémantique
Les approches d'évaluation plus récentes utilisent des modèles de langage pour mesurer la similarité sémantique entre les transcriptions de référence et d'hypothèse plutôt que la correspondance exacte des mots. Ces métriques capturent mieux si le sens a été préservé, même si les mots exacts diffèrent. La recherche dans ce domaine est active mais ces métriques ne sont pas encore standardisées.
Comment améliorer votre WER de transcription
Que vous utilisiez la transcription IA ou la transcription humaine, la qualité audio est le facteur le plus important affectant la précision. Voici des étapes pratiques pour améliorer votre WER.
Enregistrez avec un bon microphone
Utilisez un microphone dédié plutôt que le micro intégré d'un ordinateur portable. Pour les enregistrements solo, un microphone à condensateur USB positionné à 15-30 cm du locuteur produit des résultats considérablement meilleurs qu'un micro de webcam de l'autre côté de la pièce. Pour les réunions, un haut-parleur de conférence avec microphones à formation de faisceau améliore la précision de reconnaissance pour tous les participants.
Minimisez le bruit de fond
Enregistrez dans un environnement calme chaque fois que possible. Fermez les fenêtres, éteignez les ventilateurs et climatiseurs, et évitez les lieux avec de la musique ambiante ou des conversations. Même les modèles ASR modernes robustes au bruit fonctionnent mesurément mieux avec un audio propre. Pour des conseils sur la gestion du bruit inévitable, consultez notre guide sur la transcription d'audio bruyant.
Parlez clairement et à un rythme modéré
La parole rapide, le marmonnement et le fait de baisser la voix en fin de phrase augmentent tous le WER. Lorsque vous enregistrez du contenu qui sera transcrit, maintenez un rythme de parole constant et articulez clairement. Cela ne signifie pas parler anormalement lentement -- évitez simplement de vous précipiter sur les points importants.
Utilisez un débit binaire audio plus élevé
Compressez l'audio à 128 kbps ou plus pour la parole. L'audio fortement compressé (64 kbps ou moins) supprime des détails acoustiques sur lesquels les systèmes ASR s'appuient pour une reconnaissance précise. Si vous enregistrez spécifiquement pour la transcription, 256 kbps ou les formats sans perte préservent le plus de signal utile.
Évitez la parole chevauchée
Lorsque plusieurs personnes parlent simultanément, même les meilleurs systèmes de diarisation peinent à séparer et transcrire les deux locuteurs avec précision. Dans les réunions et interviews, établissez des normes de prise de parole à tour de rôle. Si le chevauchement est inévitable, utiliser des microphones individuels pour chaque locuteur améliore significativement les résultats.
Choisissez le bon outil de transcription
Différents systèmes ASR ont des forces différentes. Certains gèrent mieux la parole accentuée, d'autres excellent dans le vocabulaire spécifique au domaine, et certains sont optimisés pour les conditions bruyantes. Vocova prend en charge plus de 100 langues avec détection automatique de la langue et diarisation des locuteurs, ce qui aide à maintenir la précision dans des conditions d'enregistrement diverses. Tester votre type d'audio spécifique avec un service avant de vous engager dans un flux de travail vaut toujours le coup.
Post-traitez avec contexte
Après la transcription, relisez la sortie avec l'audio original. Les termes spécifiques au domaine, les noms propres et les acronymes sont les catégories d'erreurs les plus courantes. De nombreux outils de transcription vous permettent d'éditer la transcription directement, et certains prennent en charge des listes de vocabulaire personnalisé qui réduisent les erreurs sur la terminologie connue.
Questions fréquentes
Qu'est-ce qui est considéré comme un bon taux d'erreur sur les mots ?
Un WER inférieur à 5 % est considéré comme excellent et est comparable à la qualité de transcription humaine professionnelle. Pour la plupart des applications professionnelles -- notes de réunion, transcriptions d'interviews, création de contenu -- un WER entre 5 % et 10 % est considéré comme bon et produit des transcriptions utilisables avec un minimum de modification nécessaire.
Le WER peut-il être supérieur à 100 % ?
Oui. Parce que les insertions s'ajoutent au nombre d'erreurs mais pas au nombre de mots de référence (N), un système qui produit de nombreux mots supplémentaires peut dépasser 100 % de WER. Par exemple, si la référence est de 10 mots et que le système produit 25 mots avec de nombreuses erreurs, le calcul (S + D + I) / N peut produire une valeur supérieure à 1,0. C'est rare avec les systèmes modernes mais mathématiquement possible.
En quoi le WER diffère-t-il de la précision ?
La précision est parfois rapportée comme (1 - WER). Un WER de 8 % correspond à 92 % de précision. Cependant, « précision » est utilisé de manière lâche dans le marketing et peut faire référence à des méthodologies d'évaluation différentes. Demandez toujours quelle métrique est utilisée et comment l'évaluation a été menée lorsque vous voyez des revendications de précision de la part de fournisseurs de transcription.
Pourquoi différents systèmes ASR rapportent-ils des WER différents pour le même audio ?
Le WER dépend du jeu de données d'évaluation, du pipeline de normalisation du texte et de la méthodologie de scoring. Un fournisseur peut normaliser « Dr. Dupont » en « docteur dupont » avant le scoring tandis qu'un autre le laisse tel quel. L'un peut évaluer sur de la parole lue propre tandis qu'un autre utilise de l'audio conversationnel. Ces différences méthodologiques rendent les comparaisons directes peu fiables à moins que le même protocole d'évaluation ne soit utilisé.
Le WER prend-il en compte les erreurs de ponctuation ?
Non. L'évaluation standard du WER retire toute la ponctuation avant l'alignement et le scoring. Une transcription avec des mots parfaits mais aucune ponctuation du tout atteindrait un WER de 0 %. La précision de la ponctuation nécessite des métriques d'évaluation séparées, qui sont moins standardisées que le WER.
Comment calculer le WER pour mes propres transcriptions ?
L'outil le plus accessible est la bibliothèque Python jiwer. Installez-la avec pip install jiwer, puis calculez le WER avec quelques lignes de code :
from jiwer import wer
reference = "le rapide renard brun saute par dessus le chien paresseux"
hypothesis = "le rapide renard brun saut par dessus un chien pareseux"
error_rate = wer(reference, hypothesis)
print(f"WER: {error_rate:.1%}") # Sortie: WER: 33.3%
Pour les transcriptions plus longues, vous aurez besoin d'une transcription de référence vérifiée pour la comparaison. Cela signifie typiquement faire produire une version de référence de l'audio par un transcripteur humain.