Whisper-Genauigkeits-Benchmark 2026: large-v3, turbo und small in 12 Sprachen getestet

Wir haben 1.749 Transkriptionen durchgeführt, um zu messen, wie genau quelloffene KI-Transkription 2026 tatsächlich ist. Drei Whisper-Modelle (large-v3, large-v3-turbo und small) transkribierten je 50 Äußerungen in jeder von 12 Sprachen aus dem öffentlichen FLEURS-Testset. Die Kernaussage: large-v3 erreicht eine Wortfehlerrate von rund 3 bis 6 Prozent in ressourcenstarken europäischen Sprachen (Spanisch 2,9 %, Italienisch 3,2 %, Englisch 4,1 %), was nahe an dem häufig genannten Bereich für menschliche Transkription liegt. In Hindi steigt sie auf 15,7 %, in ägyptischem Arabisch auf 14,6 %. Innerhalb eines Modells ist der Abstand zwischen der besten und der schlechtesten Sprache mehr als 5-fach und übertrifft damit den Unterschied zwischen den Modellversionen bei Weitem.

Durchschnittswerte erzählen nur die halbe Geschichte, deshalb berichtet dieser Artikel auch, was die Durchschnitte verbergen: In Englisch und Italienisch kamen mehr als 60 % der Sätze wortgenau zurück, während Hindi und Kantonesisch 4 % erreichten. Und wenn die kleineren Modelle an schwierigen Sprachen scheitern, scheitern sie nicht sanft: Wir haben vier lehrbuchreife Wiederholungsschleifen-Halluzinationen in der Rohausgabe gefunden, alle von turbo und small, keine von large-v3.

Jede Zahl in diesem Artikel stammt aus einem Test, den wir im Juli 2026 selbst durchgeführt haben, mit festem Zufalls-Seed, einem veröffentlichten Skript und herunterladbaren Rohergebnissen. Sie können alles reproduzieren oder unsere Arbeit Zeile für Zeile überprüfen.

Was wir getestet haben und wie

Fast alle Genauigkeitszahlen zur Transkription im Netz sind von Anbieterseiten oder aus anderen Artikeln kopiert, ohne dass ein Test dahintersteht. Hier ist unser genaues Setup:

Punkt	Einstellung
Testset	Google FLEURS test split (öffentlicher akademischer Datensatz, gelesene Sprache)
Stichprobe	Erste 50 Äußerungen des gemischten Testsplits pro Sprache (shuffle seed 42, deterministisch), etwa 9 Minuten Audio pro Sprache
Modelle	Whisper large-v3, large-v3-turbo und small (quelloffene MLX-Konvertierungen)
Inferenz	temperature 0, Quellsprache fest vorgegeben (keine Auto-Erkennung), keine Konditionierung auf vorherigen Text
Normalisierung	Wie im Whisper-Paper: EnglishTextNormalizer für Englisch, sonst BasicTextNormalizer (über transformers)
Metriken	WER (Wortfehlerrate); für Chinesisch, Japanisch und Kantonesisch ist die Hauptmetrik CER (Zeichenfehlerrate)
Software	mlx-whisper 0.4.3, jiwer 4.0.0, transformers 5.11.0, datasets 3.6.0
Hardware	Apple M3, MLX-Inferenz, fp16
Testdatum	Juli 2026

Wir haben die 12 Sprachen so gewählt, dass sie Ressourcenniveaus und Schriftsysteme abdecken, statt die Modelle zu schmeicheln: sechs ressourcenstarke europäische Sprachen, drei CJK-Sprachen ohne Leerzeichen, die eine Bewertung auf Zeichenebene erfordern, sowie Koreanisch (agglutinierend, mit Leerzeichen), Hindi (Devanagari) und ägyptisches Arabisch.

Ein Stichproben-Detail für alle, die die Rohdatei prüfen: FLEURS enthält oft mehrere Aufnahmen desselben Satzes von verschiedenen Sprechern, die sich eine Satz-id teilen. Unsere Resume-Logik entfernt Duplikate anhand der Satz-id, daher enthält die englische large-v3-Zelle 49 statt 50 Äußerungen; jede andere Zelle enthält 50, insgesamt 1.749 Transkriptionen.

Zwei ehrliche Einschränkungen vor der Tabelle. Erstens ist FLEURS gelesene Sprache: sauberes Audio, gleichmäßiges Tempo, ein Sprecher. Echte Meetings und Interviews schneiden deutlich schlechter ab, weil Hintergrundgeräusche, Akzente und überlappende Sprecher die Fehlerraten in die Höhe treiben (praktische Gegenmaßnahmen finden Sie unter wie man verrauschtes Audio transkribiert). Betrachten Sie diese Zahlen als Obergrenze jeder Sprache, nicht als Versprechen. Zweitens sind 50 Äußerungen pro Sprache eine Stichprobe, nicht das vollständige Testset. Einzelne Werte tragen einen Spielraum von einigen Prozentpunkten, achten Sie also auf Größenordnungen und Reihenfolge, nicht auf die Nachkommastellen.

Ergebnisse: 12 Sprachen, 3 Modelle

Zahlen sind WER %, niedriger ist besser. Für Japanisch, Mandarin und Kantonesisch (mit * markiert) ist der Wert CER %, da diese Sprachen Wörter nicht durch Leerzeichen trennen.

Sprache	large-v3	large-v3-turbo	small
Englisch	4,1 %	4,7 %	6,6 %
Spanisch	2,9 %	3,3 %	6,5 %
Französisch	5,8 %	6,7 %	14,3 %
Deutsch	4,6 %	6,0 %	12,8 %
Italienisch	3,2 %	3,9 %	8,2 %
Portugiesisch	6,6 %	7,2 %	11,0 %
Japanisch *	6,6 %	5,8 %	16,4 %
Koreanisch	14,9 %	14,5 %	21,7 %
Mandarin *	6,7 %	8,0 %	19,5 %
Kantonesisch *	10,5 %	43,3 %	nicht unterstützt
Hindi	15,7 %	22,3 %	42,4 %
Arabisch (Ägypten)	14,6 %	16,1 %	32,7 %

Drei Dinge stechen hervor. Der Abstand zwischen Sprachen ist weit größer als der zwischen Modellen: Spanisch 2,9 % gegenüber Hindi 15,7 % auf demselben large-v3. Das turbo-Modell kostet in den sechs europäischen Sprachen nur 0,3 bis 1,4 Punkte, aber 6,6 Punkte in Hindi, und in Kantonesisch bricht es von 10,5 % auf 43,3 % CER ein. Und small verschlechtert sich außerhalb ressourcenstarker Sprachen katastrophal: 42,4 % in Hindi und 32,7 % in Arabisch machen es zu einem Vorschau-Werkzeug, nicht zu einem lieferbaren Ergebnis.

Die Zelle „nicht unterstützt“ ist wörtlich zu nehmen: Das kantonesische yue-Sprach-Token wurde mit der large-v3-Generation eingeführt (die offizielle Modellkarte führt „ein neues Sprach-Token für Kantonesisch“ unter den Änderungen auf), daher lehnt das ältere small-Modell die Sprache rundweg ab. In unserem Lauf löste es einen Fehler wegen nicht unterstützter Sprache aus, was selbst ein nützlicher Datenpunkt ist: Prüfen Sie vor dem Vergleich der Modellqualität überhaupt erst, ob das Modell Ihre Sprache unterstützt.

Jenseits der Durchschnitte: Die meisten Sätze sind perfekt, ein Rest nicht

Eine mittlere Fehlerrate glättet eine Verteilung, die in Wirklichkeit stark schief ist. Pro Sprache auf large-v3 hier der Anteil der fehlerfrei transkribierten Äußerungen, der Median und das 90. Perzentil:

Sprache	Fehlerfreie Äußerungen	Median	90. Perzentil
Englisch	61 %	0,0 %	12,5 %
Spanisch	54 %	0,0 %	7,7 %
Französisch	38 %	4,3 %	12,5 %
Deutsch	56 %	0,0 %	14,3 %
Italienisch	62 %	0,0 %	10,5 %
Portugiesisch	42 %	3,7 %	18,8 %
Japanisch *	36 %	3,2 %	15,8 %
Koreanisch	34 %	13,7 %	35,3 %
Mandarin *	40 %	3,0 %	17,8 %
Kantonesisch *	4 %	9,7 %	17,6 %
Hindi	4 %	14,9 %	27,5 %
Arabisch (Ägypten)	28 %	10,3 %	37,5 %

Zwei Lesarten sind wichtig. In den starken Sprachen ist die mittlere Äußerung fehlerfrei: Der Durchschnitt von 4,1 % im Englischen entsteht fast ausschließlich durch eine Minderheit schwierigerer Sätze, weshalb sich ein Transkript dort nahezu perfekt anfühlt, mit gelegentlichen Fehlern zum Korrigieren. Und die Spalte der Fehlerfreiheit trennt Sprachen, die der Durchschnitt in einen Topf wirft: Kantonesisch (10,5 %) und Arabisch (14,6 % Mittelwert) wirken näher beieinander, als sie sind, aber nur 4 % der kantonesischen Sätze kamen fehlerfrei zurück gegenüber 28 % im Arabischen. Wenn Sie Korrektur lesen, indem Sie nach den schlechten Stellen suchen, sagt das Tail-Perzentil Ihren Aufwand besser voraus als der Mittelwert.

Erkenntnis 1: Der Sprachabstand übertrifft den Modellabstand

Innerhalb von large-v3 ist die Spanne zwischen der besten Sprache (Spanisch, 2,9 %) und der schlechtesten (Hindi, 15,7 %) mehr als 5-fach. Englisch (4,1 %) gegenüber ägyptischem Arabisch (14,6 %) ist fast 4-fach. Innerhalb einer einzelnen europäischen Sprache verschiebt der Wechsel von turbo zu large-v3 die Zahl dagegen um etwa einen Punkt (Englisch 4,7 % auf 4,1 %, Deutsch 6,0 % auf 4,6 %).

Bei small ist die Asymmetrie noch schärfer. Im Englischen liegt es nur 2,5 Punkte hinter large-v3. Im Französischen verschlechtert es sich von 5,8 % auf 14,3 % und im Hindi von 15,7 % auf 42,4 %. Derselbe Checkpoint, der im Englischen wie ein vernünftiger Kompromiss aussieht, ist im Hindi unbrauchbar.

Die praktische Schlussfolgerung: Ob ein Modell Ihre Sprache gut unterstützt, ist weit wichtiger als die Frage, welche Version des Modells Sie wählen. Wenn Sie auf Spanisch arbeiten, ist fast alles Moderne in Ordnung. Wenn Sie auf Hindi oder Kantonesisch arbeiten, entscheidet die Modellwahl darüber, ob das Transkript überhaupt brauchbar ist.

Erkenntnis 2: Was turbo Sie tatsächlich kostet

Auf unserem M3 lag der typische Durchsatz bei etwa 3,8-facher Echtzeit für large-v3, 5,2-facher für turbo und 14,3-facher für small, gemittelt über die Läufe (einzelne Läufe schwankten mit der Systemlast, und absolute Geschwindigkeiten hängen von der Hardware ab; das Signal sind die Verhältnisse). turbo läuft also etwa 1,4-mal schneller als large-v3.

In den sechs ressourcenstarken europäischen Sprachen kostet diese Geschwindigkeit fast nichts: turbo liegt im Schnitt etwa 0,8 Punkte hinter large-v3, und in Japanisch und Koreanisch übertraf turbo large-v3 in unserer Stichprobe sogar leicht (5,8 % vs. 6,6 % CER, 14,5 % vs. 14,9 % WER). Deshalb sind kommerzielle Transkriptionsdienste breit auf destillierte und beschleunigte Modelle umgestiegen.

Aber turbo ist kein kostenloses Mittagessen. Hindi verschlechtert sich um 6,6 Punkte (22,3 % vs. 15,7 %), ägyptisches Arabisch um 1,5, und Kantonesisch bricht von 10,5 % auf 43,3 % CER ein, was unbrauchbar ist. Die Entscheidung, Genauigkeit gegen Geschwindigkeit zu tauschen, muss pro Sprache getroffen werden, nicht pauschal.

Erkenntnis 3: Sprachen ohne Wortgrenzen brauchen ein anderes Maß

Chinesisch, Japanisch und Kantonesisch trennen Wörter nicht durch Leerzeichen, daher hängt eine „Wort“-Fehlerrate ganz davon ab, wie man den Text zerlegt, und verschiedene Tokenizer liefern für identische Transkripte völlig unterschiedliche WER. Die akademische Praxis, einschließlich des Whisper-Papers selbst, ist es, für diese Sprachen die Zeichenfehlerrate (CER) zu verwenden, und genau das berichten wir.

So gemessen liegen Japanisch (6,6 % CER) und Mandarin (6,7 % CER) auf large-v3 im selben Qualitätsband wie die starken europäischen Sprachen. Kantonesisch ist das schärfste Gegenbeispiel in unserem gesamten Datensatz: 10,5 % CER auf large-v3, 43,3 % auf turbo, gar keine Unterstützung auf small. Eine Sprache, drei Modelle, und das Ergebnis reicht von brauchbar bis unmöglich.

Koreanisch verdient eine Fußnote: Seine 14,9 % wirken schlecht, aber Koreanisch ist agglutinierend und nutzt Leerzeichenkonventionen, die die leerzeichenbasierte WER aufblähen, sodass seine Genauigkeit auf Zeichenebene besser ist, als die Zahl vermuten lässt. Es braucht dennoch mehr Korrektur als die europäischen Sprachen, nur nicht so viel, wie eine naive WER-Lesart nahelegt.

Die Erkenntnis für die Bewertung jedes Anbieters: Wenn ein Werkzeug „95 % Genauigkeit auf Chinesisch“ behauptet, ohne zu sagen, ob das WER oder CER ist, auf welchem Audio, mit welcher Normalisierung, trägt die Zahl keine Information. Unser WER-Erklärartikel behandelt die Mechanik der Metrik im Detail.

Erkenntnis 4: Wenn die kleineren Modelle scheitern, scheitern sie auf einen Schlag

Durchschnitte legen nahe, dass Fehler gleichmäßig über ein Transkript verstreut sind. Die Rohausgabe sagt etwas anderes. Beim Durchsuchen aller 1.749 Hypothesen nach entartetem Output (Fehlerrate über 100 % oder Output mehr als doppelt so lang wie die Referenz) fanden wir genau vier Fälle: drei von turbo (zwei Kantonesisch, ein Hindi) und einen von small (Hindi). Large-v3 produzierte über alle seine 599 Äußerungen hinweg keinen einzigen.

Alle vier sind dasselbe Fehlermuster: eine Wiederholungsschleife. Der schlimmste kantonesische Fall erreichte 372 % CER (Einfügungen können die Metrik über 100 % treiben): turbo transkribierte die ersten Wörter plausibel, verhakte sich dann in einem einzigen Zeichen und gab es 46-mal hintereinander aus. Die Hindi-Fehler sehen in der Form identisch aus, ein Wort immer wieder abgestempelt. Bei genau derselben Äußerung produzierte large-v3 ein nahezu perfektes Transkript mit 6,9 % CER. Die genauen Zeichenketten stehen in den Rohdaten (Äußerung id 1980 in results.jsonl), falls Sie sie prüfen möchten.

Dieser kantonesische Fall zeigt leise ein zweites Versagen: Bevor turbo in die Schleife geriet, war es bereits vom traditionellen Chinesisch in vereinfachte Zeichen und Mandarin-Wortwahl abgedriftet, während large-v3 im Schriftsystem der Referenz blieb. Für kantonesische Sprecher ist das ebenso wichtig wie die Fehlerrate, denn das „Transkript“ gleitet in eine andere Schriftsprache ab.

Halluzinationen in Whisper-Modellen sind über unsere Stichprobe hinaus dokumentiert: Koenecke et al. (2024) prüften Whisper-Transkriptionen und fanden in der Größenordnung von 1 % der Segmente erfundenen Inhalt, konzentriert um Pausen und stockende Sprache. Unsere Rate bei gelesener Sprache ist niedriger (4 von 1.749, etwa 0,2 %), was passt: sauberes, kontinuierliches Audio gibt dem Modell weniger Stille zum Füllen. Die praktische Regel, die wir aus beidem ziehen: Die schlimmsten Transkriptionsfehler sind kein gleichmäßig verteiltes Rauschen, sondern totale lokale Korruption, sie häufen sich in kleineren Checkpoints bei schwächeren Sprachen, und ein kurzer Scan nach wiederholten Tokens fängt die meisten davon ab.

Wie sich unsere large-v3-Zahlen mit der veröffentlichten large-v2-Tabelle vergleichen

Unser Leitfaden zur Genauigkeit nach Sprache fasst die im Whisper-Paper veröffentlichten large-v2-FLEURS-Ergebnisse zusammen. Stellt man diese unseren large-v3-Messungen vom Juli 2026 für die überlappenden Sprachen gegenüber (die Paper-Zahlen sind der volle Testsplit, unsere eine 50-Äußerungen-Stichprobe, lesen Sie also die Richtung, nicht die Nachkommastellen):

Sprache	Paper large-v2	Unser large-v3	Richtung
Spanisch	3,0 %	2,9 %	stabil, bereits stark
Englisch	4,2 %	4,1 %	stabil, bereits stark
Italienisch	4,0 %	3,2 %	etwas besser
Deutsch	4,5 %	4,6 %	stabil
Französisch	8,3 %	5,8 %	besser
Japanisch (CER)	5,3 %	6,6 %	stabil im Rauschen
Koreanisch	14,3 %	14,9 %	stabil im Rauschen
Mandarin (CER)	14,7 %	6,7 %	halbiert
Arabisch	16,0 %	14,6 %	etwas besser
Hindi	21,5 %	15,7 %	deutlich besser

Das Muster passt dazu, wohin die zusätzlichen Trainingsdaten flossen: Die Sprachen, die bereits nahe an ihrer Untergrenze waren, blieben stehen, und die großen Gewinne landeten bei Mandarin (halbiert), Hindi und Französisch. Kantonesisch taucht in der large-v2-Tabelle überhaupt nicht auf, was die deutlichste Version derselben Geschichte ist: Zwischen Modellgenerationen ist die wichtigste Änderung für manche Sprachen nicht eine niedrigere Fehlerrate, sondern die Existenz.

Was diese Zahlen für Ihre Arbeit bedeuten

Fehlerraten in gefühlte Erfahrung übersetzt: 5 % bedeutet ein Fehler alle 20 Wörter, ein schnelles Korrekturlesen. 15 % bedeutet ein Fehler alle 7 Wörter, und das Redigieren beginnt echte Zeit zu kosten. Über 30 % müssen ganze Passagen erneut angehört werden, und das Transkript ist bestenfalls ein Entwurf.

• Ressourcenstarke europäische Sprachen (Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch): large-v3 landet bei sauberer Sprache bei 3 bis 7 Prozent, klar im Bereich „dem ersten Entwurf vertrauen, dann überfliegen“. turbo kostet unter 1,5 Punkte und ist für Routinearbeit in Ordnung. small verschlechtert sich in Französisch und Deutsch auf 13 bis 14 Prozent; verwenden Sie es für nichts, das Sie ausliefern.
• Japanisch, Mandarin, Koreanisch: Japanisch und Mandarin bei 6 bis 7 Prozent CER auf large-v3 sind als erster Entwurf vertrauenswürdig, solange Sie die Zahl als zeichenbasiert lesen. Die WER von Koreanisch überzeichnet seine Fehler, planen Sie aber mehr Korrektur ein als bei der europäischen Gruppe.
• Kantonesisch, Hindi, Arabisch: die Vorsichtszone. Hindi und ägyptisches Arabisch liegen selbst auf large-v3 bei 15 bis 16 Prozent, ein Fehler alle 6 oder 7 Wörter, kalkulieren Sie also substanzielles Redigieren ein. Kantonesisch ist nur auf large-v3 tragfähig; wählen Sie die falsche Variante, vervierfacht sich die Fehlerrate.

Denken Sie daran, dass all dies die Obergrenze bei gelesener Sprache ist. Echte Aufnahmen schneiden schlechter ab, und die drei wichtigsten Variablen sind Aufnahmequalität, Sprecherzahl und Akzentstärke. Bei Material mit mehreren Sprechern ist die Sprecherzuordnung eine eigene Fehlerklasse zusätzlich zur Wortgenauigkeit; siehe was Sprecher-Diarisierung ist, wie das funktioniert.

Wenn Sie das Bild pro Sprache über etwa 100 Sprachen statt unserer 12 möchten, fasst unser Leitfaden zur Genauigkeit nach Sprache die im Whisper-Paper veröffentlichte FLEURS-Tabelle zusammen, gestaffelt von nahezu menschlich bis praktisch unbrauchbar. Jene Seite ist eine Zusammenstellung veröffentlichter Ergebnisse; diese hier ist der Benchmark, den wir selbst durchgeführt haben, und die beiden stimmen überein, wo sie sich überlappen.

Reproduzieren Sie es oder überprüfen Sie unsere Arbeit

Alles, was zum Verifizieren oder Erweitern dieses Benchmarks nötig ist, ist öffentlich:

• results.jsonl: alle 1.749 Ergebnisse pro Äußerung, mit Referenztext, Modellausgabe und WER/CER pro Äußerung
• results-summary.csv: die aggregierte Sprache-x-Modell-Tabelle hinter diesem Artikel
• bench.py: das genaue Skript, das die Daten erzeugt hat, mit deterministischer Stichprobe (seed 42)
• README des Datenpakets: Setup-Befehle, Versionen und Lizenzen

Führen Sie python bench.py --n 50 aus, und dank des festen shuffle-Seeds wählen Sie dieselben Äußerungen wie wir; erhöhen Sie --n, um die Stichprobe zu vergrößern (der FLEURS-Testsplit hat etwa 350 bis 900 Äußerungen pro Sprache). Das Skript streamt FLEURS von Hugging Face, transkribiert lokal, bewertet mit der Normalisierung aus dem Whisper-Paper und hängt pro Äußerung eine JSONL-Zeile an, sodass unterbrochene Läufe sauber fortsetzen.

Quellenangabe: Die Referenztranskriptionen stammen aus Googles FLEURS-Datensatz (Conneau et al., 2022), weiterverbreitet unter dessen CC-BY-4.0-Lizenz. Die Whisper-Modellgewichte sind von OpenAI, veröffentlicht unter Apache 2.0.

Häufig gestellte Fragen

Ist Whisper das genaueste quelloffene Transkriptionsmodell?

Es ist die am häufigsten reproduzierte und sprachbreiteste offene Familie, weshalb sie eine gute öffentliche Referenz abgibt. Es gibt weitere quelloffene Familien, darunter Metas MMS- und Seamless-Reihen und viele sprachspezifische Feinabstimmungen, aber sie unterscheiden sich in Sprachabdeckung, Lizenzierung und Bewertungskonventionen, sodass ein fairer Vergleich über Familien hinweg einen eigenen kontrollierten Test braucht. Wir haben Whisper gewählt, weil die Gewichte fest und öffentlich sind, die Ergebnisse reproduzierbar sind und eine Methode alle 12 Sprachen abdeckt.

Warum haben Sie keine kommerziellen Dienste wie Otter, Rev oder HappyScribe getestet?

Kommerzielle Nutzungsbedingungen beschränken häufig die Veröffentlichung von Benchmark-Ergebnissen, die Modelle hinter den APIs sind undurchsichtig und ändern sich ohne Vorankündigung, und eine heute gemessene Zahl kann im nächsten Quartal bedeutungslos sein. Quelloffene Gewichte sind eingefroren, sodass jeder unseren exakten Test unbegrenzt wiederholen kann. Genauigkeitsangaben der Anbieter stehen auf deren Websites; beachten Sie, wie selten sie Testset und Normalisierung offenlegen.

Reichen 50 Äußerungen pro Sprache aus?

Genug für Größenordnungen und Reihenfolge, nicht für feinkörnige Signifikanztests. Genau so stellen wir die Ergebnisse dar. Der volle FLEURS-Testsplit hat etwa 350 bis 900 Äußerungen pro Sprache, und die Stichprobe zu vergrößern ist eine Ein-Parameter-Änderung am veröffentlichten Skript.

Repräsentieren Ergebnisse gelesener Sprache echte Aufnahmen?

Nein. Alles, was wir hier gemessen haben, ist Obergrenzenleistung: sauberes, einsprecheriges, gleichmäßig getaktetes Audio. Bei echten Meetings, Telefonaten und Interviews sind deutlich höhere Fehlerraten zu erwarten, wobei der Schaden mit Lärm, Akzentstärke und Sprecherüberlappung wächst. Was von diesem Benchmark in die reale Welt überträgt, ist die Reihenfolge (eine Sprache oder ein Modell, das bei sauberer Sprache gewinnt, gewinnt meist auch bei unsauberer), nicht die absoluten Prozentwerte.

Wie genau reproduziere ich den Test?

Laden Sie bench.py herunter, installieren Sie die im README des Datenpakets aufgeführten Abhängigkeiten und führen Sie python bench.py --n 50 aus. Der Seed ist im Skript fest, die Stichprobe ist deterministisch, und die Ergebnisse werden an eine JSONL-Datei angehängt, die nach Unterbrechung fortsetzt. Das Skript nutzt MLX (Apple Silicon); auf anderer Hardware ersetzen Sie den Transkriptionsaufruf durch openai-whisper oder faster-whisper mit denselben Einstellungen.

Halluzinieren diese Modelle?

In unserer Stichprobe gelesener Sprache selten, aber wenn, dann katastrophal: 4 von 1.749 Ausgaben (etwa 0,2 %) waren Wiederholungsschleifen, alle von turbo oder small bei Kantonesisch und Hindi, keine von large-v3. Veröffentlichte Prüfungen von Gesprächs- und stockender Sprache berichten höhere Raten, in der Größenordnung von 1 % der Segmente (Koenecke et al., 2024). Erwarten Sie mehr davon bei realem Audio mit langen Pausen, und scannen Sie Ausgaben nach wiederholten Tokens.

Welches Modell verwendet Vocova?

Dieser Benchmark misst quelloffene Modelle, nicht die Produktionspipeline von Vocova, und die Aussage ist allgemein: Ob Ihre Sprache gut unterstützt wird, zählt mehr als die Modellversionsnummer. Vocova leitet die Transkription für mehrsprachige Arbeit an hochgenaue Modellstufen und ergänzt Sprecherkennzeichnung, Übersetzung und Exportformate. Der direkteste Beleg ist ein Testlauf mit Ihrem eigenen Audio in Ihrer eigenen Sprache.

Quellen und weiterführende Literatur

• FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech (Conneau et al., 2022), der Datensatz, aus dem alle unsere Stichproben stammen
• google/fleurs auf Hugging Face, Datensatzverteilung und CC-BY-4.0-Lizenz
• Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., 2022), das Whisper-Paper, dessen Normalisierungs- und CER-Konventionen wir folgen
• Modellkarte openai/whisper-large-v3, dokumentiert das in large-v3 hinzugefügte kantonesische Sprach-Token und die Apache-2.0-Gewichtslizenz
• Careless Whisper: Speech-to-Text Hallucination Harms (Koenecke et al., 2024), die externe Prüfung der Whisper-Halluzinationsraten, mit der wir unsere Fehlerzahlen vergleichen
• mlx-whisper auf PyPI, die für diesen Benchmark genutzte Inferenz-Laufzeit
• jiwer auf GitHub, die WER/CER-Bewertungsbibliothek

Möchten Sie mehrsprachige Transkription an Ihrem eigenen Material sehen? Fügen Sie einen Audio- oder Videolink in Vocova ein und vergleichen Sie die Ausgabe mit den Erwartungen dieses Artikels für Ihre Sprache.