/Modelle

Canary v2

NVIDIA

Spracherkennungs- und Übersetzungsmodell von NVIDIA (978M, CC-BY-4.0) für 25 europäische Sprachen inkl. Deutsch – transkribiert und übersetzt von und nach Englisch.

In: Audio Out: Text
Hersteller
NVIDIA
Lizenz
CC-BY-4.0
Betrieb
  • Lokal (On-Premise)
Herkunft
USA (Santa Clara, CA)
Architektur
FastConformer-Encoder (32 Layer) + Transformer-Decoder (8 Layer), SentencePiece 16.384 Token
Veröffentlichung
01.08.2025
Parameter gesamt
978 Mio.
Aktive Parameter
978 Mio.

Überblick

Canary 1B v2 ist ein Spracherkennungs- und Sprachübersetzungsmodell von NVIDIA, veröffentlicht im August 2025 zusammen mit Parakeet TDT v3 und dem Datensatz Granary. Es deckt dieselben 25 europäischen Sprachen ab, transkribiert sie und übersetzt zusätzlich von Englisch in 24 Sprachen und aus 24 Sprachen ins Englische. Im Unterschied zu Parakeet nutzt Canary einen autoregressiven Transformer-Decoder, der über Prompts zwischen Transkription und Übersetzung umschaltet.

Use Cases

  • Transkription deutscher Aufnahmen mit hoher Genauigkeit
  • Direkte Übersetzung von Sprache in Text, etwa deutsche Aufnahme → englisches Protokoll oder umgekehrt
  • Mehrsprachige Meetings innerhalb Europas
  • Untertitel mit Wort- und Segmentzeitstempeln

Stärken & Grenzen

Stärken

  • Deutsch auf FLEURS mit 3,43 % WER nahe an Whisper large-v3 (3,20 %), bei rund vierfachem Durchsatz (RTFx 1.308 gegenüber 328 im deutschen Leaderboard)
  • Übersetzung in beide Richtungen – Whisper übersetzt nur ins Englische
  • Laut NVIDIA robust gegen Rauschen: auf LibriSpeech clean bei 5 dB SNR nur 2,80 % WER

Grenzen

  • Im englischen Leaderboard mit 7,91 % WER schwächer als Parakeet TDT v3 (6,51 %)
  • Langsamer als Parakeet (RTFx 1.854 gegenüber 6.228, Englisch)
  • Halluzinationen: NVIDIA misst 134,7 erfundene Zeichen je Minute auf Nicht-Sprache – ein VAD-Filter ist sinnvoll
  • Benötigt mindestens 6 GB RAM und eine NVIDIA-GPU für das offizielle Toolkit

Benchmarks: Quellenlage

Das CRM hat noch keine Benchmark-Keys für Spracherkennung; die Werte stehen deshalb hier. Niedrigere WER ist besser, höhere BLEU/COMET sind besser.

Quelle Messung Wert
Open ASR Leaderboard (live, Stand Okt. 2026) Deutsch, FLEURS / Common Voice 3,43 % / 4,69 % WER
Open ASR Leaderboard (live) Englisch, Ø 7 Datensätze 7,91 % WER, RTFx 1.854
NVIDIA (Model Card) Deutsch, FLEURS / CoVoST2 4,40 % / 5,53 % WER
NVIDIA (Model Card) Übersetzung de→en, FLEURS BLEU 36,03 / COMET 83,09
NVIDIA (Model Card) Übersetzung en→de, FLEURS BLEU 33,65 / COMET 83,30

Artificial Analysis führt Canary v2 nicht.

Gut zu wissen

  • Lizenz: CC-BY-4.0, kommerzielle Nutzung mit Namensnennung erlaubt.
  • Lange Aufnahmen: Ab 40 Sekunden zerlegt das Modell das Audio dynamisch in Abschnitte.
  • Lokale Alternativen zum NeMo-Toolkit: onnx-asr unterstützt Canary v2 (laut Projekt RTFx 8 auf CPU, 21 auf einer T4).
  • Gehostet: Auf build.nvidia.com gibt es nur das ältere „canary-1b-asr“; einen gehosteten Endpunkt für v2 haben wir nicht gefunden.
  • Verwandte Modelle: Canary-Qwen-2.5B kombiniert einen Canary-Encoder mit Qwen3-1.7B und führt das englische Leaderboard an, ist aber nur für Englisch freigegeben.

Links