Nemotron 3.5 ASR Streaming

Überblick

Nemotron 3.5 ASR Streaming 0.6B ist NVIDIAs mehrsprachiges Echtzeit-Spracherkennungsmodell, veröffentlicht im Juni 2026. Es basiert auf dem englischen Nemotron Speech Streaming und erweitert es auf 40 Sprachen. Ein cache-aware FastConformer-Encoder verarbeitet das Audio in kleinen Abschnitten weiter, ohne bereits Gesehenes neu zu berechnen. Die Latenz ist zwischen 80 ms und 1,12 s wählbar.

NVIDIA ordnet die 40 Sprachen in drei Stufen: 19 sind „transcription-ready“ (darunter Deutsch), 13 „broad-coverage“ und 8 erst nach Feinabstimmung nutzbar.

Use Cases

• Live-Untertitel und Mitschrift in Besprechungen und Videokonferenzen
• Sprachassistenten und Voice-Agents, die auf Teilergebnisse reagieren
• Telefonie und Contact-Center mit vielen gleichzeitigen Gesprächen
• Mehrsprachige Echtzeit-Transkription mit automatischer Spracherkennung

Stärken & Grenzen

Stärken

• Echtes Streaming mit wählbarer Latenz – Whisper-basierte Modelle arbeiten dagegen in 30-Sekunden-Fenstern
• Laut NVIDIA rund 240 parallele Streams bei 80 ms Latenz auf einer H100 (etwa 17-mal so viele wie Parakeet RNNT 1.1B)
• Interpunktion, Groß-/Kleinschreibung und automatische Spracherkennung (target_lang=auto)
• Neben NeMo und Transformers auch über NeMo-Speech.cpp mit GGUF-Dateien und als ONNX-int4-Export nutzbar

Grenzen

• Streaming kostet Genauigkeit: Deutsch auf FLEURS 8,31 % WER bei 1,12 s Latenz und 9,81 % bei 80 ms – gegenüber 3–4 % bei den Offline-Modellen
• Zeitstempel werden in der Model Card nicht erwähnt
• Bislang nur Herstellerangaben, keine unabhängige Messung
• Auf NVIDIA-GPUs ausgelegt; der NIM-Container und NeMo-Speech.cpp setzen eine NVIDIA-GPU voraus

Benchmarks: Quellenlage

Das CRM hat noch keine Benchmark-Keys für Spracherkennung; die Werte stehen deshalb hier. Niedrigere WER ist besser.

Latenz (Chunk)	80 ms	160 ms	320 ms	560 ms	1,12 s
Deutsch, FLEURS, WER (mit Sprachvorgabe)	9,81 %	9,21 %	8,83 %	8,42 %	8,31 %

Quelle: NVIDIA (Model Card). Weitere Werte bei 1,12 s: Englisch 7,91 %, Spanisch 4,11 %, Französisch 9,03 %, Ø der 19 „transcription-ready“-Sprachen 8,84 %. NVIDIA weist selbst darauf hin, dass die Textnormalisierung nicht perfekt ist.

Weder das Open ASR Leaderboard noch Artificial Analysis führen das Modell bisher.

Gut zu wissen

• Lizenz: OpenMDW-1.1, laut NVIDIA für die kommerzielle Nutzung freigegeben. Das englische Vorgängermodell steht dagegen unter der NVIDIA Open Model License.
• Release: Hugging Face nennt den 4. Juni 2026; das Repository existierte schon ab Mitte Mai (vermutlich privat).
• Betrieb: NVIDIA bietet den NIM-Container „Nemotron ASR Streaming“ (enthält die englische und die mehrsprachige Variante) für den Eigenbetrieb an.
• Alternativen: Für Offline-Transkription mit höherer Genauigkeit Parakeet TDT v3 oder Canary v2; für Streaming auf CPU und Mobilgeräten Moonshine Streaming.