/Modelle

Distil-Whisper large-v3.5

Hugging Face

Destillierte Whisper-Variante von Hugging Face (756M, MIT) – rund 1,5-mal schneller als large-v3-turbo bei ähnlicher Genauigkeit, aber nur für Englisch.

In: Audio Out: Text
Hersteller
Hugging Face
Lizenz
MIT
Betrieb
  • Lokal (On-Premise)
Herkunft
USA (New York, NY), mit großem Standort in Paris
Architektur
Encoder-Decoder-Transformer: eingefrorener Whisper-large-v3-Encoder (32 Layer) + 2 Decoder-Layer, per Knowledge Distillation trainiert
Parameter gesamt
756 Mio.
Aktive Parameter
756 Mio.

Überblick

Distil-Whisper ist eine Familie destillierter Whisper-Modelle von Hugging Face. Die Methode ist im Paper „Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling“ (Gandhi, von Platen, Rush, 2023) beschrieben: Der Encoder wird vom Lehrermodell übernommen und eingefroren, der Decoder auf zwei Layer reduziert und auf pseudo-gelabelten Daten trainiert. large-v3.5 ist die jüngste Variante, trainiert auf über 98.000 Stunden Audio mit Whisper large-v3 als Lehrer.

Use Cases

  • Schnelle englischsprachige Transkription auf begrenzter Hardware
  • Englische Meetings, Callcenter-Aufnahmen, Podcasts und Vorträge in großen Mengen
  • Als Entwurfsmodell für Speculative Decoding mit Whisper large-v3 (laut Paper rund doppelte Geschwindigkeit bei identischer Ausgabe)

Stärken & Grenzen

Stärken

  • Im aktuellen Open ASR Leaderboard (Englisch) mit 7,02 % WER genauer als large-v3 (7,84 %) und large-v3-turbo (8,39 %) – bei höherem Durchsatz (RTFx 898)
  • Laut Model Card rund 1,5-mal schneller als large-v3-turbo bei langen Aufnahmen
  • Gleiche Formate und Werkzeuge wie Whisper (Transformers, whisper.cpp/GGML, faster-whisper)

Grenzen

  • Nur Englisch. Für deutsche Aufnahmen ungeeignet. Eine deutsche Community-Variante (primeline/distil-whisper-large-v3-german, Apache-2.0) existiert, veröffentlicht aber keine Fehlerraten.
  • Bei langen Aufnahmen etwas schwächer als large-v3-turbo (11,39 % gegenüber 10,25 % Out-of-Distribution-WER laut Model Card).
  • Keine Übersetzungsfunktion.

Benchmarks: Quellenlage

Das CRM hat noch keine Benchmark-Keys für Spracherkennung; die Werte stehen deshalb hier. Niedrigere WER ist besser.

Quelle Messung Wert
Open ASR Leaderboard (live, Stand Okt. 2026) Englisch, Ø 7 Datensätze 7,02 % WER, RTFx 898
Open ASR Leaderboard (Stand März 2026) Englisch, Long-Form 11,69 % WER
Hugging Face (Model Card) Short-Form, Ø Out-of-Distribution 7,08 % WER
Hugging Face (Model Card) Long-Form, Ø Out-of-Distribution 11,39 % WER

Artificial Analysis führt Distil-Whisper nicht.

Gut zu wissen

  • Lizenz: MIT, übernommen von OpenAI Whisper.
  • Parameter: 756.405.760 laut safetensors.
  • Familie: distil-large-v3 (März 2024), distil-large-v2, distil-medium.en und distil-small.en sind ältere Varianten; die Model Card von v2 empfiehlt den Umstieg auf neuere Versionen. Fertige GGML-Dateien für whisper.cpp stellt Hugging Face unter distil-whisper/distil-large-v3.5-ggml bereit.
  • Hosting: Kein gehosteter EU-Endpunkt bekannt; das Modell ist für den Eigenbetrieb gedacht.

Links