/Modelle

Llama3-Med42-8B

M42

Kompakte 8B-Variante der klinischen Med42-v2-Suite von M42 – auf einer Consumer-GPU lauffähig, aber im offenen Dialog laut eigener Elo-Wertung schwächer als das generische Llama3-8B-Instruct.

In: Text Out: Text
Hersteller
M42
Lizenz
Llama 3 Community License Agreement
Betrieb
  • Lokal (On-Premise)
  • EU-Hosting
  • US-Hosting
Herkunft
Vereinigte Arabische Emirate
Architektur
Dense (Llama-3-8B-Instruct, Instruction- und Preference-Tuning, FSDP auf NVIDIA DGX H100)
Veröffentlichung
12.08.2024
Parameter gesamt
8 Mrd.
Kontextfenster
8k Tokens

Überblick

Llama3-Med42-8B ist die kompakte Variante der Med42-v2-Suite von M42 Health (Abu Dhabi, VAE). Basis ist Llama-3-8B-Instruct, Trainingsrezept identisch zur 70B-Schwester: Instruction- und Preference-Tuning auf ~1 Mrd. Token aus medizinischen Karteikarten, Prüfungsfragen und offenen Dialogen, FSDP auf NVIDIA DGX H100.

Der praktische Reiz liegt in der Größe: 8B laufen auf einer einzelnen Consumer-GPU und sind damit für lokale, datenschutzkritische Szenarien interessant.

Benchmark-Ergebnisse (Med-Suite)

Für die folgenden Benchmarks liegt in der Score-Tabelle kein Eintrag vor; die Werte sind deshalb hier im Text aufgeführt.

Quelle: offizielle Modellkarte (m42-health/Llama3-Med42-8B) und Paper arXiv:2408.06142. EleutherAI lm-evaluation-harness, Zero-Shot:

Benchmark Med42-v2-8B Llama3-8B-Instruct (Basis) Med42-v2-70B
MMLU Pro (clinical subset) 54,30 48,24 64,36
MMLU 75,76 72,89 87,12
MedMCQA 61,34 59,65 73,20
MedQA 62,84 61,64 79,10
USMLE 67,04 60,38 83,80

Kritische Einordnung

Der MCQA-Zugewinn gegenüber der Basis ist hier real, aber moderat. Gegenüber Llama3-8B-Instruct legt Med42-8B auf USMLE um 6,7 Punkte und auf MMLU Pro um 6,1 Punkte zu – deutlich mehr als bei der 70B-Variante, wo das Finetuning praktisch wirkungslos bleibt. Das ist ein bekanntes Muster: Kleinere Basismodelle profitieren stärker von Domänen-Finetuning.

Der Elo-Wert ist das Warnsignal. Im Clinical-Elo-Leaderboard von M42 liegt Med42-v2-8B bei 924 – und damit unter dem generischen Llama3-8B-Instruct (1352), das es auf allen MCQA-Benchmarks schlägt. Das ist kein Detail, sondern ein handfester Widerspruch: Das medizinische Finetuning verbessert die Multiple-Choice-Genauigkeit und verschlechtert gleichzeitig die von einem Judge bewertete Qualität freier Antworten deutlich. Plausible Erklärung: Das Tuning auf Prüfungsfragen optimiert auf knappe Antwortauswahl und schadet der Dialogqualität. Wer das Modell für offene Patienten- oder Ärzteinteraktion in Betracht zieht, sollte diesen Wert kennen und vor einer Entscheidung an eigenen Beispielen gegenprüfen.

Praktische Konsequenz: Med42-8B ist nach eigener Datenlage kein empfehlenswerter Ersatz für Llama3-8B-Instruct im Dialogbetrieb. Für reine MCQA-artige Aufgaben (strukturierte Wissensabfrage) kann es sinnvoll sein. Für die 8B-Klasse ist MedGemma 4B beziehungsweise – bei ausreichender Hardware – MedGemma 27B die stärkere Referenz.

Risiken und Einschränkungen

M42 stellt explizit fest, dass die Med42-v2-Suite nicht bereit für den realen klinischen Einsatz ist. Genannte Risiken: falsche oder schädliche Informationen, Fortschreibung von Trainingsdaten-Bias. Keine medizinischen Entscheidungen, keine Patientenversorgung ohne rigorose Sicherheitstests. Bei der 8B-Variante wiegt das angesichts der Elo-Auffälligkeit zusätzlich schwer.

Gut zu wissen

  • Das Kontextfenster von 8K ist knapp bemessen – für das Zusammenfassen längerer Akten reicht es nicht.

Quellen

Läuft gut auf

Geräte aus unserem Hardware-Vergleich, auf denen wir dieses Modell empfehlen.