Meditron-3 70B (quantisiert)

Überblick

Meditron ist die medizinische LLM-Reihe der EPFL (LiGHT-Lab, zusammen mit Yale). Meditron-70B basiert auf Llama-2-70B mit medizinischem Continued Pretraining; Meditron-3 ist die auf Llama-3 aufsetzende Nachfolgegeneration. Diese Card betrifft ausdrücklich eine quantisierte Variante.

Benchmark-Ergebnisse — nur Meditron-70B (Llama-2), FP16, nicht quantisiert

Quelle: OpenBioLLM-Modellkarte (Hugging Face), Zero-Shot-Vergleichstabelle:

Benchmark	Meditron-70B
Clinical KG	66,79
Medical Genetics	69,00
Anatomy	53,33
Professional Medicine	71,69
College Biology	76,38
College Medicine	63,00
MedQA (4 opts)	57,10
PubMedQA	76,60
MedMCQA	46,85
Durchschnitt (9 Datensätze)	64,52

Ergänzend, Quelle MEDITRON-70B-Paper (arXiv:2311.16079): Unter Supervised Finetuning mit Self-Consistency-CoT erreicht Meditron-70B einen Benchmark-Durchschnitt von 72,0 % (gegenüber 69,2 % für Llama-2-70B) – also ein anderes, günstigeres Protokoll als die Zero-Shot-Zahlen oben. Auch hier gilt: Protokoll immer mitzitieren.

Einordnung

In der Zero-Shot-Vergleichstabelle liegt Meditron-70B hinter OpenBioLLM-70B (86,06) und deutlich hinter MedGemma 27B – bei zehnfacher Parameterzahl gegenüber MedGemma. Für die Meditron-3-Generation gilt diese Einordnung nicht: Vergleichbare Zahlen für Meditron-3 70B liegen bislang nicht vor, und die Quantisierung dieser Variante kommt als weiterer Unsicherheitsfaktor hinzu.

Quellen

• MEDITRON-70B Paper: https://arxiv.org/abs/2311.16079
• Fully Open Meditron (Nachfolgearbeit): https://arxiv.org/abs/2605.16215
• Vergleichstabelle: https://huggingface.co/aaditya/Llama3-OpenBioLLM-70B