BioMistral-7B

Überblick

BioMistral-7B ist ein offenes, biomedizinisch weitertrainiertes Modell auf Basis von Mistral-7B-Instruct. Das Continued Pretraining erfolgte auf PubMed Central. Es steht unter Apache 2.0 und ist damit das einzige Modell dieser Vergleichsgruppe mit einer echten Open-Source-Lizenz ohne Nutzungsbeschränkungen – für den EU-Einsatz ein relevanter Vorteil.

Es existieren mehrere Varianten (u. a. BioMistral-7B-DARE als Model-Merge). Die veröffentlichten Benchmark-Werte unterscheiden sich je nach Variante, was beim Zitieren beachtet werden muss.

Benchmark-Ergebnisse (Med-Suite)

Für die folgenden Benchmarks liegt in der Score-Tabelle kein Eintrag vor; die Werte sind deshalb hier im Text aufgeführt.

Quelle A – MedGemma Technical Report (arXiv:2507.05201), Tabelle 3. Dort ist die Variante BioMistral DARE 7B (Labrak et al., 2024) gelistet:

Benchmark	BioMistral DARE 7B
MedQA (4 opts)	51,1
MedMCQA	48,7
PubMedQA	77,7
MMLU Anatomy	55,8
MMLU Clinical Knowledge	62,3
MMLU College Biology	66,9
MMLU College Medicine	58,0
MMLU Medical Genetics	67,0
MMLU Professional Medicine	61,4
AfriMed-QA	n/a

Quelle B – OpenBioLLM-Modellkarte (Hugging Face), Zero-Shot. Dort ist die Basisvariante BioMistral-7B gelistet:

Benchmark	BioMistral-7B
Clinical KG	59,9
Medical Genetics	64,0
Anatomy	56,5
Professional Medicine	60,4
College Biology	59,0
College Medicine	54,7
MedQA (4 opts)	50,6
PubMedQA	77,5
MedMCQA	48,1
Durchschnitt (9 Datensätze)	57,3

Beide Quellen sind konsistent im Muster: MedQA und MedMCQA um die 50, PubMedQA dagegen bei 77–78. Das ist plausibel, weil das Continued Pretraining auf PubMed Central genau auf die PubMedQA-Domäne einzahlt, während USMLE-artiges klinisches Reasoning (MedQA) kaum profitiert. Ein hoher PubMedQA-Wert bei diesem Modell darf nicht als allgemeine klinische Kompetenz gelesen werden.

Einordnung

Als 7B-Modell ist BioMistral der Effizienz-Anker des Vergleichs: läuft auf einer einzelnen Consumer-GPU, Apache-2.0, europäische Herkunft. Klinisch ist es den größeren Modellen jedoch klar unterlegen – MedGemma 27B liegt auf MedQA um mehr als 35 Punkte darüber.

Quellen

• MedGemma Technical Report: https://arxiv.org/abs/2507.05201
• OpenBioLLM-Modellkarte (Vergleichstabelle): https://huggingface.co/aaditya/Llama3-OpenBioLLM-70B