Llama 4 Behemoth

Überblick

Llama 4 Behemoth ist das größte Modell der Llama-4-Familie. Meta hat es am 05.04.2025 zusammen mit Scout und Maverick vorgestellt – allerdings nur als Vorschau eines Modells, das sich laut Meta „noch im Training" befand. Behemoth ist ein Mixture-of-Experts-Modell mit 288B aktiven Parametern, 16 Experten und nach Metas Angabe „knapp zwei Billionen" Gesamtparametern. Seine Hauptaufgabe war die eines Lehrermodells: Llama 4 Maverick wurde per Codistillation aus Behemoth trainiert.

Hinweis: Behemoth ist nicht verfügbar. Es gibt weder herunterladbare Gewichte noch einen API-Zugang, und Meta hat das Modell nie offiziell eingestellt (Stand 10.10.2026). Diese Card dokumentiert die Ankündigung und die Quellenlage – nicht ein einsetzbares Modell.

Use Cases

Für den praktischen Einsatz keine – das Modell ist nicht zugänglich. Relevant ist es als Einordnung:

• Herkunft von Llama 4 Maverick, das sein Wissen per Distillation von Behemoth erhalten hat
• Referenzpunkt dafür, was Meta im Frühjahr 2025 mit einem offenen Frontier-Modell vorhatte

Stärken & Grenzen

Was Meta angekündigt hat

• Laut Metas Vorschau-Chart vor GPT-4.5, Claude Sonnet 3.7 und Gemini 2.0 Pro bei MATH-500 (95,0) und GPQA Diamond (73,7)
• Nativ multimodal wie die übrigen Llama-4-Modelle (MMMU 76,1)

Grenzen

• Alle Zahlen stammen von Meta und beziehen sich auf einen Checkpoint während des Trainings; ein fertiges Modell wurde nie vorgestellt
• Keine unabhängige Messung: Artificial Analysis führt Behemoth nicht, im LMArena-Textboard fehlt es ebenso
• Die Vergleichsmodelle des Vorschau-Charts (Frühjahr 2025) sind inzwischen mehrere Generationen alt

Praxis-Erfahrung

Nicht möglich – das Modell war nie öffentlich zugänglich.

Gut zu wissen

• Chronik:
  • 05.04.2025 – Vorschau zusammen mit Scout und Maverick, Behemoth „still training"
  • 15.05.2025 – laut Wall Street Journal (via Axios) verschoben: ursprünglich für die LlamaCon im April geplant, dann für Juni, nun „Herbst oder später"; intern gab es Zweifel, ob der Fortschritt gegenüber den Vorgängern ausreicht
  • 14.07.2025 – laut New York Times diskutierte die neu gegründete Meta Superintelligence Labs, Behemoth aufzugeben und stärker auf geschlossene Modelle zu setzen. Ein Meta-Sprecher erklärte, man wolle weiter große offene Modelle veröffentlichen, äußerte sich aber nicht konkret zu Behemoth
  • April 2026 – Meta ersetzt Llama in den eigenen Diensten durch das proprietäre Modell Muse Spark
• Training laut Meta: Vortraining in FP8 auf 32.000 GPUs mit 390 TFLOPs pro GPU; Teil eines Trainingsmixes von mehr als 30 Billionen Token aus Text, Bild und Video; im Post-Training wurden 95 % der SFT-Daten aussortiert, gefolgt von großskaligem Reinforcement Learning
• Parameter: Die Gesamtzahl „2T" ist Metas gerundete Angabe („nearly two trillion"); eine exakte Zahl wurde nie veröffentlicht. Ein Kontextfenster hat Meta für Behemoth nicht genannt.
• Lizenz: Keine – ohne Veröffentlichung gilt auch die Llama 4 Community License nicht
• Quellenlage der Benchmarks: Meta hat die Werte nur als Diagrammbild im Launch-Blog veröffentlicht. Die Score-Tabelle stützt sich auf die Transkription bei DataCamp, die auch die Vergleichswerte wiedergibt; DocsBot und weitere Aggregatoren nennen dieselben Zahlen. Die Zeile „Multilingual MMLU" entspricht anhand der mitgezeigten Vergleichswerte (GPT-4.5: 85,1, Claude Sonnet 3.7: 83,2) OpenAIs MMMLU.
• Verfügbare Alternativen von Meta: Llama 4 Maverick und Llama 4 Scout (offen, Llama 4 Community License) sowie Muse Glimmer (offen, Apache-2.0)