Olmo 3.1 Think

Überblick

Olmo 3.1 Think ist das Reasoning-Modell der Olmo-3.1-Reihe von Ai2, veröffentlicht am 12. Dezember 2025. Es arbeitet mit sichtbarer Gedankenkette und ist der Nachfolger von Olmo 3 Think 32B, für den Ai2 weitere 21 Tage auf 224 GPUs mit zusätzlichen Epochen des Dolci-Think-RL-Datensatzes trainiert hat.

Der eigentliche Unterschied zu anderen offenen Modellen liegt nicht in den Werten, sondern im Umfang der Offenlegung: Ai2 veröffentlicht neben den Gewichten die Trainingsdaten (Dolma 3, rund 9,3 Billionen Token), die Post-Training-Daten (Dolci), den Trainingscode und das Evaluationsframework OLMES — samt Zwischen-Checkpoints. Mit OlmoTrace lässt sich eine Modellausgabe zurück auf die Trainingsdaten verfolgen.

Architektur

• Dichter Decoder-Transformer mit 64 Layern, 32,2 Mrd. Parametern — kein MoE
• Hybride Attention: volle Attention in jedem vierten Layer, sonst Sliding Window mit 4096 Token
• Kontextfenster 65.536 Token, Hidden Size 5120, 40 Attention-Heads, Vokabular 100.278
• Reines Textmodell (Englisch), kein Vision-Input

Use Cases

• Mathematik- und Logikaufgaben, bei denen die Gedankenkette selbst geprüft werden soll
• Forschung und Lehre — das Modell ist an jedem Trainingsschritt reproduzierbar
• Weitertraining auf eigenen Daten: Ai2 gibt die Rezeptur vollständig heraus
• Einsatzfelder mit Nachweispflicht zur Datenherkunft

Stärken & Grenzen

Stärken

• Apache-2.0 ohne zusätzliche Nutzungsbeschränkung; Datensätze ohne Lizenzauflagen
• Sehr starke Instruction-Following-Werte: IFEval 93,8 und IFBench 68,1 liegen deutlich über den Vergleichsmodellen in Ai2s eigener Tabelle (Qwen 3 32B: 86,5 bzw. 37,3)
• Beispiellose Nachvollziehbarkeit — Daten, Code, Checkpoints und Eval-Harness sind öffentlich

Grenzen

• Auffällig schwach in unabhängigen Messungen. Artificial Analysis vergibt einen Intelligence Index von 8 (v4.1); auf der LMArena liegt das Modell mit 1285 Elo auf Rang 270 — hinter dem eigenen Vorgänger Olmo 3 Think (1305) und hinter der Instruct-Variante derselben Reihe (1330).
• GPQA 57,5 und LiveCodeBench v3 83,3 bleiben hinter Qwen 3 32B zurück (67,3 bzw. 90,2)
• Kein Vision, keine Multimodalität, primär auf Englisch trainiert
• Ai2 liefert ohne Sicherheitsfilterung aus und benennt das ausdrücklich: Die Modelle lassen sich zu schädlichen Ausgaben verleiten. Absicherung muss produktiv selbst beigesteuert werden.
• Kontextfenster mit 64K klein im Vergleich zu aktuellen offenen Modellen

Benchmarks: Quellenlage

Achtung — zwei Benchmark-Verwechslungen, die hier leicht passieren: Ai2s Zeile „GPQA" ist GPQA main (448 Fragen), nicht GPQA Diamond. Und „MATH" ist der vollständige Hendrycks-MATH-Testsatz (5.000 Aufgaben), nicht MATH-500. Beides ist im Eval-Framework OLMES nachlesbar. Diese Werte dürfen deshalb nicht neben die Diamond- bzw. MATH-500-Werte anderer Modelle gestellt werden und stehen aus diesem Grund nicht in der Score-Tabelle.

Ai2-Angaben (Stand 12/2025), Benchmarks ohne Eintrag in der Score-Tabelle:

Benchmark	Wert
MATH (Hendrycks, voller Testsatz)	96,2
AIME 2024	80,6
OMEGA	53,4
BigBenchHard (CoT)	88,6
ZebraLogic	80,1
AGI Eval English	89,2
HumanEval+ (EvalPlus)	91,5
MBPP+ (EvalPlus)	68,3
MMLU (CoT)	86,4
PopQA	30,9
GPQA (main, nicht Diamond)	57,5
AlpacaEval 2 LC	69,1
Safety (OLMES-Suite, 11 Tests)	83,6

Unabhängig gemessen: Artificial Analysis Intelligence Index 8 (Index-Version v4.1) und LMArena 1285 Elo, Rang 270. Keine der 17 von Ai2 berichteten Zahlen ist bislang von dritter Seite nachgemessen worden; Ollama, OpenRouter und die Fachpresse geben sie ziffernidentisch wieder.

Hinweis: Der AA-Index der Schwestervariante Instruct (12) stammt aus Index-Version v4.0 und ist mit den 8 Punkten hier nicht vergleichbar.

Praxis-Erfahrung

Das Modell ist über den Ai2 Playground ohne Anmeldung testbar. Die Diskrepanz zwischen Ai2s eigener Tabelle und den unabhängigen Messungen ist der auffälligste Befund: In Ai2s Vergleich liegt Think 32B durchweg nahe an Qwen 3 32B, in der LMArena und bei Artificial Analysis dagegen deutlich zurück. Wer das Modell erwägt, sollte es an der eigenen Aufgabe messen statt an einer der beiden Tabellen.

Gut zu wissen

• Lizenz: Apache-2.0. Ai2 verweist zusätzlich auf seine Responsible Use Guidelines — das ist eine Empfehlung, keine zusätzliche Lizenzauflage.
• Preise: derzeit keine. Die OpenRouter-Einträge für Olmo 3.1 führen aktuell keine aktiven Anbieter und damit keinen Preis. Zum Vergleich: Der Vorgänger Olmo 3 32B Think steht dort bei 0,15 $ / 0,50 $ je 1 Mio. Token.
• Verfügbar über: Hugging Face, Ollama, Ai2 Playground (kostenlos), OpenRouter sowie die Inferenz-Partner Parasail, Public AI und Cirrascale. Ein eigenes kommerzielles API-Angebot betreibt Ai2 nicht.
• Wissensstand: In keiner Quelle angegeben.