gpt-oss

Überblick

gpt-oss-20b ist das kleinere der beiden offenen Reasoning-Modelle, die OpenAI im August 2025 unter Apache-2.0 veröffentlicht hat. Es nutzt eine MoE-Transformer-Architektur mit rund 21B Gesamtparametern, von denen pro Token nur ~3,6B aktiv sind. Dank Quantisierung läuft es auf Edge-Hardware mit nur 16 GB Speicher und erreicht laut OpenAI auf gängigen Benchmarks ein Niveau vergleichbar mit OpenAI o3-mini.

Use Cases

• Lokale und On-Device-Inferenz: läuft auf einer einzelnen GPU oder Workstation mit 16 GB Speicher
• Agentische Workflows: native Tool-Nutzung, Function Calling, Python-Tool-Use, Browsing
• Reasoning-Aufgaben mit konfigurierbaren Reasoning-Levels (low/medium/high)
• Wettbewerbsmathematik und Coding (starke AIME- und SWE-Bench-Werte für die Größenklasse)
• Schnelles Prototyping ohne teure Infrastruktur

Stärken & Grenzen

Stärken: Sehr gutes Reasoning- und Math-Verhältnis für ein 21B-Modell; übertrifft bei Wettbewerbsmathematik teils sogar das größere 120B. Konfigurierbares Test-Time-Scaling über drei Reasoning-Stufen. Apache-2.0, offene Gewichte, Harmony Chat Format für saubere Rollen-/Tool-Trennung.

Grenzen: Bei wissensintensiven Aufgaben (z. B. GPQA) fällt es größenbedingt hinter das 120B zurück. Schwache mehrsprachige Leistung, insbesondere bei chinesischsprachigen Benchmarks. Primär auf Englisch, STEM und Coding trainiert. Kein Vision-/Audio-Input (reines Text-Modell).

Praxis-Erfahrung

Das Modell setzt für AIME im Schnitt über 20k CoT-Tokens pro Aufgabe ein – die Stärke im Reasoning geht also mit langen Denkketten und entsprechender Latenz im high-Modus einher. Für lokale Setups ist es attraktiv, weil 16 GB Speicher genügen. Beim Deployment empfiehlt OpenAI das Harmony Chat Format; ohne dieses Format leidet die Tool- und Reasoning-Qualität.

Gut zu wissen

• Lizenz: Apache-2.0, offene Gewichte
• Hardware: ab 16 GB Speicher dank nativer Quantisierung
• Kontext: 128K Tokens (RoPE), grouped multi-query attention (Gruppengröße 8)
• Tokenizer: o200k_harmony (ebenfalls offen)
• Alternative: gpt-oss-120b für wissensintensive Aufgaben und maximale Qualität

Weitere Benchmarks (Zusatzquellen)

Weitere berichtete Werte, für die in der Score-Tabelle oben kein Eintrag vorliegt.

Quelle: OpenAI (offizielle Model Card, arXiv 2508.10925), Reasoning high:

• AIME 2025 (ohne Tools) 91,7 % · AIME 2024 (ohne Tools) 92,1 %
• GPQA Diamond (mit Tools) 74,2 % · HLE (mit Tools) 17,3 % · MMLU 85,3 %
• Tau-Bench Retail 54,8 % · Tau-Bench Airline 38,0 % · Aider Polyglot 34,2 %
• Codeforces Elo (mit Tools) 2516 · (ohne Tools) 2230
• HealthBench 42,5 % · Hard 10,8 % · Consensus 82,6 %

Quelle: Vellum LLM Leaderboard: AIME 2025 (mit Tools) 98,7 %.
Quelle: BenchLM (Chatbot Arena): Coding-Elo 1370 (Text-Overall-Elo 1318 steht oben in der Score-Tabelle).