Mellum2.1 Thinking

Überblick

Mellum2.1 Thinking ist ein offenes Sprachmodell von JetBrains, veröffentlicht am 08.10.2026 unter Apache-2.0. Es ist die agentisch nachtrainierte Fassung von Mellum2 (Juni 2026): Architektur und Vortraining sind unverändert, neu ist vor allem eine stark ausgebaute Reinforcement-Learning-Phase in Sandbox-Umgebungen mit echten Repositories. JetBrains positioniert das Modell als schnellen Arbeiter in Coding-Agenten – Fehlerursachen finden, Fixes entwerfen und prüfen – und als Modell für den privaten Betrieb auf eigener Hardware.

Use Cases

• Sub-Agent in Coding-Pipelines: Tests analysieren, Shell-Befehle ausführen, Patches entwerfen
• Code-Generierung und Code-Erklärung im lokalen Betrieb, ohne Quellcode an eine externe API zu geben
• Routing, Zwischenschritte und Werkzeugaufrufe in Agenten-Workflows, bei denen Latenz und Durchsatz wichtiger sind als Spitzenintelligenz
• Mathematische und naturwissenschaftliche Aufgaben mit Schritt-für-Schritt-Begründung

Stärken & Grenzen

Stärken

• Sehr klein im Betrieb: 12,1B Parameter gesamt, davon rund 2,5B aktiv je Token. Der offizielle GGUF-Build Q4_K_M ist 8,1 GB groß und passt damit auf eine Consumer-GPU oder einen Laptop mit ausreichend Unified Memory.
• Deutlicher Sprung gegenüber Mellum2 in der Herstellertabelle: SWE-bench Verified 47,0 statt 2,0, LiveCodeBench v6 82,0 statt 69,4, AIME (Mittel 2025/2026) 83,3 statt 60,1, BFCL v4 62,3 statt 49,6, IFEval 90,6 statt 79,5.
• Durchsatz: Laut JetBrains erzeugt Mellum2.1 unter Last auf einer H200 knapp doppelt so viele Token wie Qwen3.5-9B; mit dem angekündigten Multi-Token-Prediction-Kopf soll eine Einzelanfrage etwa 1,6-mal schneller laufen.
• Werkzeugnutzung am Artefakt belegt: Das chat_template.jinja definiert Tool-Definitionen in <tools>, Aufrufe als <tool_call> und Ergebnisse als <tool_response>; Reasoning läuft über <think>-Segmente und lässt sich mit enable_thinking: false abschalten.
• Sicherer als der Vorgänger: HarmBench-Schadquote 8,5 % statt 21,5 %.

Grenzen

• Keine unabhängige Messung: Alle Zahlen stammen aus JetBrains' eigener Pipeline. Artificial Analysis und LMArena führen das Modell nicht (Stand 11.10.2026), BenchLM spiegelt nur die Herstellerwerte und vergibt kein Ranking.
• In derselben Tabelle liegt das etwa gleich große Qwen3.5-9B bei vielen Aufgaben vorn: SWE-bench Verified 50,0 gegen 47,0, SWE-bench Pro 38,0 gegen 28,0, Terminal-Bench 2.1 21,7 gegen 17,4, GPQA Diamond 77,8 gegen 64,6, AIME 86,7 gegen 83,3. Mellum2.1 gewinnt bei LiveCodeBench v6, HumanEval+, MBPP+ und BFCL v4.
• Terminal-Arbeit bleibt schwach: 17,4 % bei Terminal-Bench 2.1 – für eigenständige, lange Agentenläufe auf der Kommandozeile ist das wenig.
• Nur Text: Das Chat-Template verwirft Bild-, Audio- und Videoinhalte. Als Sprache führt das Repo ausschließlich Englisch; zu Deutsch macht JetBrains keine Angaben.
• XSTest leicht gesunken: 88,8 gegenüber 91,2 beim Vorgänger – bei der Unterscheidung harmloser von tatsächlich schädlichen Anfragen ist das neue Modell etwas unsicherer.

Benchmarks: Quellenlage

Die Herstellertabelle umfasst 17 Zeilen, alle von JetBrains mit einer gemeinsamen Pipeline im Thinking-Modus gemessen. Nicht-agentische Benchmarks laufen mit Greedy-Decoding; die agentischen Werte (SWE-bench Verified, SWE-bench Pro, Terminal-Bench 2.1) entstanden mit dem quelloffenen Agent-Harness Pi v0.73.1 mit Shell- und Datei-Werkzeugen, Temperatur 1,0, 114K Token Kontext und bis zu 16K Token je Zug. Der AIME-Wert ist der Mittelwert über AIME 2025 und AIME 2026 (je 30 Aufgaben), BFCL v4 das Makro-Mittel über fünf Teilaufgaben.

Weitere Herstellerwerte ohne passende Vergleichsgröße in der Score-Tabelle:

• HumanEval+ 91,5 · MBPP+ 79,4 (EvalPlus-Varianten, nicht das klassische HumanEval)
• GSM-Plus 88,3
• SWE-bench Pro 28,0
• WorkBench 44,6 · ToolHop 49,1
• MMLU-Redux 87,8 · MixEval-Hard 46,4
• XSTest 88,8 · HarmBench (Schadquote, niedriger ist besser) 8,5

JetBrains weist selbst darauf hin, dass Herstellerangaben für dieselben Vergleichsmodelle abweichen: Für Qwen3.5-9B misst JetBrains LiveCodeBench v6 75,4 und GPQA Diamond 77,8, Qwens eigene Model Card nennt 65,6 und 81,7.

Praxis-Erfahrung

Ein eigener Test steht noch aus. Für die Einordnung im Mittelstand ist vor allem relevant, dass sich das Modell mit Standardwerkzeugen lokal betreiben lässt: JetBrains liefert offizielle GGUF-Builds (BF16 24,3 GB, Q8_0 12,9 GB, Q6_K 10,9 GB, Q4_K_M 8,1 GB, MXFP4_MOE 7,0 GB) und gibt für jede Stufe die Übereinstimmung des wahrscheinlichsten Tokens mit der BF16-Fassung an (Q4_K_M: 88,0 %). Empfohlene Sampling-Parameter laut JetBrains: Temperatur 0,6, top_p 0,95, top_k 20.

Gut zu wissen

• Lizenz: Apache-2.0 – kommerzielle Nutzung, Anpassung und Weitergabe ohne Zusatzbedingungen.
• Betrieb: vLLM (Reasoning-Parser qwen3, Tool-Parser hermes), SGLang, llama.cpp und LM Studio. In Ollama steht Mellum2.1 nicht in der offiziellen Bibliothek, lässt sich aber direkt aus dem GGUF-Repo starten (ollama run hf.co/JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF:Q4_K_M).
• Kontext: 131.072 Token. Die sieben Full-Attention-Layer nutzen YaRN-Skalierung (Faktor 16 auf einen Ursprungskontext von 8.192), die übrigen 21 Layer arbeiten mit einem Sliding Window von 1.024 Token.
• Architektur laut config.json: MellumForCausalLM, 28 Layer, Hidden Size 2.304, 32 Query- und 4 KV-Heads (GQA), 64 Experten mit 8 aktiven je Token, Vokabular 98.304 Token, BF16. Die Safetensors weisen 12.149.923.072 Parameter aus.
• Kein gehosteter Endpunkt: JetBrains bietet für Mellum2.1 keine eigene API an; Preise gibt es deshalb nicht.
• Wissensstand: In keiner Quelle genannt.
• Hersteller: JetBrains ist ein europäisches Softwarehaus (gegründet 2000 in Prag, Sitz Amsterdam) – für Unternehmen mit Blick auf Herkunft und Lieferkette ein Argument neben der Lizenz.
• Alternativen in ähnlicher Größe: Qwen3.5-9B (dicht), Gemma 4 E4B, Laguna XS 2.1 und Ornith 1.5 35B-A3B für agentisches Coding.