Nemotron 3.5 Bolt

Überblick

Nemotron 3.5 Bolt 74B-A9B ist ein offenes Vision-Language-Modell von NVIDIA, veröffentlicht am 15.10.2026 zusammen mit Nemotron 3.5 Super VL (erste Hugging-Face-Repos ab 07.10.2026 angelegt). Es entsteht aus Super VL (120B/12B aktiv) durch NVIDIAs Kompressionsverfahren Star Elastic mit Wissensdistillation: 74B Gesamt- und 9B aktive Parameter, die Experten nativ auf rund 2 Bit quantisiert. Das gepackte Modell belegt etwa 24 GB und ist damit für eine einzelne Workstation-GPU oder ein RTX/DGX-Spark-System gedacht – Agenten für Recherche, Schreiben, Code-Debugging und mehrstufige Aufgaben, die lokal laufen sollen.

Use Cases

• Lokale Agenten auf einer 24-GB-GPU, ohne dass Daten das Haus verlassen
• Web-Recherche und Browsing-Agenten (BrowseComp 66,75 % laut NVIDIA)
• Coding-Assistenz und Terminal-Aufgaben (Terminal-Bench 2.1 50,98 % laut NVIDIA)
• Auswertung von Bildern, Screenshots und kurzen Videos im selben Modell

Stärken & Grenzen

Stärken

• Sehr hohe Fähigkeitsdichte pro Speicher: In NVIDIAs Tabelle liegt die 24-GB-Fassung bei GPQA Diamond (86,43 %), HLE ohne Tools (25,30 %), SciCode (41,02 %) und AA-LCR (64,06 %) vor Qwen3.6-35B-A3B, Gemma 4 26B A4B und Nemotron 3.5 Lightning in BF16.
• Unabhängig bestätigt: Artificial Analysis führt Bolt am 15.10.2026 mit Intelligence Index 21 (v4.3.2) – über Nemotron 3.5 Lightning (13) und Nemotron 3 Super (13).
• Deutsch wird in der Model Card ausdrücklich als unterstützte Sprache genannt (neben Englisch, Spanisch, Französisch, Italienisch und Japanisch).
• OpenMDW-1.1-Lizenz mit kommerzieller Nutzung.

Grenzen

• Die Benchmarks gelten für die 2-Bit-Fassung (IQ2); für die ebenfalls veröffentlichte BF16-Fassung nennt NVIDIA keine eigenen Werte.
• Bei AAs agentischen Office-Tests schwach: AutomationBench-AA 15 %, Terminal-Bench 4.0 0 %, GDP.pdf 3 %, AA-Omniscience −19.
• Wissensabfrage ohne Hilfsmittel ist eine Schwäche: AA-Omniscience-Accuracy 16,90 % laut NVIDIA, unter dem kleineren Gemma 4 26B A4B (22,17 %).
• Mit welcher Reasoning-Einstellung (Thinking an/aus, „medium effort“) die Benchmarks liefen, gibt NVIDIA nicht an.
• Volle Hardwareunterstützung in vLLM laut Model Card ab Ampere (A100) bzw. für Blackwell SM120/SM121 unter Linux; ob ältere oder Consumer-GPUs mit 24 GB ohne Weiteres funktionieren, ist nicht belegt.

Benchmarks im Detail

Die Scores in der Tabelle stammen aus NVIDIAs Model Card (Spalte „Nemotron 3.5 Bolt 74B-A9B-24GB (IQ2)“) und von Artificial Analysis. Weitere Herstellerwerte ohne passenden Vergleichsschlüssel:

• GDPVal-AA-V2 28,47 – NVIDIA nennt hier eine Prozentzahl, für Super VL dagegen einen Elo-Wert (1211); wegen der unklaren Skala nicht eingetragen
• τ³-Bench Banking 17,01 · PinchBench 87,82 · MCP-Atlas 52,20 · BrowseComp 66,75 · WebArena (Vision) 50,86
• AA-Omniscience Accuracy 16,90 % · Non-Hallucination 61,27 %

Artificial Analysis (Index v4.3.2, nicht als Schätzung markiert, Stand 15.10.2026): Index 21 · SciCode 40 % · HLE 25 % · AA-LCR v1.1 70 % · AutomationBench-AA 15 % · Terminal-Bench 4.0 0 % · GDP.pdf 3 % · CritPt 4 % · AA-Omniscience −19 · AA-Briefcase v1.1 912 Elo · GDPval-AA v2.1 979 Elo.

Herstellerwerte und AA-Messungen liegen eng beieinander (SciCode 41,02 gegen 40, HLE 25,30 gegen 25); bei AA-LCR misst AA sogar höher (70 gegen 64,06).

Praxis-Erfahrung

Ein eigener Test steht noch aus. Für Speculative Decoding liefert NVIDIA einen eigenen DFlash-Drafter (LiLiCorr) mit; Durchsatzzahlen für die 24-GB-Fassung nennt NVIDIA nicht.

Gut zu wissen

• Lizenz: OpenMDW-1.1 – kommerzielle Nutzung, Fine-Tuning und Weitergabe erlaubt.
• Speicher: etwa 24 GB gepackt; Experten IQ2_XXS (2,0625 Bit je Element, quantisierungsbewusst destilliert), Mamba-Schichten NVFP4, Embedding/Output Q8_0.
• Kontext: bis 262.144 Token (Feld: 262K).
• Eingaben: Text, Bilder (JPEG, PNG) und Video (MP4, bis 2 Minuten); Ausgabe Text inkl. JSON und Tool-Calls.
• Steuerung: enable_thinking und medium_effort im Chat-Template; Tool-Calling OpenAI-kompatibel (vLLM-Parser qwen3_coder). Reasoning und Antwort teilen sich das max_tokens-Budget.
• Laufzeitumgebungen: vLLM (primär), SGLang, Docker Model Runner, Transformers; NVIDIA nennt außerdem llama.cpp, Ollama und LM Studio. GGUF-Fassungen liegen bei NVIDIA, Unsloth und LM Studio auf Hugging Face; ein offizieller Eintrag in der Ollama-Bibliothek fehlte am 15.10.2026.
• Gehostet: Zum Start bei keinem API-Anbieter gelistet (OpenRouter führt nur Super VL) – Bolt ist für den Eigenbetrieb gedacht, was DSGVO-sensiblen Einsatz vereinfacht.
• Trainingszeitraum: Dezember 2025 bis Mai 2026, Post-Training-Daten bis Mai 2026.
• Verwandte Modelle: Nemotron 3.5 Super VL ist das Ausgangsmodell (mehr Leistung, aber mehrere Rechenzentrums-GPUs); eine noch kleinere Variante Bolt E4B (4 GB) ist für den 23.10.2026 angekündigt.
• Abdeckung (15.10.2026): LMArena führt das Modell noch nicht; BenchLM listet es ohne eigene Werte und ohne Rang.