Nemotron 3.5 Lightning

Offenes MoE-Modell von NVIDIA (30B gesamt / 3B aktiv, Mamba-2-Hybrid) mit 1M-Kontext – auf Durchsatz statt Spitzenintelligenz ausgelegt, für dauerhaft laufende Agenten.

Überblick

Nemotron 3.5 Lightning ist das erste Modell der Nemotron-3.5-Generation von NVIDIA und der direkte Nachfolger von Nemotron 3 Nano. Es kombiniert Mamba-2-Layer, MoE-Layer und wenige Attention-Layer zu einer hybriden Architektur mit 30B Gesamt- und 3B aktiven Parametern. Der erklärte Zweck sind „always-on agents": Aufgaben, die nicht die höchste Intelligenz brauchen, sondern viele Schritte in kurzer Zeit.

Artificial Analysis ordnet das Modell mit einem Intelligence Index von 24 auf dem Niveau von gpt-oss-120b ein – bei rund einem Viertel der Gesamtparameter und etwa 0,5 Minuten je Index-Aufgabe (Qwen3.6 35B: ~3,5 Minuten, gpt-oss-120b: ~3,4 Minuten).

Use Cases

Sub-Agenten und Werkzeug-Schritte in längeren Agenten-Ketten, bei denen Latenz die Gesamtlaufzeit bestimmt
Strukturierte Extraktion, Alert-Anreicherung, Log-Abfragen – Aufgaben mit klarem Schema und hohem Durchsatz
Long-Context-Workflows: RULER-taugliche Fenster bis 1M Token bei nur 3B aktiven Parametern
Self-Hosting auf einer einzelnen H100/A100 80 GB, lokal über Ollama (~25 GB im Standard-Build)

Stärken & Grenzen

Stärken

Sehr hoher Durchsatz: NVIDIA nennt 4× höheren Durchsatz und 30 % kürzere Task-Completion-Zeit gegenüber vergleichbar großen offenen Modellen; Artificial Analysis misst am Pre-Release-Endpunkt von DeepInfra knapp 670 Token/s.
Deutlicher Sprung gegenüber dem Vorgänger bei agentischen Aufgaben: SWE-bench Verified 51,56 statt 34,08, Terminal-Bench 2.1 24,58 statt 8,29, BrowseComp 36,97 statt 13,74.
Multi-Token Prediction (MTP) ist im Modell angelegt und erlaubt spekulatives Decoding ohne separates Draft-Modell.
Reasoning per Chat-Template zuschaltbar (enable_thinking=True/False); Tool-Calls über den Qwen3-Coder-Parser.

Grenzen

Innerhalb seiner eigenen Vergleichstabelle verliert Lightning fast durchgängig gegen Qwen3.6 35B A3B – bei MMLU-Pro (81,94 zu 85,63), GPQA Diamond (75,44 zu 83,40), SWE-bench Verified (51,56 zu 70,12) und besonders deutlich bei Terminal-Bench 2.1 (24,58 zu 44,38). Das Modell ist auf Geschwindigkeit optimiert, nicht auf Spitzenwerte.
Gegenüber dem größeren Geschwister Nemotron 3 Super bleibt es bei Wissen und Reasoning zurück (HLE 11,72 zu 20,30, AA-LCR 52,00 zu 58,44).
Schwach bei mehrstufigen Dialog-Werkzeugaufgaben: τ³-bench (Banking) 9,28 – der niedrigste Wert im Vergleichsfeld nach Nemotron 3 Nano.
Reines Textmodell, keine Bild- oder Audioeingabe.

Praxis-Erfahrung

Hinweis: Die Card dokumentiert die BF16-Referenzgewichte. NVIDIA veröffentlicht parallel einen NVFP4-Build, dessen Werte leicht abweichen (MMLU-Pro 81,62 · SWE-bench Verified 52,80 · GPQA Diamond 75,57 · IFBench 72,88).

Empfohlene Sampling-Parameter laut NVIDIA: Temperature 1.0, Top-P 0.95.
Verfügbar über DeepInfra, Fireworks, FriendliAI und CoreWeave; NVIDIA selbst nennt keinen Token-Preis. Ein Herstellerpreis ist deshalb nicht ausgewiesen.
Ollama führt nemotron-3.5-lightning:30b (~25 GB, 1M Kontext) und 30b-mlx (~23 GB, 256K Kontext).

Gut zu wissen

Lizenz: OpenMDW License Agreement, Version 1.1 – kommerzielle Nutzung erlaubt. Release 11.08.2026.
Architektur laut config.json: 52 Layer, Hidden Size 2.688, 128 geroutete Experten + 1 Shared Expert, Top-6-Routing, MoE-Intermediate 1.856; GQA mit 32 Attention- und 2 KV-Heads (Attention nur auf den Layern 6, 13, 20, 27, 34, 43), 64 Mamba-Heads, SSM-State 128, Vokabular 131.072, eine MTP-Layer.
Kontextfenster: NVIDIA gibt „bis zu 1M Token" an, betreibt das Modell auf einer einzelnen H100 aber mit 256K. Die ausgelieferte config.json setzt max_position_embeddings auf 262.144. In der Card steht die native Spezifikation (1M), im Betrieb sind 256K der realistische Wert.
Parameterangabe: NVIDIA nennt 30B / 3B, Artificial Analysis führt 31,6B / 3,6B. Die Card folgt der Herstellerangabe.
Trainingsdaten: über 20 Billionen Token. Wissensstand Pre-Training September 2025, Post-Training Mai 2026.
Sprachen: Englisch, Spanisch, Französisch, Deutsch, Italienisch, Japanisch sowie 43 Programmiersprachen.
Hardware: Blackwell (GB200, B200), Hopper (H100, H200), Ampere (A100).

Weitere Benchmarks

Quelle: NVIDIA (offizielle Model Card, BF16, Reasoning) – Werte ohne Eintrag in der Score-Tabelle:

Benchmark	Nemotron 3.5 Lightning
AA-Omniscience	17,50
SWE-bench Multilingual	39,33
PinchBench	85,37
BrowseComp	36,97
τ³-bench (Banking)	9,28

GDPval-AA v2 bewusst nicht als Score eingetragen: NVIDIA gibt 832 an, Artificial Analysis 824 – beides Elo-Werte. Die Score-Tabelle führt GDPval-AA v2 in Prozent; eine dreistellige Zahl gehört dort nicht hinein.

Artificial Analysis (Launch-Artikel, 08/2026): Intelligence Index 24 · Terminal-Bench v2.1 24 % · GDPval-AA v2 824 Elo · ~670 Token/s (DeepInfra Pre-Release) · ~0,5 Minuten je Index-Aufgabe.

Quellenlage

Alle Einzelwerte in der Score-Tabelle stammen aus NVIDIAs eigener Model Card; unabhängig nachgemessen ist bislang nur der Artificial-Analysis-Durchgang (Index und Terminal-Bench). BenchLM führt das Modell am 15.08.2026 noch nicht (388 gelistete Modelle geprüft). Ollama gibt die Herstellerangaben wieder und ist für Benchmarkwerte keine Zweitquelle.