Hermes 4 405B

Überblick

Hermes 4 405B ist das größte Modell der Hermes-4-Reihe von Nous Research (August 2025). Es ist kein eigenes Grundlagenmodell, sondern ein Post-Training auf Meta-Llama-3.1-405B: dieselbe Architektur, dieselben 126 Decoder-Layer und dasselbe Kontextfenster von 131.072 Token, aber ein vollständig neues Nachtraining auf rund 5 Mio. Beispielen.

Kennzeichnend ist der Hybrid-Reasoning-Modus: Das Modell kann intern in <think>…</think>-Abschnitten deliberieren oder direkt antworten. Umgeschaltet wird über ein Flag im Chat-Template, nicht über zwei getrennte Modelle. Der Unterschied zwischen beiden Betriebsarten ist erheblich – auf AIME'25 stehen 78,1 % im Reasoning-Modus gegen 10,6 % ohne.

Use Cases

• Mathematik und wissenschaftliches Reasoning – der stärkste Bereich des Modells (MATH-500 96,2 %, AIME'25 78,1 %).
• Anwendungen mit strenger Formatvorgabe: Das Post-Training enthält gezieltes Training auf JSON-Schema-Treue; Werkzeugaufrufe laufen über <tool_call>-Tags innerhalb einer Assistant-Antwort.
• Aufgaben, bei denen ein Modell nicht eigenmächtig abbrechen soll – etwa Sicherheitsforschung, Textanalyse zu heiklen Themen oder Rollenspiel-Simulationen, bei denen kommerzielle Modelle regelmäßig verweigern.
• Vergleichs- und Bewertungsaufgaben: RewardBench 73,0 ist der beste Wert der Reihe.

Stärken & Grenzen

Stärken

• Deutlicher Abstand zum Basismodell: Llama 3.1 405B ohne Hermes-Post-Training erreicht auf RefusalBench 21,7 gegenüber 57,1 hier – und hatte gar keinen Reasoning-Modus.
• Sehr niedrige Verweigerungsquote bei gleichzeitig hoher Steuerbarkeit über den System-Prompt.
• Kreatives Schreiben und emotionale Nuance (EQBench3 85,5, CreativeWriting3 79,3) auf dem Niveau deutlich neuerer Modelle.

Grenzen

• Der Non-Reasoning-Modus fällt stark ab. Ohne Deliberation sinkt Arena-Hard von 93,7 auf 53,5 und AIME'24 von 81,9 auf 11,4. Wer Latenz sparen will, verliert den größten Teil der Qualität.
• Kein Multimodal-Eingang. Text hinein, Text hinaus – Bilder, Audio und Video kann das Modell nicht verarbeiten.
• Anweisungsbefolgung ist nicht die Stärke: IFEval liegt mit 81,5 % unter den Vergleichsmodellen der eigenen Tabelle (DeepSeek R1 90,0, Qwen3 235B 91,4) und im Reasoning-Modus sogar unter dem eigenen Non-Reasoning-Wert (84,9).
• Die Architektur ist ein Jahr älter als das Post-Training. Llama 3.1 405B ist ein dichtes Modell ohne Mixture-of-Experts; jedes Token kostet die volle Rechenlast von 405 Mrd. Parametern.
• Die niedrige Verweigerungsquote ist ausdrücklich Absicht. In kundennahen Anwendungen muss die Absicherung vorgelagert werden – im Modell steckt sie nicht.

Weitere Benchmarks

Werte aus dem technischen Report, für die in der Score-Tabelle oben kein Eintrag vorliegt (R = Reasoning-Modus, N = Non-Reasoning-Modus):

Benchmark	Hermes 4 405B R	Hermes 4 405B N
AIME'24	81,9	11,4
BBH	86,3	68,7
MMLU	87,2	73,6
SimpleQA	25,8	22,1
Arena-Hard v1	93,7	53,5
RefusalBench	57,1	43,2
RewardBench	73,0	64,5
DROP	83,5	77,6
OBQA	94,2	84,4
EQBench3	85,5	74,6
CreativeWriting3	79,3	50,6

Die Werte der Score-Tabelle im Non-Reasoning-Modus zum Vergleich: MATH-500 73,8 · AIME'25 10,6 · GPQA Diamond 39,4 · MMLU-Pro 58,3 · LiveCodeBench v6 28,1 · MuSR 48,2 · IFEval 84,9.

RefusalBench ist ein von Nous Research selbst entworfener Benchmark; ein höherer Wert bedeutet weniger Verweigerungen. Zum Vergleich nennt der Report Grok 4 mit 51,3, GPT-5 mit 11,34 und Claude Sonnet 4 mit 17,0.

Quellenlage

Sämtliche Zahlen stammen aus dem technischen Report von Nous Research (arXiv 2508.18255, überarbeitete Fassung vom 2. September 2025). Sie sind damit durchgehend herstellergemessen:

• Artificial Analysis hat das Modell nicht selbst vermessen. Die Modellseiten führen einen Intelligence Index von 9 (v4.1.1), markieren ihn aber ausdrücklich als „Estimate (independent evaluation forthcoming)". Einzelwerte zu den neun Index-Komponenten liegen nicht vor.
• BenchLM führt kein Hermes-4-Modell.
• LMArena führt kein Hermes-4-Modell im Text-Leaderboard.

Die Vergleichswerte in der Report-Tabelle (Cogito 405B, DeepSeek R1/V3, Qwen3 235B) sind von Nous selbst reproduziert worden und keine unabhängige Bestätigung.

Hinweis: Die erste Fassung des Reports (25. August 2025) nennt für einzelne Werte leicht abweichende Zahlen – etwa Arena-Hard 94,4 statt 93,7. Maßgeblich ist hier durchgehend die überarbeitete Fassung.

Gut zu wissen

• Lizenz: Llama 3.1 Community License, keine OSI-Lizenz. Sie enthält eine Namensnennungspflicht und eine Schwelle bei 700 Mio. monatlich aktiven Nutzern. Für die meisten Unternehmensanwendungen unkritisch, aber juristisch zu prüfen.
• Hardware: In bfloat16 belegen die Gewichte rund 810 GB. Lokaler Betrieb ist realistisch nur quantisiert und auf Mehr-GPU-Knoten möglich; in der Praxis läuft das Modell über gehostete Endpunkte.
• Preise: Nous Research verkauft keine Token direkt. Über Drittanbieter (Nebius Token Factory) werden 1,00 $ je 1 Mio. Eingabe- und 3,00 $ je 1 Mio. Ausgabe-Token aufgerufen, bei rund 36 Token/s Ausgabegeschwindigkeit. Das sind Reseller-Konditionen, keine Herstellerpreise.
• Training: 71.616 B200-GPU-Stunden auf 192 Beschleunigern, Trainingskontext 16.384 Token. Das Modell ist also auf deutlich kürzeren Sequenzen nachtrainiert worden, als es zur Laufzeit verarbeitet.
• Alternativen: Wer dieselbe Steuerbarkeit bei geringeren Kosten sucht, fährt mit Hermes 4 70B fast genauso gut. Für reine Reasoning-Qualität sind neuere offene Modelle inzwischen deutlich weiter.