Hermes 4 70B

Überblick

Hermes 4 70B ist die mittlere Variante der Hermes-4-Reihe von Nous Research (August 2025), ein Post-Training auf Meta-Llama-3.1-70B. Architektur, 80 Decoder-Layer und Kontextfenster (131.072 Token) übernimmt es unverändert vom Basismodell; neu sind das Nachtraining auf rund 5 Mio. Beispielen und der Hybrid-Reasoning-Modus mit <think>…</think>-Abschnitten.

Für den praktischen Einsatz ist das die interessanteste Variante der Reihe: Sie liegt bei Logik, Leseverständnis und Anweisungsbefolgung praktisch gleichauf mit dem knapp sechsmal größeren 405B-Modell und kostet bei Drittanbietern rund ein Achtel.

Use Cases

• Allgemeine Reasoning-Aufgaben mit Kostendruck – MATH-500 95,5 % und MMLU-Pro 80,7 % liegen auf 405B-Niveau.
• Mehrschrittiges Textverständnis: MuSR 70,3 und DROP 85,0 sind die besten Werte der gesamten Reihe, auch über dem 405B.
• Werkzeugnutzung und strukturierte Ausgaben: Das Chat-Template definiert tools, tool_calls, eine eigene tool-Rolle und <tool_call>-Tags; JSON-Schema-Treue ist Teil des Post-Trainings.
• Selbst gehostete Anwendungen, bei denen Verweigerungen des Modells stören würden (RefusalBench 59,5).

Stärken & Grenzen

Stärken

• Bestes Verhältnis aus Qualität und Größe innerhalb der Reihe: In neun von achtzehn berichteten Benchmarks liegt das 70B gleichauf mit dem 405B oder darüber.
• Deutlich über dem direkten Wettbewerber der Report-Tabelle, Cogito 70B, bei Mathematik (AIME'25 67,5 gegenüber 22,1) und Code (LiveCodeBench 50,5 gegenüber 32,1).
• Auf einem einzelnen Knoten mit vier bis acht GPUs betreibbar, quantisiert auch darunter.

Grenzen

• Ohne Reasoning-Modus bricht die Leistung ein: AIME'24 fällt von 73,5 auf 9,5, Arena-Hard von 90,1 auf 56,8.
• Wenig Weltwissen: SimpleQA 17,9 % – für faktenlastige Fragen ohne Recherchewerkzeug ist das Modell keine gute Wahl.
• IFEval 78,7 liegt unter dem, was Modelle dieser Klasse üblicherweise erreichen (Cogito 70B ohne Reasoning: 92,7). Bei streng formatgebundenen Aufgaben ist Nachprüfen angeraten.
• Reines Textmodell ohne Bild-, Audio- oder Video-Eingabe.
• Die niedrige Verweigerungsquote ist Absicht des Herstellers. Absicherung in kundennahen Anwendungen muss vorgelagert erfolgen.

Weitere Benchmarks

Werte aus dem technischen Report, für die in der Score-Tabelle oben kein Eintrag vorliegt (R = Reasoning-Modus, N = Non-Reasoning-Modus):

Benchmark	Hermes 4 70B R	Hermes 4 70B N
AIME'24	73,5	9,5
BBH	87,8	80,5
MMLU	88,4	76,7
SimpleQA	17,9	13,3
Arena-Hard v1	90,1	56,8
RefusalBench	59,5	49,0
RewardBench	64,9	44,8
DROP	85,0	78,4
OBQA	94,8	90,0
EQBench3	84,7	73,9
CreativeWriting3	77,5	49,1

Die Werte der Score-Tabelle im Non-Reasoning-Modus zum Vergleich: MATH-500 71,0 · AIME'25 7,3 · GPQA Diamond 33,3 · MMLU-Pro 54,9 · LiveCodeBench v6 25,5 · MuSR 56,3 · IFEval 82,2.

RefusalBench ist ein von Nous Research selbst entworfener Benchmark; ein höherer Wert bedeutet weniger Verweigerungen.

Quellenlage

Sämtliche Zahlen stammen aus dem technischen Report von Nous Research (arXiv 2508.18255, überarbeitete Fassung vom 2. September 2025) und sind durchgehend herstellergemessen:

• Artificial Analysis hat das Modell nicht selbst vermessen. Die Modellseite nennt einen Intelligence Index von 7 für die Non-Reasoning- und 10 für die Reasoning-Konfiguration (v4.1.1), markiert beide aber als „Estimate (independent evaluation forthcoming)". Einzelwerte liegen nicht vor.
• BenchLM führt kein Hermes-4-Modell.
• LMArena führt kein Hermes-4-Modell im Text-Leaderboard.

Gut zu wissen

• Lizenz: Llama 3.1 Community License, keine OSI-Lizenz – mit Namensnennungspflicht und einer Schwelle bei 700 Mio. monatlich aktiven Nutzern. Anders als das Geschwister Hermes 4 14B, das unter Apache-2.0 steht.
• Hardware: In bfloat16 rund 140 GB Gewichte; auf einem Knoten mit 4×A100/H100 (80 GB) betreibbar, 4-bit-quantisiert auch auf zwei Karten.
• Preise: Über Drittanbieter (Nebius Token Factory) 0,13 $ je 1 Mio. Eingabe- und 0,40 $ je 1 Mio. Ausgabe-Token, bei rund 82 Token/s. Reseller-Konditionen, keine Herstellerpreise – Nous Research verkauft keine Token direkt.
• Training: 12.864 B200-GPU-Stunden, Trainingskontext 16.384 Token. Das Modell ist auf deutlich kürzeren Sequenzen nachtrainiert worden, als es zur Laufzeit verarbeitet.
• Alternativen: Hermes 4 405B bringt vor allem bei Mathematik und Code einen Vorsprung, kostet aber ein Vielfaches. Für rein lokalen Betrieb auf einer einzelnen GPU ist Hermes 4 14B die Wahl – mit deutlichen Abstrichen.