Hermes 4 14B

Überblick

Hermes 4 14B ist die kleinste Variante der Hermes-4-Reihe von Nous Research (August 2025) und die einzige, die nicht auf Llama aufsetzt: Basis ist Qwen3-14B, entsprechend gilt die Apache-2.0-Lizenz. Das Modell hat 40 Decoder-Layer und ein Kontextfenster von 40.960 Token laut config.json – ein Drittel dessen, was die beiden großen Geschwister verarbeiten.

Es ist zugleich das Modell, an dem Nous Research die Längenkontrolle des Reasoning-Modus entwickelt hat: Ein eigener Trainingsschritt senkt den Anteil abgeschnittener Denkketten bei 30.000 Token Budget von 60,0 % auf 0,1 % (LiveCodeBench v6) – bei gleichzeitig besseren Werten (28,6 → 42,5). Für lokale Anwendungen mit knappem Kontextbudget ist das der praktisch wertvollste Beitrag der Reihe.

Use Cases

• Lokale Assistenz auf einer einzelnen GPU – 4-bit-quantisiert läuft das Modell auf Consumer-Hardware.
• Anwendungen, die verlässlich zu Ende denken: Die Längenkontrolle macht den Reasoning-Modus auch bei kleinem Token-Budget planbar.
• Aufgaben, bei denen ein Modell nicht eigenmächtig verweigern soll: RefusalBench 74,3 ist der höchste Wert der gesamten Reihe – deutlich über dem 405B (57,1).
• Werkzeugnutzung und JSON-Ausgaben über <tool_call>-Tags und trainierte Schema-Treue.

Stärken & Grenzen

Stärken

• Höchste Steuerbarkeit der Reihe bei niedrigster Hardwareanforderung.
• Apache-2.0 – die einzige Variante ohne die Einschränkungen der Llama-Lizenz.
• Planbare Reasoning-Länge dank des eigenen Trainingsschritts gegen überlange Denkketten.
• EQBench3 77,2 und MuSR 66,8 liegen über den von Nous reproduzierten Werten des Basismodells.

Grenzen

• Das Post-Training kostet in den Fachbenchmarks Leistung. Gegenüber den von Nous selbst reproduzierten Werten des Basismodells Qwen3-14B verliert Hermes 4 14B im Reasoning-Modus fast durchgängig: MATH-500 91,1 gegen 97,2 · AIME'25 46,8 gegen 68,5 · LiveCodeBench v6 42,5 gegen 61,2 · IFEval 74,8 gegen 91,6 · RewardBench 63,5 gegen 73,5. Wer das Modell wegen seiner Mathematik- oder Codeleistung erwägt, fährt mit dem unveränderten Qwen3-14B besser. Der Gewinn liegt bei Steuerbarkeit und Verweigerungsverhalten, nicht bei der Fachleistung.
• Sehr wenig Weltwissen: SimpleQA 5,5 % – ohne Recherchewerkzeug für Faktenfragen ungeeignet.
• Kleines Kontextfenster von 40.960 Token gegenüber 131.072 bei den Geschwistern.
• Ohne Reasoning-Modus bleibt wenig übrig: AIME'24 fällt von 55,4 auf 11,0, CreativeWriting3 von 61,6 auf 35,5.
• Reines Textmodell ohne Bild-, Audio- oder Video-Eingabe.
• Kein gehosteter Endpunkt bei den gängigen Anbietern – das Modell wird ausschließlich als Gewichtsdatei verteilt.

Weitere Benchmarks

Werte aus dem technischen Report, für die in der Score-Tabelle oben kein Eintrag vorliegt (R = Reasoning-Modus, N = Non-Reasoning-Modus):

Benchmark	Hermes 4 14B R	Hermes 4 14B N
AIME'24	55,4	11,0
BBH	84,4	74,0
MMLU	84,1	79,2
SimpleQA	5,5	4,3
Arena-Hard v1	83,0	50,2
RefusalBench	74,3	39,9
RewardBench	63,5	54,0
DROP	84,5	73,9
OBQA	94,6	90,4
EQBench3	77,2	58,0
CreativeWriting3	61,6	35,5

Die Werte der Score-Tabelle im Non-Reasoning-Modus zum Vergleich: MATH-500 76,3 · AIME'25 6,9 · GPQA Diamond 39,0 · MMLU-Pro 61,9 · LiveCodeBench v6 35,0 · MuSR 52,5 · IFEval 78,8.

RefusalBench ist ein von Nous Research selbst entworfener Benchmark; ein höherer Wert bedeutet weniger Verweigerungen.

Quellenlage

Sämtliche Zahlen stammen aus dem technischen Report von Nous Research (arXiv 2508.18255, überarbeitete Fassung vom 2. September 2025) und sind durchgehend herstellergemessen:

• Artificial Analysis führt das 14B nicht – anders als die beiden größeren Geschwister, für die immerhin geschätzte Indexwerte vorliegen.
• BenchLM führt kein Hermes-4-Modell.
• LMArena führt kein Hermes-4-Modell im Text-Leaderboard.

Achtung: Für dieses Modell weichen die beiden Fassungen des Reports deutlich voneinander ab. Die erste Fassung vom 25. August 2025 nennt unter anderem AIME'24 52,7 · AIME'25 41,4 · GPQA Diamond 55,6 · IFEval 50,1. Maßgeblich sind die hier verwendeten Werte der überarbeiteten Fassung; sie entsprechen dem Modellstand nach der Längenkontrolle und decken sich mit der entsprechenden Tabelle im selben Report.

Gut zu wissen

• Lizenz: Apache-2.0 – uneingeschränkt kommerziell nutzbar, ohne die Auflagen der Llama-Lizenz der Geschwister.
• Hardware: In bfloat16 rund 28 GB Gewichte, damit auf einer 40-GB-Karte lauffähig; 4-bit-quantisiert reichen etwa 10 GB und damit eine Consumer-GPU.
• Preise: Keine – das Modell wird als Gewichtsdatei verteilt, ein kommerzieller Endpunkt ist nicht ausgewiesen.
• Training: 4.454 B200-GPU-Stunden, Trainingskontext 16.384 Token.
• Alternativen: Für Fachleistung in derselben Größenklasse ist das unveränderte Qwen3-14B die bessere Wahl. Wer Steuerbarkeit in größerem Maßstab braucht, greift zu Hermes 4 70B.