Cogito v2 Preview 70B

Überblick

Cogito v2 Preview 70B ist ein dichtes Hybrid-Reasoning-Modell des US-Startups Deep Cogito, veröffentlicht am 31. Juli 2025. Es ist die kleinste von vier Varianten desselben Releases (70B dicht, 109B MoE, 405B dicht, 671B MoE) und kein eigenes Vortraining, sondern ein Post-Training auf Metas Llama 3.1 70B. Das Modell antwortet wahlweise direkt oder reflektiert vorher in einem <think>-Segment.

Das Verfahren dahinter heißt Iterated Distillation and Amplification (IDA): Statt zur Laufzeit länger zu suchen, soll das Modell das Ergebnis des eigenen Nachdenkens vorwegnehmen — die Suchergebnisse werden in die Modellparameter zurückdestilliert. Für die drei kleineren Varianten (70B, 109B, 405B) nennt Deep Cogito ausdrücklich als Ziel, damit den Nicht-Reasoning-Modus zu verbessern; nur das 671B-MoE wurde auf beide Modi hin trainiert.

Bemerkenswert ist der Aufwand: Deep Cogito beziffert die Gesamtkosten für das Training aller acht Cogito-Modelle von 3B bis 671B auf unter 3,5 Mio. US-Dollar — inklusive Datengenerierung und über tausend Trainingsläufen.

Use Cases

• Lokaler Ersatz für Llama 3.3 70B — dieselbe Klasse, dieselbe Hardware, durchgängig bessere Herstellerwerte.
• Mehrsprachige Aufgaben in Fachkontexten: Der größte Zugewinn gegenüber dem Llama-Vorgänger liegt mit knapp neun Punkten auf MMMLU.
• Werkzeugnutzung in eigener Infrastruktur: Das Chat-Template unterstützt einzelne, parallele und verschachtelte Tool-Calls, und zwar in beiden Modi.
• Aufgaben mit umschaltbarem Denkaufwand: Ein Deployment kann Routineanfragen direkt beantworten und nur bei Bedarf enable_thinking setzen.

Stärken & Grenzen

Stärken

• Gegenüber Llama 3.3 70B legt der Standardmodus laut Hersteller in allen acht berichteten Benchmarks zu, am deutlichsten bei MMMLU (+8,98), Simple QA (+8,10) und GPQA-Diamond (+6,06).
• Der Thinking-Modus hebt vor allem die harten Aufgaben: GPQA-Diamond von 55,05 auf 62,94, MATH von 73,55 auf 86,40, MMLU-Pro von 75,65 auf 81,33.
• Hybrid ohne zweites Modell: ein Gewichtssatz, zwei Betriebsarten, 128K Kontext, über 30 Sprachen.

Grenzen

• Kein einziger Wert stammt aus einer unabhängigen Messung. Artificial Analysis führt das Modell nicht, LMArena kennt kein Cogito-Modell, BenchLM hat keine Seite dazu. Alle Zahlen sind Herstellerangaben.
• Faktizität bleibt schwach, und der Thinking-Modus verschlechtert sie sogar: Simple QA fällt von 30,81 (Standard) auf 27,30 (Thinking) — beides deutlich unter GPT-4o mit 37,56. Nachdenken hilft hier nicht, es schadet.
• Auch gegen das damalige GPT-4o bleibt der Standardmodus bei MATH (73,55 gegen 77,20) zurück.
• Das Basismodell ist reines Text-zu-Text. Die im Blog gezeigte Bildbeschreibung stammt von der 109B-Variante auf multimodaler Basis, nicht von diesem Modell.
• Das Release trägt bewusst das Etikett Preview: Deep Cogito bezeichnet die Modelle selbst als Proof of Concept, noch nicht mit dem üblichen Post-Training-Budget skaliert.
• Mit dem Stand September 2026 ist das Modell technisch über ein Jahr alt; innerhalb der eigenen Familie ist es von Cogito v2.1 (671B MoE) abgelöst.

Quellenlage

Deep Cogito publiziert die Benchmarks ausschließlich als Diagrammbild — sowohl in der Hugging-Face-Model-Card als auch im Launch-Post. Die Werte in der Score-Tabelle wurden direkt aus diesem Bild gelesen und gegen die zweite Fassung desselben Bildes auf deepcogito.com gegengeprüft; beide sind ziffernidentisch.

Von den acht berichteten Benchmarks haben nur vier einen passenden Schlüssel im Katalog. In der Score-Tabelle steht durchgängig der Thinking-Modus, wie im Bestand bei hybriden Modellen üblich. Die Standardwerte sind oben im Text genannt.

Ohne Eintrag geblieben, weil kein passender Schlüssel existiert:

• MMLU — 90,87 (Standard) / 91,20 (Thinking); der Katalog kennt nur MMLU-Pro und MMMLU.
• GSM8K — 96,13 / 96,74.
• MGSM — 92,10 / 92,66.
• Simple QA — 30,81 / 27,30.

Vergleichsspalten der Herstellertabelle sind Llama 3.3 70B und GPT-4o. Nach der Regel „fremde Model Cards sind keine Quelle" wurden diese Werte nicht übernommen, sondern dienen hier nur der Einordnung.

Gut zu wissen

• Lizenz mit Widerspruch: Die Hugging-Face-Metadaten weisen license: llama3.1 aus, der Lizenzabschnitt derselben Model Card nennt dagegen ausdrücklich die Llama 3.3 Community License Agreement. Das Feld folgt dem Lizenzabschnitt. Beide sind Meta-Lizenzen mit Namensnennungspflicht und Nutzungsbeschränkungen — keine Apache-2.0.
• Zwei Wege in den Thinking-Modus: enable_thinking=True beim Chat-Template, oder der Systemprompt „Enable deep thinking subroutine." zusammen mit einem Prefill von <think>\n. Deep Cogito weist darauf hin, dass das Prefill nötig ist, weil hybride Modelle in unter 0,1 % der Fälle das Denken sonst überspringen.
• Architektur am Artefakt belegt: LlamaForCausalLM, 80 Layer, Hidden 8.192, 64 Attention-Heads bei 8 KV-Heads, MLP 28.672, max_position_embeddings 131.072, RoPE θ 500.000 mit Llama-3-Scaling (Faktor 8). Das Feld Kontextfenster trägt die im Bestand übliche gerundete Notation 128K.
• Hardware: 70,6 Mrd. Parameter in BF16 bedeuten rund 141 GB allein für die Gewichte — ohne Quantisierung also mindestens zwei H100/H200 mit 80 GB. 4-Bit-Quantisierungen bringen das Modell auf eine einzelne 48-GB-Karte.
• Bezug: offene Gewichte auf Hugging Face; gehostet unter anderem über OpenRouter. Über Togethers Serverless-API ist das Modell inzwischen nicht mehr verfügbar. Ein Herstellerpreis existiert nicht — Deep Cogito verkauft für die offenen Gewichte keinen Tokentarif.
• Keine Modellreihe angelegt. Die vier v2-Preview-Varianten wären eine, sobald eine zweite davon im Katalog steht; bis dahin bleibt diese Card eigenständig. Die bestehende Card zu Cogito v2.1 gehört nicht dazu — andere Generation, andere Basis, andere Lizenz.