Wie viel „Berufserfahrung“ steckt in einem lokalen KI-Modell?

Wie viel ein Sprachmodell kann, steht nicht in seiner Parameterzahl. Eine brauchbarere Antwort liefert eine Frage, die jeder Betrieb aus der Einarbeitung neuer Leute kennt: Wie lange kann man jemanden allein arbeiten lassen, bevor jemand nachsehen muss? Das Forschungsinstitut METR misst genau das für KI-Modelle, und legt man diesen Maßstab an die Modelle an, die sich im eigenen Haus betreiben lassen, ergibt sich eine Leiter mit fünf Stufen. Die unteren vier sind im September 2026 lokal besetzt, die oberste nicht.

Der Maßstab: Aufgabenlänge statt Modellgröße

METR stellt Modellen Aufgaben, deren Länge vorher an Menschen gemessen wurde — an Fachleuten aus Softwareentwicklung, maschinellem Lernen und IT-Sicherheit mit durchschnittlich rund fünf Jahren Berufserfahrung. Der sogenannte Zeithorizont gibt an, wie lang eine Aufgabe für diese Fachleute sein darf, damit ein Modell sie noch in der Hälfte der Fälle löst. In der Auswertung vom 29. Januar 2026 lagen die stärksten Cloud-Modelle bei gut fünf Stunden; für eine frühe Version von Claude Mythos Preview schätzte METR nach Tests im März 2026 mindestens 16 Stunden. (Anthropic, der Hersteller dieses Modells, stellt auch die Werkzeuge, mit denen dieser Beitrag entstanden ist.) Seit 2024 verdoppelt sich der Wert laut METR etwa alle drei Monate. Offene Modelle laufen hinterher: Die besten DeepSeek-Modelle von Mitte 2025 lagen nach METRs Messung etwa auf dem Stand der Cloud-Spitze von Ende 2024.

Kleine, lokal betreibbare Modelle misst METR nicht. Für sie lässt sich der Maßstab aber übersetzen, und zwar über SWE-bench Verified, einen Test mit 500 echten Fehlerberichten aus Open-Source-Projekten. Die Aufgaben wurden beim Aufbau des Tests danach eingeschätzt, wie lange eine erfahrene Entwicklerin für die Behebung bräuchte: 39 Prozent in unter 15 Minuten, 52 Prozent in 15 bis 60 Minuten, 8 Prozent in ein bis vier Stunden, drei Aufgaben länger. Ein Modell, das rund 40 Prozent löst, schafft also ungefähr so viele Aufgaben, wie es Viertelstundenaufgaben gibt. Wer über 75 Prozent kommt, erledigt rechnerisch auch einen Großteil der Stundenaufgaben. Dazu kommen unabhängige Agententests von Artificial Analysis — GDPval, das berufliche Wissensarbeit nachstellt, und Terminal-Bench für mehrstufige Arbeit auf der Kommandozeile.

Hinweis: Die Stufen unten sind eine Einordnung der Redaktion, keine Messung. Sie verbinden Herstellerangaben mit unabhängigen Tests; wo nur Herstellerwerte vorliegen, ist das markiert.

Eine Einschränkung gehört von Anfang an dazu. Der Zeithorizont beschreibt eine Erfolgsquote von 50 Prozent. Ein Mitarbeiter, der jede zweite Aufgabe verfehlt, übersteht keine Probezeit. Die Stufen beschreiben deshalb, welche Aufgaben man einem Modell mit Kontrolle übergeben kann, nicht, welche man blind delegiert. Wer eine höhere Trefferquote braucht, gibt kürzere Aufgaben.

Fünf Stufen, von der Aushilfe bis zum Senior

Stufe 1 — Aushilfe. Handgriffe von wenigen Minuten: zusammenfassen, sortieren, übersetzen, Felder aus einem Formular lesen. Hier stehen Granite 4.2 3B, Gemma 4 E2B und E4B sowie Ministral 3 8B. Wo unabhängige Agententests vorliegen, stehen sie bei null bis vier Prozent. Dafür laufen sie auf einem Notebook, einem Einplatinenrechner oder einem Smartphone — und für die digitale Poststelle genügt das.

Stufe 2 — Azubi. Kurze Aufgaben mit Anleitung und festem Rahmen. Nemotron 3 Nano von NVIDIA löst laut Hersteller 38,8 Prozent von SWE-bench Verified, ziemlich genau den Anteil der Viertelstundenaufgaben; in GDPval kommt es auf null. Gemma 4 12B vom Juni kommt in Googles eigenem Agententest nah an das größere 31B heran; eine unabhängige Messung steht aus, deshalb steht es vorerst hier.

Stufe 3 — junge Fachkraft. Aufgaben bis etwa eine Stunde, selbstständig erledigt, mit Stichprobe. Hierher gehören die beiden gpt-oss-Modelle von OpenAI (60,7 und 62,4 Prozent in SWE-bench Verified), Nemotron 3 Super (60,5 Prozent) sowie Gemma 4 in den Varianten 26B A4B und 31B, die bei Artificial Analysis auf 11 und 15 Prozent in GDPval kommen.

Stufe 4 — erfahrene Fachkraft. Mehrstufige Arbeit mit Werkzeugen über ein bis zwei Stunden. Das ist die Stufe, auf der sich 2026 am meisten verändert hat. Qwen3.6-27B erreicht laut Alibaba 77,2 Prozent in SWE-bench Verified und bei Artificial Analysis 61 Prozent in Terminal-Bench und 32 Prozent in GDPval, den höchsten unabhängigen GDPval-Wert in dieser Auswahl. Daneben stehen Qwen3.6-35B-A3B (73,4 Prozent), der Programmierspezialist Qwen3-Coder-Next (70,6 Prozent) und Mistral Medium 3.5 mit 128 Milliarden Parametern (77,6 Prozent). Das im August erschienene Qwen3.8-27B meldet 73 Prozent in Terminal-Bench; auch hier fehlt die unabhängige Messung noch.

Stufe 5 — Senior. Vorhaben über einen Arbeitstag und länger, mit eigener Planung und Verantwortung für das Ergebnis. Diese Stufe ist lokal nicht besetzt. In METRs Messungen reichen bislang nur die stärksten Cloud-Modelle heran, und auch sie nur bei einer Trefferquote von 50 Prozent.

Warum die Größe die Stufe nicht verrät

Die Parameterzahl beschreibt vor allem, wie viel ein Modell gespeichert hat. Wie selbstständig es arbeitet, hängt stärker am Training, und das hat sich innerhalb eines Jahres grundlegend verändert. Drei Paare aus der Leiter zeigen das.

Gleiche Größe, ein Jahr Abstand. Gemma 3 27B vom März 2025 und Qwen3.6-27B vom April 2026 sind praktisch gleich groß. Das ältere Modell kommt bei Artificial Analysis in GDPval auf null und in Terminal-Bench auf vier Prozent, das jüngere auf 32 und 61 Prozent. Zwischen beiden liegen drei Stufen. Eine Modellgröße ohne Jahrgang sagt deshalb wenig.

Mehr Größe, gleiche Stufe. gpt-oss-120b ist gut fünfeinhalbmal so groß wie gpt-oss-20b und weiß messbar mehr: Im naturwissenschaftlichen Fragentest GPQA Diamond liegt es laut OpenAI bei 80,1 statt 71,5 Prozent. Bei der Programmieraufgabe liegen beide Modelle aber nur 1,7 Punkte auseinander. Der Grund liegt in der Bauweise. Beide sind Mixture-of-Experts-Modelle, die für jedes Wort nur einen kleinen Teil ihrer Parameter aktivieren, 5,1 und 3,6 Milliarden. Das größere Modell hat ein umfangreicheres Archiv, aber kaum mehr Rechenleistung pro Schritt.

Wenig aktiv, trotzdem oben. Qwen3.6-35B-A3B arbeitet pro Schritt mit drei Milliarden Parametern und steht auf derselben Stufe wie Mistral Medium 3.5, bei dem alle 128 Milliarden mitrechnen. Das eine läuft quantisiert auf einer einzelnen Grafikkarte mit 24 GB, das andere belegt rund 80 GB.

Betrifft Sie das, und wann?

Für die Auswahl eines Modells ist die Stufe die nützlichere Frage als die Größe. Wer Eingangspost vorsortieren, Rechnungen auslesen oder Protokolle zusammenfassen lassen will, braucht eine Aushilfe und keinen Senior. Die läuft auf fast jeder Hardware, die ohnehin im Betrieb steht. Wer dagegen Angebote aus mehreren Quellen vorbereiten, Auswertungen erstellen oder Code pflegen lassen will, braucht die vierte Stufe. Die ist seit dem Frühjahr 2026 auf einer einzelnen Workstation zu haben: Qwen3.6-27B passt quantisiert auf eine 24-GB-Karte, Qwen3.8-27B belegt in der Standardeinstellung von Ollama rund 18 GB.

Die Einarbeitungslogik gilt dabei weiter. Auch eine Fachkraft der vierten Stufe liefert in einem guten Teil der Fälle kein brauchbares Ergebnis. Die Frage ist also nicht, ob geprüft wird, sondern wie: vollständig bei der Aushilfe, stichprobenartig bei der Fachkraft, und immer dort, wo ein Fehler Geld oder Vertrauen kostet.

Die Metapher hat Grenzen, und sie gehören dazu. Ein Modell sammelt keine Erfahrung wie ein Mensch, und sein Profil ist ungleichmäßiger als jeder Lebenslauf. Qwen3-Coder-Next arbeitet beim Programmieren auf Fachkraftniveau und bleibt beim Allgemeinwissen deutlich zurück. Gemma 4 31B löst laut Google 89 Prozent der Aufgaben eines US-Mathematikwettbewerbs und kommt bei der beruflichen Wissensarbeit in GDPval auf 15 Prozent. Die Stufe beschreibt die Selbstständigkeit bei zusammenhängender Arbeit, nicht die Intelligenz. Und sie veraltet schnell: Wenn sich die Zeithorizonte weiter alle paar Monate verdoppeln, gehört diese Leiter spätestens im Frühjahr neu vermessen.

Die richtige Frage an ein Modell lautet nicht, wie groß es ist, sondern wie lange Sie es allein arbeiten lassen können.

---

Weiterlesen

• Qwen 3.6 im Werkstatt-Test: 35B, die sich anfühlen wie 200B — der eigene Praxistest eines Modells der vierten Stufe
• Qwen3.8-27B übertrifft größere Modelle in Alibabas Benchmarks — der Aufwand steht in keiner Spalte — warum Herstellerwerte allein nicht reichen
• Lokale Modelle sind kein Datenschutz-Kompromiss — warum sich der Eigenbetrieb inzwischen rechnet