Qwen3.8-27B übertrifft größere Modelle in Alibabas Benchmarks — der Aufwand steht in keiner Spalte

News

Alibabas offenes 27-Milliarden-Modell führt in mehreren Agenten-Benchmarks vor deutlich größeren Konkurrenten, doch die Zahlen stammen vom Anbieter, und der Rechenaufwand dahinter taucht in keiner Spalte auf.

Alibaba hat am 14. August 2026 Qwen3.8-27B veröffentlicht: 27,78 Milliarden Parameter in dichter Architektur, Apache 2.0, nativ 262.144 Token Kontext, Text- und Bildeingabe. Die Modellkarte auf Hugging Face weist Werte aus, die man in dieser Größenklasse nicht erwartet — 84,3 Punkte auf OSWorld-Verified, dem Test für die Bedienung eines echten Betriebssystems, gegenüber 72,7 für Claude Opus 4.6 Max. Vier Wochen später liegen unabhängige Messungen vor. Sie widerlegen die Tabelle nicht, aber sie ergänzen eine Größe, die in keiner ihrer Spalten steht: den Aufwand.

In eigener Sache: Dieser Beitrag vergleicht ein Modell von Alibaba mit einem von Anthropic und entsteht mit Anthropics Werkzeugen. Die Zahlen stammen deshalb durchgehend aus benannten Quellen, nicht aus eigener Messung.

Was die Modellkarte ausweist

Alibaba stellt das Modell drei Vergleichspunkten gegenüber: dem Vorgänger Qwen3.6-27B, dem größeren hauseigenen Qwen3.7-Plus und Claude Opus 4.6 Max. Bei den agentischen Tests fällt der Abstand deutlich aus.

Auf OSWorld-Verified steigt der Wert von 63,9 auf 84,3. Der Test gibt dem Modell die Kontrolle über ein Betriebssystem: Fenster verwalten, Schaltflächen treffen, Dateien ablegen. Qwen3.7-Plus kommt dort auf 73,3, Opus 4.6 Max auf 72,7.

Auf CoWorkBench, das mehrstufige Büroarbeit über längere Zeiträume prüft — recherchieren, Quellen zusammenführen, einen Bericht formatieren und ausliefern —, geht es von 61,0 auf 70,7. Hier ist eine Einschränkung nötig: CoWorkBench ist kein neutraler Test, sondern der interne Benchmark des Qwen-Teams. Das öffentliche Leaderboard führt sechs Modelle, sämtlich Eigenangaben; Claude Opus taucht dort gar nicht auf, der Wert 68,2 steht allein in Alibabas Tabelle.

Auf JobBench, das Aufgaben aus dem Alltag von Wissensarbeitern abbildet, klettert der Wert von 21,8 auf 33,4. Das sind gut 53 Prozent Zuwachs — und ein Drittel gelöster Aufgaben. Zwei von drei bleiben offen.

Dieselbe Tabelle, andere Zeilen

Wer die Modellkarte vollständig liest, findet Spalten, die in der Berichterstattung selten auftauchen.

Bei GPQA Diamond, dem Test für naturwissenschaftliche Fragen auf Hochschulniveau, steigt der Wert von 87,8 auf 89,2 — bleibt damit aber unter Qwen3.7-Plus (90,3) und unter Opus 4.6 Max (91,3). Bei Humanity's Last Exam geht es von 24,0 auf 30,8, während Qwen3.7-Plus 34,7 und Opus 40,0 erreicht. Das Modell hat bei Agentenaufgaben zugelegt, nicht beim Fachwissen; an zwei Stellen liegt es hinter dem eigenen größeren Geschwistermodell.

Bei BabyVision, einem Test für visuelles Schlussfolgern, stehen zwei Werte nebeneinander: 65,7 ohne und 85,6 mit Code-Interpreter. Das Kürzel „CI" in der Tabelle steht für dieses Werkzeug, nicht für einen Denkschritt des Modells — der höhere Wert entsteht, weil das Modell Code ausführen darf, um ein Bild auszuwerten. Auffällig ist derselbe Test bei Opus 4.6 Max: 12,6 Punkte. Ein solcher Wert sagt in aller Regel mehr über das Testgerüst des Messenden aus als über die Fähigkeiten des gemessenen Modells.

Und noch etwas fällt an der Vergleichsspalte auf: Sie führt Opus 4.6 Max. Zum Veröffentlichungstag Mitte August war bei Anthropic bereits die Version 4.8 im Markt. Wer vergleicht, wählt die Gegner.

Der Aufwand steht in keiner Spalte

Simon Willison hat das Modell am 16. August 2026 lokal betrieben und hält es für ausgezeichnet — mit einer Einschränkung, die er als „urkomische Voreinstellung" bezeichnet. Das Modell steht ab Werk auf der höchsten Reasoning-Stufe. Eine einfache SVG-Zeichnung kostete ihn so 21 Minuten und 22.276 Reasoning-Token. Auf einem MacBook mit M5 Max und auf einem NVIDIA DGX Spark maß er 15 bis 30 Token pro Sekunde; die Ursache liegt in der dichten Architektur, die anders als ein Mixture-of-Experts-Modell bei jedem Token sämtliche Parameter über den Speicherbus zieht.

Eine zweite Messreihe zeigt dasselbe Bild von der anderen Seite. Auf mittlerer Reasoning-Stufe verbrauchte das Modell in einem Testlauf rund 860.000 Eingabe- und 38.000 Ausgabe-Token; mit vollständig abgeschaltetem Reasoning sank der Verbrauch, dafür enthielten die Antworten erfundene Inhalte. Der Bereich dazwischen ist schmal.

Am nüchternsten liest sich die Auswertung von Vals AI, die 24 Benchmarks in einem eigenen, für alle Modelle gleichen Aufbau fährt: Qwen3.8-27B kommt dort auf 48,48 Prozent und Rang 30 von 56 Modellen, bei 8,48 US-Dollar und gut 60 Minuten je Testlauf. Stark ist es bei juristischen Agentenaufgaben und in der Softwareentwicklung, schwach bei Steuer- und Medizinkodierung. Das ist kein Widerspruch zu Alibabas Tabelle — es ist die Antwort auf eine andere Frage. Alibaba misst Spitzenwerte unter günstigen Bedingungen, Vals AI misst den Durchschnitt unter gleichen.

Betrifft Sie das, und wann?

Für den Eigenbetrieb ist dieses Modell die derzeit interessanteste offene Option in seiner Klasse: Apache 2.0 ohne Nutzerschwellen, anders als das größere Qwen3.8-Max mit seiner eigenen Lizenz. In 4-Bit-Quantisierung belegen die Gewichte rund 17 GB, laufen also auf einer Grafikkarte mit 24 GB — allerdings mit verkürztem Kontext, denn der Zwischenspeicher für 262.144 Token verlangt noch einmal etwa 16 GB. Für die volle Länge in FP8 sind 48 GB der realistische Einstieg.

Die entscheidende Frage ist damit nicht, ob das Modell eine Aufgabe lösen kann, sondern in welcher Zeit. Bei 15 bis 30 Token pro Sekunde und einer Voreinstellung, die fünfstellige Token-Mengen ins Nachdenken steckt, ist ein Arbeitsablauf, bei dem jemand auf die Antwort wartet, keine gute Anwendung. Sinnvoll sind Aufgaben, die über Nacht laufen dürfen: Dokumentenstapel klassifizieren, Rechnungen auslesen, Testabdeckung ergänzen, Berichte vorbereiten. Wer den Reasoning-Aufwand nicht bewusst herunterregelt, zahlt für Nachdenken, das die Aufgabe nicht braucht — dieselbe Beobachtung, die schon beim größeren Modell derselben Reihe galt.

Und für die Einordnung der Zahlen selbst gilt, was in dieser Werkstatt schon bei anderen Modellen galt: Die Modellkarte ist eine Verkaufsunterlage mit Zahlen darin. Nachprüfbar sind Lizenz, Speicherbedarf und Durchsatz. Der Rest wird es erst, wenn jemand anderes ihn nachgerechnet hat — oder wenn Sie es auf Ihren eigenen Aufgaben tun.

Ein Modell, das eine Aufgabe in 21 Minuten löst, hat sie im Benchmark gelöst und im Betrieb nicht.


Weiterlesen

Quellen

Modellkarte Qwen3.8-27B (Hugging Face, Stand 13.09.2026)
CoWorkBench-Leaderboard, llm-stats.com
Simon Willison, 16.08.2026
Vals AI, Modellprofil Qwen3.8-27B
MindStudio, lokale Benchmarkreihe

AgentsChinaHardwareModelOpen SourceQwenSprachmodell