Lokale Modelle sind kein Datenschutz-Kompromiss

Wenn in einem Mittelstandsprojekt über lokale Modelle gesprochen wird, endet die Diskussion meist nach zwei Minuten und immer beim selben Argument: Datenschutz. Lokale Modelle gelten als Zugeständnis an die Rechtsabteilung, als der langsamere und teurere Weg, den man geht, wenn man muss.

Ich halte das für die schwächste aller möglichen Begründungen — und für den Grund, warum der Trend systematisch unterschätzt wird. Meine Position: Offene Gewichte setzen sich in den kommenden Jahren nicht wegen der DSGVO durch, sondern weil sieben technische und ökonomische Entwicklungen gleichzeitig in dieselbe Richtung laufen. Wer nur die Compliance-Frage stellt, verpasst die anderen sechs.

1. Der Abstand schrumpft auf Monate

Das stärkste Argument gegen offene Modelle war immer die Leistung. Epoch AI beziffert den Rückstand offener Gewichte auf die jeweilige proprietäre Spitze für 2024 auf rund zwölf Monate; bis Mai 2026 ist er auf etwa vier Monate gefallen. Im Artificial Analysis Index sank der Abstand zwischen Frühjahr 2025 und Mai 2026 von 13 auf 6 Punkte. Jensen Huang nannte auf der CES im Januar 2026 rund sechs Monate — als Chef eines Herstellers, der an beiden Enden verkauft, hat er allerdings kein Interesse daran, den Abstand groß zu reden.

Vier bis sechs Monate Rückstand sind für die allermeisten produktiven Aufgaben irrelevant. Eine Dokumentenklassifikation braucht kein Modell, das ein Quartal jünger ist.

2. Die Kosten fallen schneller als Moore's Law

Der Stanford AI Index beziffert den Preis für die Qualität von GPT-3.5 Ende 2022 auf rund 20 US-Dollar je Million Tokens; Ende 2024 lag derselbe Qualitätspunkt bei 7 Cent. Die Wagniskapitalgesellschaft a16z nennt das LLM-flation und veranschlagt grob den Faktor 10 pro Jahr — wobei ein Investor, dessen Portfolio auf der Anwendungsebene sitzt, ein Interesse an billiger Inferenz hat.

Entscheidend ist der Mechanismus dahinter, nicht die Marketing-Zahl: Ein erheblicher Teil des Rückgangs kommt aus algorithmischer Effizienz, nicht aus billigerer Hardware. Marcus Hutter veranschlagt deren jährlichen Zuwachs in seiner Arbeit zum Übergang von AGI zu ASI auf das Drei- bis Sechsfache. Wenn das auch nur näherungsweise stimmt, braucht dasselbe Leistungsniveau nach zwei bis drei Jahren einen Bruchteil der Rechenleistung — und wandert von der GPU-Workstation auf ein gewöhnliches Notebook.

3. China verschenkt Spitzenmodelle aus Eigeninteresse

Dass offene Modelle so schnell aufholen, ist Industriepolitik. Niedrige Preise für hochwertige Gewichte fördern die Verbreitung in der Breite und machen die eigene Beschleuniger-Industrie attraktiv — Huawei-Hardware gewinnt erst dann Kunden, wenn die passenden Modelle frei verfügbar sind. DeepSeek, Qwen und Kimi liefern entsprechend Leistung zu Bedingungen, die westliche Anbieter kommerziell nicht abbilden können.

Beim Router OpenRouter entfiel zuletzt ein Großteil der vermittelten Token-Anfragen — genannt werden rund 61 Prozent — auf chinesische Open-Source-Modelle. Diese Zahl bildet allerdings die Nutzerschaft eines preissensiblen Entwicklerdienstes ab, nicht den Gesamtmarkt.

4. Die Hardware liegt bereits auf dem Schreibtisch

Mixture-of-Experts-Architekturen aktivieren pro Token nur einen Bruchteil der Parameter, moderne Quantisierung drückt den Speicherbedarf ohne nennenswerten Qualitätsverlust. Auf Apple-Silicon mit Unified Memory und dem MLX-Framework erreichen Modelle der Gemma-Klasse Durchsätze um 80 Tokens pro Sekunde — schneller, als ein Mensch liest. Wenn das ohnehin vorhandene Arbeitsgerät die Inferenz übernimmt, sind die Grenzkosten je Anfrage praktisch null.

5. Die heutigen Cloud-Preise sind subventioniert

Flatrate-Abonnements für 200 US-Dollar im Monat, hinter denen bei intensiver agentischer Nutzung reale Token-Kosten im vierstelligen Bereich stehen, sind Marktanteilskauf, kein Geschäftsmodell. Solange Wachstum die Kennzahl ist, funktioniert das. Sobald Anbieter nach einem Börsengang an Margen gemessen werden, ändert sich die Logik — und wer seine Kernprozesse auf diesen Preispunkt kalibriert hat, migriert dann unter Zeitdruck.

6. Souveränität ist ein Betriebsrisiko, kein Compliance-Thema

Die relevante Frage lautet nicht, ob eine Verarbeitung rechtskonform ist, sondern wem die Verfügungsgewalt über einen Prozess gehört, von dem das Geschäft abhängt. Anbieter können Modelle abkündigen, Limits senken oder den Zugang regional einschränken. Für einen Prototypen ist das ärgerlich, für die Auftragsabwicklung existenziell.

Besonders scharf wird es bei Agenten, die Postfach, Dateisystem und Kalender lesen.

Zum Weiterdenken: Peter Steinberger hat es im Umfeld von OpenClaw so formuliert: Jedes Dokument, das der Agent anfasst, verlässt heute die eigene Maschine.

7. Intelligenz bleibt nicht im Gehäuse

Ray Kurzweil hat in The Singularity Is Near argumentiert, dass Rechenleistung nicht dauerhaft in rechteckigen Gehäusen konzentriert bleibt, sondern in die Umgebung wandert. Das ist eine Prognose, kein Befund — aber die technische Bedingung dafür ist eindeutig: Ein Sensor in einer Fertigungsstraße, der auf eine Antwort aus einem drei Netzwerksprünge entfernten Rechenzentrum wartet, ist kein intelligenter Sensor. Latenz, Verfügbarkeit und Energiebudget drücken die Verarbeitung an die Kante.

Der stärkste Einwand

Er lautet nicht „zu schwach" und nicht „zu teuer", sondern: Die algorithmische Effizienz kommt der Cloud genauso zugute. Wer Modelle mietet, profitiert von denselben Fortschritten, ohne Hardware zu kaufen, ohne Betrieb, ohne Monitoring, ohne die Personalkosten für all das. Für einen Betrieb mit 30 Mitarbeitern kann ein Administratortag im Monat teurer sein als die gesamte API-Rechnung. Das Argument ist richtig, und es erledigt die Vorstellung, lokal sei automatisch billiger.

Es erledigt aber nicht die These. Denn die entscheidende Schwelle ist nicht relativ, sondern absolut: Ab dem Punkt, an dem ein hinreichend gutes Modell auf dem Gerät läuft, das ohnehin da ist, verschwinden Grenzkosten, Latenz und Abhängigkeit gleichzeitig. Diesen Punkt kann die Cloud nicht unterbieten, weil sie ihn strukturell nicht erreichen kann. Der zweite Teil des Einwands — Betriebsaufwand — bleibt gültig und spricht gegen den Vollumstieg, nicht gegen eine zweite Ebene.

Daraus folgt keine Entweder-oder-Entscheidung, sondern eine Architekturfrage: Welche Prozesse dürfen nicht ausfallen, wenn ein externer Anbieter seine Konditionen ändert? Für genau diese lohnt die lokale Ebene — heute als Absicherung, in zwei Jahren als Kostenvorteil.

Lokale Modelle sind nicht der Kompromiss für datenschutzsensible Nachzügler, sondern die Richtung, in die Effizienz, Industriepolitik und Betriebswirtschaft gemeinsam laufen.

Was daran belastbar ist und was Prognose, lässt sich unterscheiden: Die Zahlen zu Abstand und Kostenverfall sind gemessen, die Aussagen zu Cloud-Preisen und verteilter Intelligenz sind begründete Erwartung. Die erste Hälfte allein genügt für die Entscheidung.

Weiterlesen

Mac Studio mit M5 Max und M5 Ultra: bis zu 512 GB für lokale Modelle — rechnet durch, welche Modellgrößen auf Apple-Silicon tatsächlich passen
Qwen3-Coder-Next: Effizienz im lokalen Code-Agenten — ein offenes Modell, an dem sich die MoE-Rechnung nachvollziehen lässt
Ein Agent, der bleibt: Der Hermes-Agent und lokale KI-Modelle — der Fall, in dem ein Agent Postfach und Dateisystem liest, ohne das Haus zu verlassen