Vier Wege zur lokalen KI — und was sie wirklich kosten

In unserem Rack stehen acht gebrauchte RTX 3090. Daneben arbeiten ein Mac mit M4 Max und vier Mac Minis im Cluster. Alle Maschinen tun dasselbe — sie lassen Sprachmodelle laufen, ohne dass ein Token das Haus verlässt — und sie sind aus vollkommen unterschiedlichen Gründen dort gelandet. Genau darum geht es hier: nicht ob lokale KI sinnvoll ist, sondern auf welchem Blech.

Warum überhaupt lokal

Drei Gründe halte ich für belastbar, einen nicht.

Datenschutz. Wer Mandantenakten, Personalunterlagen oder Konstruktionsdaten durch ein Modell schickt, muss beim Cloud-Anbieter über Auftragsverarbeitung, Unterauftragnehmer und Drittlandtransfer nachdenken. Lokal entfällt diese Kette. Die DSGVO gilt auch für den eigenen Server, aber die Argumentationslinie wird deutlich kürzer — gegenüber Betriebsrat, Kunden und Aufsicht.

Souveränität. Modelle werden abgekündigt, Preise und Nutzungsbedingungen geändert. Wer einen Arbeitsablauf auf ein Cloud-Modell gebaut hat, baut ihn irgendwann noch einmal. Ein lokal abgelegtes Open-Weights-Modell läuft in drei Jahren noch so wie heute.

Kalkulierbarkeit. Anschaffung plus Strom, keine Token-Rechnung, die mit dem Erfolg des Projekts mitwächst. Das zählt dort, wo ein Prozess dauerhaft und in großer Zahl läuft: Dokumentenklassifikation, Extraktion, Transkription.

Nicht belastbar ist das Argument, lokal sei billiger. Bei sporadischer Nutzung ist es das fast nie. Die Rechnung geht erst auf, wenn das Gerät ausgelastet ist — oder wenn die Daten gar nicht erst raus dürfen.

Die vier Wege auf einen Blick

	Mac Studio	DGX Spark / GB10	RTX-Pro-Workstation	4× RTX 3090 gebraucht
Speicher für Modelle	36–512 GB	128 GB	96 GB je Karte	96 GB gesamt
Bandbreite	614 GB/s – 1,2 TB/s	273 GB/s	1.792 GB/s	936 GB/s je Karte
Anschaffung	3.000 € (36 GB) – 11.000 € (256 GB)	4.500–5.800 €	ab ca. 23.000 €	7.000–8.500 €
Leistungsaufnahme unter Last	unter 300 W	ca. 140 W	ca. 1 kW	ca. 1,3 kW
Ökosystem	MLX, llama.cpp — kein CUDA	voller CUDA-Stack	voller CUDA-Stack	voller CUDA-Stack
Stärke	Verbrauch, sehr große Modelle	CUDA-Nähe zum Rechenzentrum, Parallelbetrieb	Tempo, lange Kontexte	Speicher pro Euro
Schwäche	Einlesen langer Prompts	dichte große Modelle	Preis	Strom, Wartung
Betriebsaufwand	gering	gering	mittel	hoch

Preise Stand 01.09.2026, deutscher Handel. Seit Ende 2025 läuft eine Speicherpreiskrise, DRAM, GDDR und SSDs sind deutlich teurer geworden — jede Preisangabe hier ist eine Momentaufnahme. Speicher, Bandbreite und Verbrauch sind Herstellerangaben; die Verbrauchsangabe für den Mac Studio bezieht sich auf den Vorgänger M3 Ultra, für die M5-Modelle liegen noch keine Werte vor.

Zwei Begriffe tragen den Rest dieses Textes. Die Speicherbandbreite beschreibt, wie schnell die Modellgewichte zwischen Speicher und Rechenwerk fließen; sie bestimmt, wie zügig die Antwort erscheint. Das Einlesen (Prompt Processing) ist die Arbeit, bevor das erste Wort kommt; es hängt an der Rechenleistung und wird bei langen Dokumenten zum Engpass. Die Messwerte stehen deshalb nicht im Text, sondern in je einer Grafik pro Weg — in Token pro Sekunde und auf derselben Skala, damit Sie die vier nebeneinanderlegen können.

Mac Studio — der elegante Weg

Apple hat den Mac Studio am 25.08.2026 mit M5 Max und M5 Ultra vorgestellt. Die größte Speicherstufe mit 512 GB folgt Ende Oktober, ihr Preis ist noch nicht veröffentlicht.

Das eigentliche Argument der Plattform ist nicht Geschwindigkeit, sondern Verbrauch. Schon der Vorgänger M3 Ultra ließ in einem Test DeepSeek R1 — 671 Milliarden Parameter, vollständig im Speicher — unter 200 Watt laufen. Auf NVIDIA-Seite hält in dieser Größenordnung nichts mit.

Die ehrliche Schwäche heißt Einlesen. Bei einem sehr großen Modell und einem mittellangen Dokument vergeht auf dem M3 Ultra eine Viertelstunde, bevor das erste Wort der Antwort erscheint. Apple adressiert genau das mit Neural Accelerators in jedem GPU-Kern und verspricht deutlich kürzere Wartezeiten; die Ausgabe selbst wird nur wenig schneller, weil sie an der Bandbreite hängt. Das sind Herstellermessungen am kleinsten Chip der Reihe. Unabhängige Zahlen für den M5-Mac-Studio gibt es erst, wenn das Gerät ausgeliefert ist.

Dazu kommt: kein CUDA. MLX und llama.cpp decken den Alltag ab, vLLM und große Teile der Forschungs-Toolchain nicht.

Geeignet für: eine Handvoll Nutzer, lange Antworten auf kurze Prompts, sehr große Modelle bei kleinem Budget für Strom und Stellfläche, Kanzleien und Praxen ohne Serverraum.
Ungeeignet für: Retrieval mit langen Kontexten, viele parallele Anfragen, Training.

DGX Spark und die GB10-Verwandtschaft

NVIDIAs DGX Spark kam im Oktober 2025 auf den Markt und ist seither wegen der Speicherknappheit spürbar teurer geworden; die Founders Edition liegt im deutschen Handel inzwischen bei rund 5.800 Euro. Baugleiche Geräte gibt es von ASUS, Acer, Dell, HP, Lenovo, MSI und Gigabyte. Für identische Hardware gehen die Preise weit auseinander (Notebookcheck, 20.02.2026) — ein Teil erklärt sich über die SSD-Größe, der Rest ist Aufschlag.

Das Gerät bringt 128 GB gemeinsamen Speicher und den vollen CUDA-Stack und kommt mit rund 140 Watt aus. Der Haken ist die Bandbreite: etwa die Hälfte eines M4 Max, ein Sechstel einer RTX-Pro-Karte. Dichte Modelle jenseits von 30 Milliarden Parametern sind darauf praktisch unbenutzbar. Mixture-of-Experts-Modelle, die pro Token nur einen Teil ihrer Parameter aktivieren, laufen um ein Vielfaches besser.

Wofür das Gerät dann gut ist: Einlesen ist rechen-, nicht bandbreitenlimitiert, und dort ist der Spark stark. Bei vielen parallelen Anfragen skaliert er ordentlich. Und er läuft auf demselben Software-Stack wie ein DGX-Rechenzentrum. Das ist der eigentliche Zweck — entwickeln und portieren, nicht produktiv bedienen.

Geeignet für: Entwicklungsteams, die später auf NVIDIA-Infrastruktur ausrollen; Prototypen mit CUDA-Abhängigkeiten; kleine Agenten-Workloads mit MoE-Modellen.
Ungeeignet für: dichte große Modelle, latenzkritische Einzelnutzung.

Workstation mit RTX Pro

Die RTX Pro 6000 Blackwell bringt 96 GB GDDR7 mit ECC und die sechsfache Bandbreite des Spark. Im Einzelbetrieb ist sie damit die schnellste Lösung in diesem Vergleich, und unter vLLM mit vielen parallelen Anfragen liegt eine einzelne Karte bei einem MoE-Modell sogar knapp vor einer H100. Bei sehr großen Modellen über mehrere GPUs bleibt die H100 dank NVLink und HBM klar vorn.

Der Preis ist das Problem. NVIDIA hat den Listenpreis seit der Vorstellung im März 2025 in zwei Schritten fast verdoppelt; im deutschen Handel kostet die Karte zwischen rund 12.600 und 14.500 Euro. Eine Workstation darum herum beginnt bei MIFCOM bei gut 23.000 Euro — mit einer Karte.

Die RTX Pro 5000 mit 72 GB klingt nach dem Mittelweg, ist aber keiner: drei Viertel des Speichers zu rund drei Vierteln des Preises, dafür ein Viertel weniger Bandbreite. Der Vorteil liegt in der absoluten Summe, nicht im Verhältnis. Wer mehr als zwei Karten verbauen will, nimmt die Max-Q-Variante — halbe Leistungsaufnahme und ein Radiallüfter, der die Abluft aus dem Gehäuse trägt.

Geeignet für: eine Abteilung oder einen ganzen Betrieb, Retrieval mit langen Kontexten, gemischte Last aus Inferenz und Feintuning, alles mit ECC-Anspruch.
Ungeeignet für: kleine Budgets — und für den Fall, dass die Auslastung dauerhaft unter etwa einem Drittel bleibt.

Gebrauchte 3090 auf einem Server-Board

Die RTX 3090 ist seit Jahren die Karte für alle, die Speicher pro Euro suchen: 24 GB, hohe Bandbreite, NVLink für je zwei Karten. Die Gebrauchtpreise gehen 2026 allerdings weit auseinander. Private Auktionen endeten Anfang September bei 700 bis 900 Euro, Händler mit Gewährleistung verlangen 1.250 Euro und mehr. Wer geduldig bietet, zahlt heute etwa das, was vor einem Jahr der Normalpreis war.

Die Plattform darunter ist der eigentliche Trick: ein Server-Board wie das ASRock Rack ROMED8-2T oder das Supermicro H12SSL-i mit sieben vollen PCIe-Steckplätzen, dazu eine gebrauchte EPYC-CPU, von der für reine Inferenz schon das kleinste Modell reicht. Beim Arbeitsspeicher schlägt die Krise voll durch. Zusammengerechnet landet man bei knapp 5.000 Euro für zwei Karten, um 8.000 Euro für vier und um 15.000 Euro für acht.

Drei Dinge fehlen in solchen Rechnungen gern:

• Strom. Vier Karten mit gedrosseltem Power-Limit ziehen samt Plattform rund 1,3 kW. Im Dauerbetrieb sind das mit einem gewerblichen Stromtarif knapp 2.000 Euro im Jahr, zum Haushaltspreis mehr als das Doppelte (BDEW, 15.04.2026). Die Drosselung selbst kostet kaum Leistung — zumindest in einer älteren Trainingsmessung von Puget Systems.
• Elektrik. Acht Karten bei voller Leistung liegen knapp unter dem, was eine Schuko-Leitung trägt. Für Dauerlast ist das nicht ratsam.
• Wartung. Aus den Wärmeleitpads der 30er-Serie läuft unter Dauerlast das Silikonöl aus, der Speicher verliert seine Kühlung (igor'sLAB, 06.08.2021). Bei gebrauchten Karten ist der Padtausch Pflichtarbeit, keine Optimierung.

Und eine Erwartung, die man früh korrigieren sollte: Mehr Karten machen ein Modell nicht schneller. Sie kaufen Platz und Parallelität, nicht Tempo. Wer schnell will, ist mit zwei Karten fertig; wer viele Nutzer bedienen will, braucht acht — und vLLM statt llama.cpp.

Geeignet für: Entwicklung, Experimente, interne Werkzeuge, alles mit Bastelbereitschaft im Haus.
Ungeeignet für: Betriebe ohne jemanden, der Treiber, Kühlung und Netzteile mag. Das ist kein Gerät, das man kauft — das ist eines, das man betreibt.

Welcher Engpass zuerst weh tut

Die Frage ist nie, welches Gerät das schnellste ist, sondern welcher Engpass zuerst weh tut: Speicher, Bandbreite, Strom oder die Person, die das Ding am Laufen hält.

Wir sind bei den 3090 gelandet, weil wir ohnehin jemanden im Haus haben, der abends Wärmeleitpads tauscht, und weil wir viel ausprobieren und wenig produktiv bedienen. Ein Steuerbüro mit acht Arbeitsplätzen und einem Serverschrank ohne Klimatisierung wäre mit derselben Entscheidung unglücklich geworden. Der Mac Studio wäre dort die ruhigere Wahl, die RTX-Pro-Workstation die belastbarere. Für alle vier Wege gilt dasselbe: Die Rechnung geht erst ab einer Auslastung auf, die man vor dem Kauf ehrlich schätzen sollte — und wer sie nicht schätzen kann, sollte zuerst einen Monat lang messen, wie viele Token im Betrieb tatsächlich anfallen.

---

Weiterlesen

• Qwen 3.6 im Werkstatt-Test: 35B, die sich anfühlen wie 200B — der eigene Praxistest eines Modells, das quantisiert auf eine einzelne 24-GB-Karte passt
• Wie viel „Berufserfahrung“ steckt in einem lokalen KI-Modell? — welche Modelle auf welcher Speichergröße wie selbstständig arbeiten
• Qwen3.8-27B übertrifft größere Modelle in Alibabas Benchmarks — der Aufwand steht in keiner Spalte — Messungen auf M5 Max und DGX Spark zeigen, wie die Speicherbandbreite ein dichtes Modell ausbremst
• Unsloth Studio: Feintuning ohne Maschinenpark — Feintuning auf einer einzelnen Arbeitsstation statt im Rechenzentrum