AI Server – Supermicro 4029GP 8X3080

Überblick

Ein GPU-Server für lokale Inferenz mit CUDA: acht NVIDIA RTX 3080 mit je 20 GB und zusammen 160 GB Grafikspeicher, zwei Xeon Platinum 8260Y mit 48 Kernen und 256 GB Arbeitsspeicher in einem Supermicro SuperServer 4029GP-TRT2. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik und ein preiswerter Weg zu viel Grafikspeicher auf einer Maschine.

Nutzen

• Große Modelle im eigenen Haus: 160 GB VRAM reichen für MoE-Modelle bis rund 180 Mrd. Parameter in 4-Bit oder 70-Mrd.-Modelle in 8-Bit.
• CUDA-Ökosystem ohne Umwege: vLLM, Ollama und llama.cpp laufen auf der Ampere-Generation mit aktuellem Softwarestand.
• Alle Karten an einem Prozessor: Die GPUs hängen über PCIe-Switches an derselben CPU (Single-Root). Der Datenaustausch zwischen den Karten muss nicht über die Verbindung zwischen den beiden Prozessoren laufen.
• Ausbaureserve: Zwei der zehn GPU-Steckplätze bleiben frei.
• Servertechnik für den Dauerbetrieb: redundante Titanium-Netzteile, Hot-Swap-Lüfter und Fernwartung per IPMI mit KVM-over-LAN.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
70 Mrd. Parameter	8-Bit	8 GPUs, mittlerer Kontext	hohe Ausgabequalität für anspruchsvolle Textarbeit
70 Mrd. Parameter	4-Bit	4 GPUs, zwei Instanzen möglich	Team-Assistent mit vielen parallelen Anfragen
MoE-Modelle um 120 Mrd.	4-Bit	4–8 GPUs	schnelle Agenten, Codeunterstützung
MoE-Modelle um 180 Mrd.	4-Bit	8 GPUs, mittlerer Kontext	vielseitige Modelle mit Bildverständnis
mehrere kleinere Modelle	8-Bit	je 1–2 GPUs	Sprachmodell, Embeddings und Spracherkennung parallel

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell eine einzelne Antwort entsteht und wie viele Token der Server insgesamt liefert, wenn viele Anfragen gleichzeitig eintreffen. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle auf diesem Server.

Einzelne Anfrage

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – nicht die Gesamtgröße.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Alle vier Modelle antworten damit deutlich schneller, als ein Mensch mitlesen kann.

Stapelbetrieb mit vLLM

vLLM bündelt gleichzeitige Anfragen und rechnet sie gemeinsam. Der Gesamtdurchsatz steigt dadurch um ein Vielfaches, während jede einzelne Antwort etwas langsamer wird. Auf PCIe 3.0 ist es am günstigsten, ein Modell zweimal auf je vier GPUs zu betreiben – mit 20 GB je Karte gelingt das bei gpt-oss 120B. Größere Modelle belegen alle acht GPUs.

Praktisch heißt das: Bei 32 gleichzeitigen Anfragen erhält jede Anfrage noch rund 8 bis 20 Token pro Sekunde – für Stapelaufgaben wie Dokumentenauswertung, Klassifikation oder Übersetzung ein Vielfaches des Einzelbetriebs. Für viele gleichzeitige Chat-Nutzer ist gpt-oss 120B auf diesem Server die schnellste Wahl.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die lokale KI-Inferenz mit viel Grafikspeicher zu geringen Kosten einführen wollen
• Teams mit vielen gleichzeitigen Nutzern oder dauerhaft laufenden Agenten, bei denen Cloud-Tokenkosten spürbar wären
• Stapelverarbeitung großer Dokumentenbestände, bei der der Gesamtdurchsatz zählt
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Die RTX 3080 ist eine Consumer-Karte ohne ECC-Speicher. Die hier verbauten 20-GB-Karten sind zudem nachträglich umgerüstete Varianten: Die ursprünglich 10 GB Grafikspeicher wurden durch größere Speicherchips auf 20 GB verdoppelt. Unter Linux und CUDA arbeiten sie zuverlässig, einen offiziellen Herstellersupport von NVIDIA gibt es für diese Konfiguration nicht. Für einen 24/7-Produktivbetrieb mit Verfügbarkeitszusagen empfehlen wir professionelle Karten.

• Strom: Acht Karten mit je 320 W – unter Volllast nimmt das System ohne Begrenzung rund 3,1 kW auf und bleibt damit im redundanten 2+2-Betrieb der vier Netzteile. Mit reduziertem Power-Limit je Karte sinkt der Verbrauch bei geringem Geschwindigkeitsverlust. Benötigt werden 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• PCIe 3.0: Die Bandbreite je Karte liegt auf PCIe-3.0-Niveau. Für Inferenz über mehrere GPUs ist das tragfähig, für das Training großer Modelle weniger.
• Grenze bei sehr großen Modellen: Modelle über rund 200 Mrd. Parameter wie DeepSeek V4 Flash passen auch in 4-Bit nicht vollständig in 160 GB. Dafür eignet sich der Server mit 10× RTX 3090 (240 GB) oder 8× V100 32 GB (256 GB).
• Arbeitsspeicher: Die vier Module belegen nur einen Teil der zwölf Speicherkanäle. Für Modelle, die vollständig im Grafikspeicher liegen, spielt das keine Rolle. Wer Modellteile in den Arbeitsspeicher auslagern will, sollte aufrüsten; 20 Steckplätze sind frei, mit den verbauten CPUs sind bis zu 2 TB möglich.
• Datenträger: Für häufig wechselnde große Modelle empfiehlt sich zusätzlich eine NVMe-SSD, damit Modelle schneller geladen werden.
• Aufstellung: Gehäusetiefe 737 mm. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.