AI Server – Supermicro 4029GP 10X3090-24GB

Überblick

Ein voll bestückter GPU-Server für lokale Inferenz im großen Maßstab: zehn NVIDIA RTX 3090 mit zusammen 240 GB Grafikspeicher, zwei Xeon Platinum 8260Y mit 48 Kernen und 256 GB Arbeitsspeicher in einem Supermicro SuperServer 4029GP-TRT2. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik. Es bietet einen Grafikspeicher, der neu ein Vielfaches kosten würde.

Nutzen

• Große Modelle im eigenen Haus: 240 GB VRAM reichen für Modelle der 70-Mrd.-Klasse in voller Präzision oder für große MoE-Modelle in 4-Bit-Quantisierung.
• Mehrere Dienste auf einer Maschine: Sprachmodell, Embedding-Modell und Spracherkennung können parallel auf getrennten GPUs laufen.
• Alle Karten an einem Prozessor: Die GPUs hängen über PCIe-Switches an derselben CPU (Single-Root). Der Datenaustausch zwischen den Karten muss nicht über die Verbindung zwischen den beiden Prozessoren laufen.
• Servertechnik für den Dauerbetrieb: redundante Titanium-Netzteile, Hot-Swap-Lüfter und Fernwartung per IPMI mit KVM-over-LAN.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
70 Mrd. Parameter	BF16 (unquantisiert)	8 GPUs, mittlerer Kontext	höchste Ausgabequalität für anspruchsvolle Textarbeit
70 Mrd. Parameter	4- oder 8-Bit	4–8 GPUs, langer Kontext	Team-Assistent mit vielen parallelen Anfragen
MoE-Modelle um 120 Mrd.	4-Bit	4 GPUs	schnelle Agenten, Codeunterstützung
MoE-Modelle 200–250 Mrd.	4-Bit	8 GPUs	Modelle nahe an Cloud-Niveau im eigenen Haus
mehrere kleinere Modelle	8-Bit	je 1–2 GPUs	Sprachmodell, Embeddings und Spracherkennung parallel

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell eine einzelne Antwort entsteht und wie viele Token der Server insgesamt liefert, wenn viele Anfragen gleichzeitig eintreffen. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle auf diesem Server.

Einzelne Anfrage

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – nicht die Gesamtgröße.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Alle fünf Modelle antworten damit deutlich schneller, als ein Mensch mitlesen kann.

Stapelbetrieb mit vLLM

vLLM bündelt gleichzeitige Anfragen und rechnet sie gemeinsam. Der Gesamtdurchsatz steigt dadurch um ein Vielfaches, während jede einzelne Antwort etwas langsamer wird. Auf PCIe 3.0 ohne NVLink ist es dabei günstiger, ein Modell zweimal auf je vier GPUs zu betreiben, als es über alle Karten zu verteilen – die Abstimmung zwischen den Karten kostet sonst mehr, als die zusätzlichen GPUs bringen.

Praktisch heißt das: Bei 32 gleichzeitigen Anfragen erhält jede Anfrage noch 12 bis 25 Token pro Sekunde – für Chat-Nutzer flüssig, für Stapelaufgaben wie Dokumentenauswertung, Klassifikation oder Übersetzung ein Vielfaches des Einzelbetriebs.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die große offene Modelle vollständig im eigenen Haus betreiben wollen
• Teams mit vielen gleichzeitigen Nutzern oder dauerhaft laufenden Agenten, bei denen Cloud-Tokenkosten spürbar wären
• Stapelverarbeitung großer Dokumentenbestände, bei der der Gesamtdurchsatz zählt
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Die RTX 3090 ist eine Consumer-Karte ohne ECC-Speicher und ohne Herstellergarantie für Dauerlast im Serverbetrieb. Für Team-Assistenten, Agenten und Entwicklung ist das ein bewährter Weg; für einen 24/7-Produktivbetrieb mit Verfügbarkeitszusagen empfehlen wir professionelle Karten.

• Strom: Ohne Begrenzung nimmt das System unter Volllast bis rund 4 kW auf. Mit reduziertem Power-Limit je Karte liegt der Verbrauch deutlich darunter, bei geringem Geschwindigkeitsverlust in der Inferenz. Die vier Netzteile brauchen 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• PCIe 3.0: Die Bandbreite je Karte liegt auf PCIe-3.0-Niveau. Für Inferenz ist das tragfähig, für das Training großer Modelle weniger.
• Aufteilung der zehn Karten: Für viele parallele Nutzer ist es günstiger, ein Modell mehrfach auf je vier GPUs zu betreiben, als es über alle Karten zu verteilen. Die übrigen zwei Karten übernehmen sinnvoll ein Embedding- oder Spracherkennungsmodell.
• Neuere Modellformate: Einige aktuelle Modelle nutzen Rechenkerne, die vLLM nur auf neueren GPU-Generationen anbietet – DeepSeek V4 Flash läuft auf der RTX 3090 deshalb über llama.cpp statt über vLLM.
• Arbeitsspeicher: Die vier Module belegen nur einen Teil der zwölf Speicherkanäle. Für Modelle, die vollständig im Grafikspeicher liegen, spielt das keine Rolle. Wer Modellteile in den Arbeitsspeicher auslagern will, sollte aufrüsten; 20 Steckplätze sind frei, mit den verbauten CPUs sind bis zu 2 TB möglich.
• Datenträger: Für häufig wechselnde große Modelle empfiehlt sich zusätzlich eine NVMe-SSD, damit Modelle schneller geladen werden.
• Aufstellung: Gehäusetiefe 737 mm. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, 1 Jahr Garantie.