AI Server – Supermicro 8XV100-32

Überblick

Ein GPU-Server mit acht NVIDIA Tesla V100 mit je 32 GB – Rechenzentrumskarten, die für den Dauerbetrieb gebaut wurden. Zusammen stehen 256 GB HBM2-Grafikspeicher mit ECC zur Verfügung, dazu zwei Xeon Platinum 8260Y mit 48 Kernen und 256 GB Arbeitsspeicher in einem Supermicro SuperServer 4029GP-TRT2. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik.

Nutzen

• Rechenzentrumskarten statt Consumer-Hardware: passiv gekühlt, ECC-geschützter Speicher, ausgelegt auf 24/7-Last.
• Große Modelle im eigenen Haus: 256 GB Grafikspeicher fassen auch MoE-Modelle jenseits von 200 Mrd. Parametern oder 70-Mrd.-Modelle unquantisiert.
• Zwei Instanzen parallel: Die meisten Modelle bis 180 Mrd. Parameter passen auf vier GPUs – der Server kann sie zweifach betreiben und so doppelt so viele Anfragen bedienen.
• Moderater Stromverbrauch: Mit 250 W je Karte bleibt das System auch unter Volllast deutlich innerhalb des redundanten Netzteilbetriebs.
• Ausbaureserve: Zwei der zehn GPU-Steckplätze bleiben frei.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
70 Mrd. Parameter	FP16 (unquantisiert)	8 GPUs, mittlerer Kontext	höchste Ausgabequalität für anspruchsvolle Textarbeit
70 Mrd. Parameter	4- oder 8-Bit	4 GPUs, zwei Instanzen möglich	Team-Assistent mit vielen parallelen Anfragen
MoE-Modelle um 120 Mrd.	4-Bit	4 GPUs, zwei Instanzen möglich	schnelle Agenten, Codeunterstützung
MoE-Modelle um 180 Mrd.	4-Bit	4–8 GPUs	vielseitige Modelle mit Bildverständnis
MoE-Modelle 250–300 Mrd.	4-Bit	8 GPUs	Modelle nahe an Cloud-Niveau im eigenen Haus
mehrere kleinere Modelle	8-Bit	je 1–2 GPUs	Sprachmodell, Embeddings und Spracherkennung parallel

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell eine einzelne Antwort entsteht und wie viele Token der Server insgesamt liefert, wenn viele Anfragen gleichzeitig eintreffen. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle auf diesem Server.

Einzelne Anfrage

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – nicht die Gesamtgröße.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Alle fünf Modelle antworten damit deutlich schneller, als ein Mensch mitlesen kann.

Stapelbetrieb mit vLLM

vLLM bündelt gleichzeitige Anfragen und rechnet sie gemeinsam. Der Gesamtdurchsatz steigt dadurch um ein Vielfaches, während jede einzelne Antwort etwas langsamer wird. Mit 32 GB je Karte passen die meisten Modelle auf vier GPUs – der Server betreibt sie dann zweifach. Das ist auf PCIe 3.0 deutlich effizienter, als ein Modell über alle acht Karten zu verteilen.

Praktisch heißt das: Bei 32 gleichzeitigen Anfragen erhält jede Anfrage noch rund 10 bis 20 Token pro Sekunde – für Chat-Nutzer flüssig, für Stapelaufgaben wie Dokumentenauswertung, Klassifikation oder Übersetzung ein Vielfaches des Einzelbetriebs.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die große offene Modelle auf robuster Rechenzentrumshardware im eigenen Haus betreiben wollen
• Dauerbetrieb mit vielen Nutzern oder Agenten, bei dem ECC-Speicher und passive Kühlung zählen
• Stapelverarbeitung großer Dokumentenbestände, bei der der Gesamtdurchsatz zählt
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Die V100 stammt aus der Volta-Generation (2017). Das offizielle vLLM unterstützt diese Generation nicht mehr; für den Stapelbetrieb setzen wir eine auf die V100 optimierte vLLM-Variante ein. llama.cpp und Ollama unterstützen die Karte weiterhin. Welche Modelle mit welcher Quantisierung laufen, prüfen wir vor der Auslieferung für Ihren Anwendungsfall.

• Zahlenformate: Die V100 rechnet nativ in FP16, nicht in BF16 und nicht in FP8. Modelle werden deshalb in FP16 oder in 4-Bit-Formaten betrieben; sehr lange Kontexte und die Formate neuerer Karten unterstützt die Architektur nur eingeschränkt.
• Strom: Acht Karten mit je 250 W – unter Volllast liegt das System bei rund 2,5 kW und damit sicher im redundanten 2+2-Betrieb der vier Netzteile. Benötigt werden 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• Kühlung: Die V100 ist passiv gekühlt und auf den Luftstrom des Servergehäuses angewiesen – der 4029GP-TRT2 ist dafür ausgelegt.
• PCIe 3.0: Die PCIe-Variante der V100 hat keinen NVLink-Anschluss; die Karten tauschen Daten über PCIe 3.0 aus. Für Inferenz ist das tragfähig, für das Training großer Modelle weniger.
• Arbeitsspeicher: Die vier Module belegen nur einen Teil der zwölf Speicherkanäle. Für Modelle, die vollständig im Grafikspeicher liegen, spielt das keine Rolle. Wer Modellteile in den Arbeitsspeicher auslagern will, sollte aufrüsten; 20 Steckplätze sind frei, mit den verbauten CPUs sind bis zu 2 TB möglich.
• Datenträger: Für häufig wechselnde große Modelle empfiehlt sich zusätzlich eine NVMe-SSD, damit Modelle schneller geladen werden.
• Aufstellung: Gehäusetiefe 737 mm. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Kleinere Variante: Den Server gibt es auch mit 8× V100 16 GB (128 GB Grafikspeicher) – günstiger, für Modelle bis rund 180 Mrd. Parameter.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.