AI Server – Supermicro - 8XV100-16GB

Überblick

Ein GPU-Server mit acht NVIDIA Tesla V100 mit je 16 GB – Rechenzentrumskarten, die für den Dauerbetrieb gebaut wurden. Zusammen stehen 128 GB HBM2-Grafikspeicher mit ECC zur Verfügung, dazu zwei Xeon Platinum 8260Y mit 48 Kernen und 256 GB Arbeitsspeicher in einem Supermicro SuperServer 4029GP-TRT2. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik und ein preiswerter Einstieg in eigene KI-Inferenz.

Nutzen

• Rechenzentrumskarten statt Consumer-Hardware: passiv gekühlt, ECC-geschützter Speicher, ausgelegt auf 24/7-Last.
• Mittelgroße und große Modelle im eigenen Haus: 128 GB Grafikspeicher reichen für MoE-Modelle bis rund 180 Mrd. Parameter in 4-Bit oder 70-Mrd.-Modelle in 8-Bit.
• Mehrere kleinere Dienste auf einer Maschine: Sprachmodell, Embedding-Modell und Spracherkennung können auf getrennten GPU-Gruppen laufen.
• Moderater Stromverbrauch: Mit 250 W je Karte bleibt das System auch unter Volllast deutlich innerhalb des redundanten Netzteilbetriebs.
• Ausbaureserve: Zwei der zehn GPU-Steckplätze bleiben frei.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
70 Mrd. Parameter	8-Bit	8 GPUs, mittlerer Kontext	hohe Ausgabequalität für anspruchsvolle Textarbeit
70 Mrd. Parameter	4-Bit	4–8 GPUs	Team-Assistent mit parallelen Anfragen
MoE-Modelle um 120 Mrd.	4-Bit	8 GPUs	schnelle Agenten, Codeunterstützung
MoE-Modelle um 180 Mrd.	4-Bit	8 GPUs, kürzerer Kontext	vielseitige Modelle mit Bildverständnis
Modelle bis ca. 30 Mrd.	8-Bit	je 2–4 GPUs	mehrere Dienste parallel, z. B. Sprachmodell und Embeddings

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell eine einzelne Antwort entsteht und wie viele Token der Server insgesamt liefert, wenn viele Anfragen gleichzeitig eintreffen. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle auf diesem Server.

Einzelne Anfrage

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – nicht die Gesamtgröße.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Alle vier Modelle antworten damit deutlich schneller, als ein Mensch mitlesen kann.

Stapelbetrieb mit vLLM

vLLM bündelt gleichzeitige Anfragen und rechnet sie gemeinsam. Der Gesamtdurchsatz steigt dadurch um ein Vielfaches, während jede einzelne Antwort etwas langsamer wird. Mit 16 GB je Karte braucht ein Modell dieser Größe alle acht GPUs; die Abstimmung zwischen den Karten über PCIe 3.0 begrenzt dann den Gesamtdurchsatz.

Praktisch heißt das: Bei 32 gleichzeitigen Anfragen erhält jede Anfrage noch rund 8 bis 12 Token pro Sekunde – für Stapelaufgaben wie Dokumentenauswertung, Klassifikation oder Übersetzung ein Vielfaches des Einzelbetriebs. Für viele gleichzeitige Chat-Nutzer mit flüssigen Antworten bietet die 32-GB-Variante deutlich mehr Reserve.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die lokale KI-Inferenz auf robuster Rechenzentrumshardware mit überschaubarem Budget einführen wollen
• Teams, die Modelle bis rund 180 Mrd. Parameter betreiben oder mehrere kleinere Dienste auf einer Maschine bündeln
• Stapelverarbeitung von Dokumenten, bei der der Gesamtdurchsatz zählt
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Die V100 stammt aus der Volta-Generation (2017). Das offizielle vLLM unterstützt diese Generation nicht mehr; für den Stapelbetrieb setzen wir eine auf die V100 optimierte vLLM-Variante ein. llama.cpp und Ollama unterstützen die Karte weiterhin. Welche Modelle mit welcher Quantisierung laufen, prüfen wir vor der Auslieferung für Ihren Anwendungsfall.

• Zahlenformate: Die V100 rechnet nativ in FP16, nicht in BF16 und nicht in FP8. Modelle werden deshalb in FP16, 8-Bit oder 4-Bit-Formaten betrieben; sehr lange Kontexte und die Formate neuerer Karten unterstützt die Architektur nur eingeschränkt.
• Grafikspeicher: Mit 16 GB je Karte belegen Modelle ab rund 100 Mrd. Parametern alle acht GPUs. Für Modelle über 180 Mrd. Parameter oder zwei parallele Instanzen gibt es den Server auch mit 8× V100 32 GB (256 GB Grafikspeicher).
• Strom: Acht Karten mit je 250 W – unter Volllast liegt das System bei rund 2,5 kW und damit sicher im redundanten 2+2-Betrieb der vier Netzteile. Benötigt werden 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• Kühlung: Die V100 ist passiv gekühlt und auf den Luftstrom des Servergehäuses angewiesen – der 4029GP-TRT2 ist dafür ausgelegt.
• PCIe 3.0: Die PCIe-Variante der V100 hat keinen NVLink-Anschluss; die Karten tauschen Daten über PCIe 3.0 aus. Für Inferenz ist das tragfähig, für das Training großer Modelle weniger.
• Arbeitsspeicher: Die vier Module belegen nur einen Teil der zwölf Speicherkanäle. Für Modelle, die vollständig im Grafikspeicher liegen, spielt das keine Rolle. Wer Modellteile in den Arbeitsspeicher auslagern will, sollte aufrüsten; 20 Steckplätze sind frei, mit den verbauten CPUs sind bis zu 2 TB möglich.
• Datenträger: Für häufig wechselnde große Modelle empfiehlt sich zusätzlich eine NVMe-SSD, damit Modelle schneller geladen werden.
• Aufstellung: Gehäusetiefe 737 mm. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.