AI Server – HPE ProLiant DL580 G9 8X3080-20

Überblick

Ein Vier-Sockel-Server als preiswerte Basis für eigene KI-Inferenz: sechs NVIDIA RTX 3080 mit je 20 GB und zusammen 120 GB Grafikspeicher, vier Xeon-E7-Prozessoren und 512 GB Arbeitsspeicher in einem HPE ProLiant DL580 Gen9. Die Modelle liegen auf einem schnellen SSD-Verbund. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik.

Nutzen

• Niedrige Einstiegskosten: Ein Vier-Sockel-System dieser Klasse kostet gebraucht einen Bruchteil eines vergleichbaren Neugeräts.
• 120 GB Grafikspeicher für Modelle bis rund 180 Mrd. Parameter in 4-Bit – ausreichend für die Modellklasse, mit der die meisten Unternehmensaufgaben gelöst werden.
• 1 TB Arbeitsspeicher: Modelle bleiben nach dem ersten Laden im Speicher und sind beim Wechsel sofort wieder verfügbar. Modelle, die den Grafikspeicher übersteigen, lassen sich teilweise in den Arbeitsspeicher auslagern.
• Schneller Modellspeicher: vier Enterprise-SSDs im RAID 10 mit rund 7,7 TB nutzbarer Kapazität – ein Modell mit 135 GB lädt in ein bis zwei Minuten.
• Servertechnik: 4 HE Rackmaß, vier Netzteile, HPE iLO-Fernwartung, Dauerbetrieb vorgesehen.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
70 Mrd. Parameter	8-Bit	6 GPUs, mittlerer Kontext	hohe Ausgabequalität für anspruchsvolle Textarbeit
70 Mrd. Parameter	4-Bit	4 GPUs	Team-Assistent mit parallelen Anfragen
MoE-Modelle um 120 Mrd.	4-Bit	4–6 GPUs	schnelle Agenten, Codeunterstützung
MoE-Modelle um 180 Mrd.	4-Bit	6 GPUs, kürzerer Kontext	vielseitige Modelle mit Bildverständnis
mehrere kleinere Modelle	8-Bit	je 1–2 GPUs	Sprachmodell, Embeddings und Spracherkennung parallel

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell eine einzelne Antwort entsteht und wie viele Token der Server insgesamt liefert, wenn viele Anfragen gleichzeitig eintreffen. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle auf diesem Server.

Einzelne Anfrage

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – nicht die Gesamtgröße.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Die vier Modelle, die vollständig in den Grafikspeicher passen, antworten deutlich schneller, als ein Mensch mitlesen kann.

Stapelbetrieb mit vLLM

vLLM bündelt gleichzeitige Anfragen und rechnet sie gemeinsam. Der Gesamtdurchsatz steigt dadurch um ein Vielfaches, während jede einzelne Antwort etwas langsamer wird. Im DL580 hängen die GPUs an unterschiedlichen Prozessoren; Daten zwischen den Karten laufen deshalb teilweise über die Verbindung zwischen den CPUs. Eine Aufteilung in Stufen (Pipeline) ist hier günstiger als die feine Verteilung jeder Rechenschicht über alle Karten.

Praktisch heißt das: Für ein Team mit einigen gleichzeitigen Nutzern und für Stapelaufgaben wie Dokumentenauswertung oder Klassifikation reicht die Leistung gut aus. Für Dutzende gleichzeitige Chat-Nutzer mit flüssigen Antworten sind die Supermicro-Server mit acht oder zehn GPUs die bessere Wahl.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die On-Premise-Inferenz erproben oder für ein Team einführen wollen, ohne in neue Hardware zu investieren
• Teams, die mehrere Modelle vorhalten und schnell zwischen ihnen wechseln – der große Arbeitsspeicher hält sie bereit
• Stapelverarbeitung von Dokumenten, bei der der Gesamtdurchsatz wichtiger ist als die Antwortzeit
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Die RTX 3080 ist eine Consumer-Karte ohne ECC-Speicher. Die hier verbauten 20-GB-Karten sind zudem nachträglich umgerüstete Varianten: Die ursprünglich 10 GB Grafikspeicher wurden durch größere Speicherchips auf 20 GB verdoppelt. Unter Linux und CUDA arbeiten sie zuverlässig, einen offiziellen Herstellersupport von NVIDIA gibt es für diese Konfiguration nicht. Deshalb prüfen wir jede Karte vor dem Einbau einzeln.

• Strom: Die GPUs laufen mit einem Power-Limit von rund 250 W je Karte – bei Inferenz kostet das kaum Geschwindigkeit. Unter Volllast liegt das System dann bei etwa 2,5 kW. Die volle Redundanz der vier 1500-W-Netzteile ist unter Dauervolllast nicht in jedem Fall gegeben.
• Vier Prozessoren: Alle vier Sockel sind bestückt – nur so sind alle PCIe-Steckplätze und Speicherkanäle nutzbar. Mehr Kerne bringen für die Inferenz wenig; die Prozessoren liefern vor allem Anbindung und Speicherkanäle.
• Verteilung über mehrere CPUs: Die GPUs hängen an unterschiedlichen Prozessoren und tauschen Daten über PCIe 3.0 und die Verbindung zwischen den CPUs aus. Für Inferenz ist das tragfähig, beim Verteilen eines Modells über viele Karten aber langsamer als in einem Server mit gemeinsamer PCIe-Struktur.
• Auslagerung in den Arbeitsspeicher: Modelle über 120 GB lassen sich teilweise aus dem Arbeitsspeicher betreiben. Die Xeon-E7-v4-Prozessoren (2016) unterstützen kein AVX-512 – das funktioniert, ist aber für den Alltag meist zu langsam.
• Plattformalter: Der Vorteil dieser Plattform liegt im Anschaffungspreis, nicht in Rechenleistung je Watt.
• Aufstellung: 4 HE, voll bestückt rund 50 kg. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.