AI Sub-Agent Server – GIGABYTE 8XV100-32

Überblick

Ein Worker-Knoten für agentische Systeme: Ein übergeordneter Agent – auf einem großen Modell im eigenen Haus oder in der Cloud – zerlegt Aufgaben und verteilt Teilschritte wie Recherche, Extraktion, Prüfung oder Tool-Aufrufe an viele kleinere Sub-Agenten. Dieser Server stellt dafür acht NVIDIA Tesla V100 mit je 32 GB bereit, auf denen acht Modelle unabhängig voneinander laufen. Dazu kommen ein AMD EPYC 7352 mit 24 Kernen, 256 GB Arbeitsspeicher und gespiegelter NVMe-Modellspeicher in einem GIGABYTE G431-MM1. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik.

Nutzen

• Acht Worker in einem Gehäuse: Jede GPU betreibt ihr eigenes Modell. Viele Sub-Agenten arbeiten gleichzeitig, ohne sich gegenseitig auszubremsen.
• Freie Modellwahl je Worker: etwa ein schnelles Modell für Tool-Aufrufe, eines für Extraktion, ein Embedding-Modell und eine Spracherkennung – nebeneinander auf derselben Maschine.
• Keine Tokenkosten für Teilschritte: Gerade Sub-Agenten erzeugen viele Zwischenschritte. Lokal kostet jeder davon nur Strom.
• Rechenzentrumskarten: passiv gekühlt, ECC-geschützter Speicher, ausgelegt auf 24/7-Last.
• Reserven für die Agenten-Umgebung: 24 Prozessorkerne und acht voll bestückte Speicherkanäle für Tool-Ausführung, Container und Code-Sandboxes neben der Inferenz.

Technische Daten

Was hineinpasst

Ausgelegt ist der Server auf ein Modell je GPU. Mit 32 GB je Karte passen dort die kompakten Modelle, die sich für Sub-Agenten besonders eignen – schnell, günstig im Betrieb und stark bei Tool-Aufrufen.

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
MoE-Modelle um 20–35 Mrd.	4-Bit	1 GPU je Worker	Sub-Agenten mit Tool-Aufrufen, Recherche, Codeprüfung
dichte Modelle bis ca. 30 Mrd.	4-Bit	1 GPU je Worker	Teilaufgaben mit höherem Qualitätsanspruch
Modelle bis ca. 14 Mrd.	8-Bit oder FP16	1 GPU je Worker	Klassifikation, Routing, Extraktion
Embedding, Reranker, Spracherkennung	FP16	1 GPU, mehrere Dienste	Suche in Dokumenten, Transkription
größere Modelle um 70–120 Mrd.	4-Bit	2–3 GPUs	möglich, aber nur für einzelne Anfragen sinnvoll

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell ein einzelner Worker antwortet und wie viele Token der gesamte Knoten liefert, wenn alle acht Worker gleichzeitig ausgelastet sind. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle.

Einzelne Anfrage je Worker

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – kompakte MoE-Modelle antworten deshalb auch auf der V100 sehr schnell.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Für Sub-Agenten zählt jedoch weniger das Mitlesen als die Zahl der Zwischenschritte je Minute – hier spielen die kompakten MoE-Modelle ihre Stärke aus.

Gesamtdurchsatz des Knotens

Jeder der acht Worker bündelt seine gleichzeitigen Anfragen mit vLLM. Da die Worker unabhängig voneinander rechnen, addiert sich ihr Durchsatz nahezu vollständig.

Praktisch heißt das: Der Knoten bedient 64 gleichzeitig arbeitende Sub-Agenten, von denen jeder noch 20 bis 30 Token pro Sekunde erhält – bei kompakten MoE-Modellen genug für zügige Tool-Aufrufe und Zwischenschritte.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die agentische Workflows mit vielen parallelen Teilschritten betreiben – etwa Recherche-, Prüf- oder Dokumenten-Pipelines
• Teams, deren Orchestrator-Agent Teilaufgaben an günstige lokale Modelle abgeben soll, statt jeden Schritt über eine Cloud-API abzurechnen
• Entwicklungsteams, die mehrere Modelle nebeneinander testen und vergleichen möchten
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Jede GPU ist über PCIe 3.0 mit nur einer Lane angebunden – das Gehäuse stammt aus einer Baureihe, die für viele unabhängig rechnende Karten ausgelegt ist. Für ein Modell je GPU spielt das keine Rolle, denn während der Inferenz fließen kaum Daten über den Bus. Ein großes Modell über mehrere Karten zu verteilen, ist dagegen nur für einzelne Anfragen sinnvoll. Für große Einzelmodelle eignet sich der 8X V100 32GB AI Server mit voller PCIe-Anbindung.

• Modelle laden: Über die schmale Anbindung dauert das Laden eines Modells in die GPU länger – bei 20 GB rund eine halbe Minute. Im laufenden Betrieb bleibt das Modell im Grafikspeicher.
• V100 und Software: Die V100 stammt aus der Volta-Generation (2017). Das offizielle vLLM unterstützt diese Generation nicht mehr; wir setzen eine auf die V100 optimierte vLLM-Variante ein. llama.cpp und Ollama unterstützen die Karte weiterhin. Welche Modelle mit welcher Quantisierung laufen, prüfen wir vor der Auslieferung.
• Zahlenformate: Die V100 rechnet nativ in FP16, nicht in BF16 und nicht in FP8. Modelle laufen in FP16, 8-Bit oder 4-Bit-Formaten.
• Strom: Acht Karten mit je 250 W, dazu Prozessor und Laufwerke – unter Volllast liegt das System bei rund 2,3 kW. Die drei 1600-W-Netzteile tragen das auch bei Ausfall eines Netzteils. Benötigt werden 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• Netzwerk: Onboard stehen 2× 1 GbE zur Verfügung. Für die Kommunikation mit Sub-Agenten reicht das, da nur Text übertragen wird.
• Kühlung: Die V100 ist passiv gekühlt und auf den Luftstrom des Servergehäuses angewiesen.
• Aufstellung: 4 HE Rackmaß. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.