AI Sub-Agent Server – GIGABYTE 8XV100-16

Überblick

Ein Worker-Knoten für agentische Systeme: Ein übergeordneter Agent – auf einem großen Modell im eigenen Haus oder in der Cloud – zerlegt Aufgaben und verteilt Teilschritte wie Recherche, Extraktion, Prüfung oder Tool-Aufrufe an viele kleinere Sub-Agenten. Dieser Server stellt dafür acht NVIDIA Tesla V100 mit je 16 GB bereit. Kompakte Modelle laufen auf je einer Karte, größere auf einem Kartenpaar – so entstehen vier bis acht unabhängige Worker. Dazu kommen ein AMD EPYC 7352 mit 24 Kernen, 256 GB Arbeitsspeicher und gespiegelter NVMe-Modellspeicher in einem GIGABYTE G431-MM1. Das System ist geprüfte, wiederaufbereitete Rechenzentrumstechnik.

Nutzen

• Bis zu acht Worker in einem Gehäuse: Jede GPU oder jedes GPU-Paar betreibt sein eigenes Modell. Viele Sub-Agenten arbeiten gleichzeitig, ohne sich gegenseitig auszubremsen.
• Freie Modellwahl je Worker: etwa ein schnelles Modell für Tool-Aufrufe, eines für Extraktion, ein Embedding-Modell und eine Spracherkennung – nebeneinander auf derselben Maschine.
• Flexibel aufteilbar: Kleine Modelle belegen eine Karte, Modelle um 30 Mrd. Parameter ein Kartenpaar. Beides lässt sich im selben Server mischen.
• Keine Tokenkosten für Teilschritte: Gerade Sub-Agenten erzeugen viele Zwischenschritte. Lokal kostet jeder davon nur Strom.
• Rechenzentrumskarten: passiv gekühlt, ECC-geschützter Speicher, ausgelegt auf 24/7-Last.
• Reserven für die Agenten-Umgebung: 24 Prozessorkerne und acht voll bestückte Speicherkanäle für Tool-Ausführung, Container und Code-Sandboxes neben der Inferenz.

Technische Daten

Was hineinpasst

Mit 16 GB je Karte passen auf eine GPU kompakte Modelle bis etwa 20 Mrd. Parameter – schnell, günstig im Betrieb und für viele Sub-Agent-Rollen ausreichend. Modelle um 30 Mrd. Parameter belegen zwei Karten; der Server arbeitet dann mit vier Workern.

Modellklasse	Quantisierung	Verteilung	Typischer Einsatz
MoE-Modelle bis ca. 21 Mrd.	4-Bit	1 GPU je Worker	Sub-Agenten mit Tool-Aufrufen, Recherche
dichte Modelle bis ca. 14 Mrd.	4-Bit	1 GPU je Worker	Extraktion, Zusammenfassung, Codeprüfung
Modelle bis ca. 8 Mrd.	8-Bit	1 GPU je Worker	Klassifikation, Routing
Embedding, Reranker, Spracherkennung	FP16	1 GPU, mehrere Dienste	Suche in Dokumenten, Transkription
MoE-Modelle um 25–35 Mrd., dichte bis ca. 30 Mrd.	4-Bit	2 GPUs je Worker	Teilaufgaben mit höherem Qualitätsanspruch
größere Modelle um 70–120 Mrd.	4-Bit	4–6 GPUs	möglich, aber nur für einzelne Anfragen sinnvoll

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab – beides belegt zusätzlichen Grafikspeicher. Bei Modellen, die eine Karte fast füllen, bleibt entsprechend weniger Platz für lange Kontexte und viele gleichzeitige Anfragen.

Geschätzte Geschwindigkeit

Zwei Kennzahlen sind entscheidend: wie schnell ein einzelner Worker antwortet und wie viele Token der gesamte Knoten liefert, wenn alle acht GPUs gleichzeitig ausgelastet sind. Die folgenden Werte sind Schätzungen für aktuelle offene Modelle.

Einzelne Anfrage je Worker

Bei MoE-Modellen bestimmen vor allem die aktiven Parameter je Token das Tempo – kompakte MoE-Modelle antworten deshalb auch auf der V100 sehr schnell. Modelle auf einem Kartenpaar werden schichtweise verteilt: Jede Karte rechnet ihren Teil, das Tempo bleibt nahezu so hoch wie auf einer einzelnen, ausreichend großen Karte.

Zum Vergleich: Ein flüssiger Lesefluss liegt bei etwa 10 bis 15 Token pro Sekunde. Für Sub-Agenten zählt jedoch weniger das Mitlesen als die Zahl der Zwischenschritte je Minute – hier spielen die kompakten MoE-Modelle ihre Stärke aus.

Gesamtdurchsatz des Knotens

Jeder Worker bündelt seine gleichzeitigen Anfragen. Da die Worker unabhängig voneinander rechnen, addiert sich ihr Durchsatz nahezu vollständig. Die Zahl gleichzeitiger Sub-Agenten richtet sich danach, wie viel Grafikspeicher neben dem Modell frei bleibt.

Praktisch heißt das: Mit kompakten Modellen auf je einer Karte bedient der Knoten 32 bis 64 gleichzeitig arbeitende Sub-Agenten mit jeweils 15 bis 40 Token pro Sekunde. Wer die Qualität eines Modells um 30 Mrd. Parameter braucht, fasst je zwei Karten zusammen und betreibt rund 32 Sub-Agenten mit etwa 20 Token pro Sekunde. Beide Varianten lassen sich mischen – etwa vier schnelle Tool-Worker neben zwei Kartenpaaren für anspruchsvollere Teilaufgaben.

Einrichtung

Auf Wunsch liefern wir den Server betriebsbereit aus:

Für wen geeignet

• Unternehmen, die agentische Workflows mit vielen parallelen Teilschritten betreiben – etwa Recherche-, Prüf- oder Dokumenten-Pipelines
• Teams, deren Orchestrator-Agent Teilaufgaben an günstige lokale Modelle abgeben soll, statt jeden Schritt über eine Cloud-API abzurechnen
• Entwicklungsteams, die mehrere Modelle nebeneinander testen und vergleichen möchten
• Standorte mit Rack, Klimatisierung und einer Stromversorgung für mehrere Kilowatt Dauerlast

Gut zu wissen

Hinweis: Jede GPU ist über PCIe 3.0 mit nur einer Lane angebunden – das Gehäuse stammt aus einer Baureihe, die für viele unabhängig rechnende Karten ausgelegt ist. Für ein Modell je GPU spielt das keine Rolle, denn während der Inferenz fließen kaum Daten über den Bus. Auch die schichtweise Verteilung auf ein Kartenpaar funktioniert, weil je Token nur wenige Kilobyte zwischen den Karten wandern. Ein großes Modell über viele Karten zu verteilen, ist dagegen nur für einzelne Anfragen sinnvoll. Für mehr Grafikspeicher je Worker eignet sich der AI Sub-Agent Server mit 8× V100 32 GB, für große Einzelmodelle der 8X V100 32GB AI Server mit voller PCIe-Anbindung.

• 16 GB je Karte: Modelle, die eine Karte fast füllen – etwa gpt-oss 20B –, lassen wenig Platz für Kontext. Für lange Dokumente oder viele parallele Anfragen je Worker empfehlen wir ein kleineres Modell oder ein Kartenpaar.
• Modelle laden: Über die schmale Anbindung dauert das Laden eines Modells in die GPU länger – bei 13 GB rund 15 bis 20 Sekunden. Im laufenden Betrieb bleibt das Modell im Grafikspeicher.
• V100 und Software: Die V100 stammt aus der Volta-Generation (2017). Das offizielle vLLM unterstützt diese Generation nicht mehr; wir setzen eine auf die V100 optimierte vLLM-Variante ein. llama.cpp und Ollama unterstützen die Karte weiterhin. Welche Modelle mit welcher Quantisierung laufen, prüfen wir vor der Auslieferung.
• Zahlenformate: Die V100 rechnet nativ in FP16, nicht in BF16 und nicht in FP8. Modelle laufen in FP16, 8-Bit oder 4-Bit-Formaten.
• Strom: Acht Karten mit je 250 W, dazu Prozessor und Laufwerke – unter Volllast liegt das System bei rund 2,3 kW. Die drei 1600-W-Netzteile tragen das auch bei Ausfall eines Netzteils. Benötigt werden 230 V und eine ausreichend abgesicherte Rack-Stromverteilung.
• Netzwerk: Onboard stehen 2× 1 GbE zur Verfügung. Für die Kommunikation mit Sub-Agenten reicht das, da nur Text übertragen wird.
• Kühlung: Die V100 ist passiv gekühlt und auf den Luftstrom des Servergehäuses angewiesen.
• Aufstellung: 4 HE Rackmaß. Lautstärke und Abwärme liegen auf Serverniveau – eine Aufstellung im Büro ist nicht vorgesehen.
• Gebrauchtgerät: Zustand geprüft, Garantieumfang nach Absprache.