2X3090 AI Workstation

Überblick

Die günstige Variante für ernsthafte lokale Inferenz mit CUDA: zwei RTX 3090 mit zusammen 48 GB Grafikspeicher, 128 GB Arbeitsspeicher, 12 Kerne mit 24 Threads und 2 TB NVMe. Die Workstation kommt betriebsbereit — Linux, Treiber, Inferenz-Server und Weboberfläche sind eingerichtet und getestet. Basis ist geprüfte, wiederaufbereitete Hardware; der Preisvorteil gegenüber einem Neugerät liegt bei einem Vielfachen.

Nutzen

• Sprachmodelle und Agenten laufen im eigenen Haus — ohne Tokenabrechnung und ohne Datenabfluss.
• 48 GB Grafikspeicher reichen für die Modellklasse, mit der die meisten Unternehmensaufgaben gelöst werden.
• CUDA-Ökosystem: vLLM, Ollama, llama.cpp, Feintuning mit LoRA und Bildmodelle laufen ohne Umwege.
• Kein Projektaufwand vor dem ersten Nutzen — die Basis-Einrichtung ist im Preis enthalten.

Technische Daten

Was hineinpasst

Modellklasse	Quantisierung	Passt in 48 GB	Typischer Einsatz
bis 14 Mrd. Parameter	8-Bit	komfortabel, langer Kontext	Klassifikation, Extraktion, Zusammenfassungen
24–32 Mrd. Parameter	4-Bit	komfortabel	Dokumentenfragen, Agenten, Codeunterstützung
MoE-Modelle um 30 Mrd.	4-Bit	komfortabel, hohe Geschwindigkeit	schnelle Agenten mit vielen Zwischenschritten
70 Mrd. Parameter	4-Bit	knapp, kurzer Kontext	anspruchsvolle Textarbeit, einzelne Anfragen

Richtwerte: Der tatsächliche Bedarf hängt von Kontextlänge und der Zahl paralleler Anfragen ab — beides belegt zusätzlichen Grafikspeicher.

Was die Basis-Einrichtung umfasst

Für wen geeignet

• Erster eigener Inferenzknoten, wenn das Budget einen Serverkauf noch nicht trägt
• Entwicklungs- und Testsystem neben einer bestehenden Cloud-Nutzung
• Agentische Workflows, die dauerhaft laufen und in der Cloud laufende Kosten erzeugen würden
• Arbeitsplätze mit vertraulichen Daten, die das Haus nicht verlassen dürfen

Gut zu wissen

Hinweis: Die RTX 3090 ist eine Consumer-Karte ohne ECC-Speicher und ohne Herstellergarantie für Dauerlast im Serverbetrieb. Für Entwicklung, Team-Assistenten und Agenten ist das der übliche und bewährte Weg. Für einen 24/7-Produktivbetrieb mit Zusagen zur Verfügbarkeit empfehlen wir professionelle Karten.

• Unter Volllast liegt die Leistungsaufnahme bei etwa 1 kW — ein eigener, ausreichend abgesicherter Stromkreis ist sinnvoll.
• Die Karten arbeiten über PCIe zusammen; eine NVLink-Brücke lässt sich ergänzen und beschleunigt die Verteilung eines Modells über beide GPUs.
• Ältere GPU-Generation: Sehr lange Kontexte und die Formate neuerer Karten (etwa FP4) unterstützt die Architektur nicht.
• Aufrüstung später möglich — Arbeitsspeicher und Datenträger sind nicht ausgereizt.