Mac Studio M3 Ultra

Überblick

Der Mac Studio mit M3 Ultra ist die kompakteste Art, große Sprachmodelle lokal zu betreiben. 96 GB Unified Memory stehen CPU, GPU und Neural Engine gemeinsam zur Verfügung — Modelle, für die sonst mehrere Grafikkarten nötig wären, laufen hier in einem Gerät von der Größe eines Schuhkartons, leise und mit geringem Stromverbrauch.

Nutzen

• Große Modelle auf kleinem Raum: 96 GB gemeinsamer Speicher statt begrenztem Grafikspeicher.
• 819 GB/s Speicherbandbreite — der entscheidende Wert für die Geschwindigkeit der Textausgabe.
• Bürotauglich: leise, kühl, deutlich sparsamer als eine GPU-Workstation vergleichbarer Speichergröße.
• Sofort einsatzbereit und im Alltag als vollwertiger Arbeitsplatzrechner nutzbar.

Technische Daten

Für wen geeignet

• Einzelarbeitsplätze und kleine Teams, die ein großes Modell lokal betreiben wollen
• Kanzleien, Praxen und Beratungen ohne Serverraum und ohne IT-Abteilung
• Entwicklung und Erprobung von Agenten, bevor sie auf größere Hardware wandern
• Zweitgerät neben einer GPU-Workstation, wenn Speichergröße wichtiger ist als reine Rechenleistung

Gut zu wissen

Hinweis: Von den 96 GB Unified Memory stehen standardmäßig rund drei Viertel für Modellgewichte zur Verfügung; die Grenze lässt sich in macOS anheben. Modelle bis etwa 70 Mrd. Parameter in 4-Bit-Quantisierung laufen damit, MoE-Modelle entsprechend größer.

• Apple Silicon nutzt kein CUDA. Die gängigen lokalen Werkzeuge — MLX, llama.cpp, LM Studio, Ollama und Open WebUI — laufen, einzelne auf CUDA ausgelegte Bibliotheken jedoch nicht.
• Die Verarbeitung sehr langer Eingaben ist langsamer als auf NVIDIA-GPUs; die Textausgabe selbst ist dank der Speicherbandbreite zügig.
• Feintuning ist in kleinem Rahmen möglich (LoRA mit MLX), Training großer Modelle ist nicht das Einsatzfeld.
• Der Arbeitsspeicher ist fest verlötet und später nicht erweiterbar — die Ausbaustufe muss beim Kauf passen.
• Auf Wunsch richten wir die Inferenz-Umgebung vor der Auslieferung ein: MLX, LM Studio bzw. llama.cpp, Open WebUI und die Anbindung an ein API-Gateway.