exo

Wofür

exo legt den Arbeitsspeicher mehrerer Rechner zusammen und verteilt ein großes Sprachmodell darauf. Geräte im selben Netz finden sich automatisch; exo zerlegt das Modell passend zur jeweiligen Hardware und stimmt die Parameter selbst ab. Damit lassen sich offene Modelle mit mehreren hundert Milliarden Parametern betreiben, ohne einen GPU-Server anzuschaffen.

Besonders effizient ist die Kombination mehrerer Apple-Silicon-Macs: Über Thunderbolt 5 und RDMA tauschen die Geräte Daten mit sehr geringer Latenz aus. exo kann außerdem die Verarbeitung der Eingabe und die Erzeugung der Antwort auf unterschiedliche Geräte verteilen, je nachdem, welche Hardware für welchen Schritt besser geeignet ist.

Typische Einsatzgebiete

• Sehr große offene Modelle (etwa DeepSeek, Qwen oder Kimi in voller Größe) im eigenen Büro betreiben
• Vorhandene Macs zu einem gemeinsamen Inferenz-Dienst für ein Team bündeln
• Schrittweiser Ausbau: weitere Geräte hinzufügen, wenn größere Modelle gebraucht werden
• Lokale Alternative zu Cloud-APIs für vertrauliche Inhalte
• Test großer Modelle, bevor über dedizierte Server-Hardware entschieden wird

Datenschutz & Betrieb

exo läuft vollständig auf eigener Hardware; Modelle und Anfragen bleiben im lokalen Netz. Die macOS-Anwendung ist kostenfrei und setzt macOS Tahoe 26.2 oder neuer voraus, RDMA-Beschleunigung erfordert Macs mit Thunderbolt 5. Unter Linux wird exo aus dem Quellcode installiert. Der Code steht unter Apache-2.0; für den Einsatz in Unternehmen bietet EXO Labs Unterstützung auf Anfrage an.

Integration & Automatisierung

exo stellt Schnittstellen im Format der OpenAI Chat Completions, der Claude Messages API und von Ollama bereit. Bestehende Clients wie Open WebUI, n8n oder Coding-Agenten lassen sich dadurch ohne Anpassung auf den lokalen Cluster umstellen. Modelle werden direkt von Hugging Face geladen; die Verwaltung erfolgt über ein Dashboard, das den Zustand des Clusters anzeigt. Auf Apple-Hardware nutzt exo MLX als Rechenbasis.