MLX

Wofür

MLX ist ein Framework für maschinelles Lernen aus der Forschungsabteilung von Apple. Es ist auf die Architektur von Apple Silicon zugeschnitten: CPU und GPU greifen auf denselben gemeinsamen Arbeitsspeicher (Unified Memory) zu, sodass Daten nicht zwischen getrennten Speichern kopiert werden müssen. Ein Mac mit viel Arbeitsspeicher kann dadurch Modelle laden, die auf einer einzelnen Grafikkarte keinen Platz hätten.

Für den Einsatz mit Sprachmodellen ist vor allem das Zusatzpaket mlx-lm relevant, das Modelle von Hugging Face lädt, quantisiert, ausführt und feinabstimmt.

Typische Einsatzgebiete

• Offene Sprachmodelle schnell und energiesparend auf Mac Studio, Mac mini oder MacBook Pro betreiben
• Feinabstimmung kleinerer Modelle direkt auf dem Mac (LoRA)
• Quantisierte MLX-Modelle als Alternative zu GGUF, wenn ausschließlich Apple-Hardware im Einsatz ist
• Grundlage für verteilte Inferenz über mehrere Macs, etwa mit exo
• Forschung und Prototypen mit einer an NumPy angelehnten Programmierschnittstelle

Datenschutz & Betrieb

MLX läuft ausschließlich lokal auf macOS mit Apple Silicon; eine Linux-Variante mit CUDA-Unterstützung befindet sich in Entwicklung. Es gibt keinen Dienst und keine Datenübertragung an Apple. Der Code steht unter der MIT-Lizenz.

Integration & Automatisierung

Die Programmierschnittstellen gibt es für Python, Swift, C und C++. mlx-lm bringt einen Server mit OpenAI-kompatibler Schnittstelle mit, sodass sich Open WebUI, n8n oder eigene Anwendungen anbinden lassen. Zahlreiche Modelle stehen in der Community-Sammlung mlx-community auf Hugging Face bereits konvertiert und quantisiert zur Verfügung; auch LM Studio und Unsloth Studio können MLX-Modelle ausführen.