llama.cpp

Wofür

llama.cpp führt offene Sprachmodelle ohne Python-Umgebung und ohne Abhängigkeit von einem bestimmten Hardwarehersteller aus. Die Engine ist in C/C++ geschrieben und läuft auf CPUs, auf NVIDIA-, AMD- und Intel-GPUs, auf Apple Silicon sowie auf ARM-Geräten. Grundlage ist die Quantisierung: Modelle werden im Format GGUF so verkleinert, dass sie in den Arbeits- oder Grafikspeicher gewöhnlicher Rechner passen.

Damit ist llama.cpp der Motor unter vielen Anwendungen für lokale KI — Ollama, LM Studio, Unsloth Studio und zahlreiche weitere setzen darauf auf.

Typische Einsatzgebiete

• Offene Modelle auf einem Arbeitsplatzrechner oder Notebook betreiben, auch ohne dedizierte GPU
• Kleiner Inferenz-Server für ein Team auf vorhandener Hardware
• Betrieb in Umgebungen ohne Internetverbindung
• Modelle auf Edge-Geräten und Industrie-PCs nahe an der Maschine
• Aufteilung eines Modells auf GPU und CPU, wenn der Grafikspeicher nicht ausreicht

Datenschutz & Betrieb

llama.cpp läuft vollständig lokal; es gibt keinen gehosteten Dienst und keine Datenübertragung. Der Code steht unter der MIT-Lizenz. Fertige Programmpakete gibt es für Windows, macOS und Linux sowie als Container.

Das Entwicklerteam ist im Februar 2026 zu Hugging Face gewechselt, das Projekt bleibt nach Angaben beider Seiten quelloffen und eigenständig geführt. NVIDIA hat Ende August 2026 angekündigt, Hugging Face zu übernehmen.

Integration & Automatisierung

Der mitgelieferte llama-server stellt eine OpenAI-kompatible Schnittstelle bereit, dazu eine einfache Weboberfläche. Anwendungen wie Open WebUI oder Automatisierungen in n8n lassen sich damit direkt anbinden. Modelle im GGUF-Format werden in großer Zahl auf Hugging Face angeboten; für die Einbindung in eigene Programme gibt es Bindings für Python, Go, Rust, Node.js und weitere Sprachen.

Im Vergleich zu vLLM liegt der Schwerpunkt auf Genügsamkeit und breiter Hardwareunterstützung, weniger auf maximalem Durchsatz bei vielen gleichzeitigen Nutzern.