KTransformers
Open-Source-Framework für lokale LLM-Inferenz und Fine-Tuning mit CPU/GPU-Heterogeneous-Computing – große Modelle auf einzelner Consumer-GPU.
Überblick
KTransformers ist ein Open-Source-Framework für die lokale Ausführung großer Sprachmodelle. Es kombiniert CPU- und GPU-Ressourcen (heterogenes Rechnen) und nutzt den vergleichsweise günstigen CPU-Arbeitsspeicher, um Modelle mit über 100 Milliarden Parametern auf einer einzelnen Consumer-GPU zu betreiben. Entwickelt wird das Projekt von KVCache.AI (APPROACHING.AI).
Nutzen
- Betrieb sehr großer Modelle (100B+ Parameter) auf einer einzelnen RTX 5090 mit 32 GB VRAM – ohne teuren Multi-GPU-Cluster.
- Volle Modellpräzision ohne zwingende Quantisierung, wodurch die ursprüngliche Ausgabequalität erhalten bleibt.
- Deutlich reduzierte Hardwarekosten für lokale Inferenz und Fine-Tuning durch Auslagerung auf CPU-Speicher und -Rechenleistung.
- Datensouveränität durch vollständig lokalen Betrieb.
Funktionen
- Heterogenes Rechnen über CPU, GPU und weitere Beschleuniger.
- Voll-Präzisions-Inferenz ohne erzwungene Quantisierung.
- Vollständige Toolchain von Inferenz bis Fine-Tuning (Low-VRAM-Full-Parameter-Fine-Tuning für 100B+-Modelle auf Consumer-GPUs).
- Unterstützung gängiger Modellfamilien wie DeepSeek, Kimi, GLM, Qwen und MiniMax.
- GPU-Inferenz auf Basis von SGLang.
Für wen geeignet
Entwicklerinnen und Entwickler sowie Unternehmen, die große Modelle lokal auf zugänglicher Hardware betreiben möchten – etwa für datenschutzsensible On-Premise-Szenarien oder zur Kostenreduktion gegenüber Cloud-Inferenz.
Gut zu wissen
- Lizenz: Open Source, verfügbar über GitHub (kvcache-ai/ktransformers).
- Python-zentriertes Framework; erfordert eine passende CPU/GPU-Konfiguration mit ausreichend Arbeitsspeicher.
- Referenz-Benchmark (MiniMax-M2.1, FP8, 32K-Kontext): rund 2.540 Tokens/s Prefill und 27,6 Tokens/s Decode auf 1× RTX 5090 (32 GB) mit 2× AMD EPYC 9355 – etwa 4,5× schnelleres Prefill gegenüber llama.cpp (Q8_0).
Hinweis: Die genannten Kennzahlen stammen vom Anbieter und dienen der Orientierung. Reale Werte hängen stark von Modell, Kontextlänge und Hardware ab.