KTransformers
KVCache.AIInferenz-Framework, das sehr große Mixture-of-Experts-Modelle auf wenige GPUs und viel Systemspeicher verteilt – lokal betreibbar statt im Rechenzentrum.
Ressourcen
Werkzeuge, mit denen Unternehmen arbeiten — eingeordnet mit Hersteller, Lizenz und Einsatzgebiet.
Inferenz-Framework, das sehr große Mixture-of-Experts-Modelle auf wenige GPUs und viel Systemspeicher verteilt – lokal betreibbar statt im Rechenzentrum.