KVCache.AI
Forschungsprojekt der Tsinghua-Universität (MADSys) zusammen mit Approaching.AI – veröffentlicht mit KTransformers offene Optimierungen für heterogene LLM-Inferenz.
Profil
KVCache.AI ist ein Gemeinschaftsprojekt der MADSys-Gruppe der Tsinghua-Universität und des Unternehmens Approaching.AI. Im Zentrum steht die Frage, wie sich große Mixture-of-Experts-Modelle auf Hardware betreiben lassen, deren GPU-Speicher für das Modell eigentlich nicht ausreicht.
Produktstrategie
Die Ergebnisse erscheinen als offener Quellcode auf GitHub, bekanntestes Projekt ist KTransformers. Es gibt kein kommerzielles Produkt und keinen gehosteten Dienst.
Einordnung
Relevant für alle, die sehr große offene Modelle auf einzelnen Servern mit wenigen GPUs und viel Systemspeicher betreiben wollen.
Software von KVCache.AI
KTransformers
KI & AssistentenInferenz-Framework, das sehr große Mixture-of-Experts-Modelle auf wenige GPUs und viel Systemspeicher verteilt – lokal betreibbar statt im Rechenzentrum.