vLLM Project
Open-Source-Projekt für LLM-Inferenz, entstanden im Sky Computing Lab der UC Berkeley – heute unter dem Dach der PyTorch Foundation.
Profil
vLLM entstand 2023 im Sky Computing Lab der University of California, Berkeley, und wird seither von einer breiten Community aus Industrie und Forschung weiterentwickelt. Das Projekt ist der PyTorch Foundation angegliedert.
Produktstrategie
Der gesamte Code steht unter Apache-2.0. Es gibt keinen kommerziellen Dienst des Projekts selbst; verwaltete Angebote stammen von Dritten, die vLLM als Inferenz-Engine einsetzen.
Einordnung
vLLM ist der De-facto-Standard für den Betrieb offener Modelle auf eigener GPU-Hardware, insbesondere dort, wo mehrere Anfragen gleichzeitig bedient werden müssen.
Software von vLLM Project
vLLM
KI & AssistentenInferenz-Server für offene Sprachmodelle auf eigener GPU-Hardware – ausgelegt auf viele gleichzeitige Anfragen, mit OpenAI-kompatibler Schnittstelle.