vLLM
vLLM ProjectInferenz-Server für offene Sprachmodelle auf eigener GPU-Hardware – ausgelegt auf viele gleichzeitige Anfragen, mit OpenAI-kompatibler Schnittstelle.
Ressourcen
Werkzeuge, mit denen Unternehmen arbeiten — eingeordnet mit Hersteller, Lizenz und Einsatzgebiet.
Inferenz-Server für offene Sprachmodelle auf eigener GPU-Hardware – ausgelegt auf viele gleichzeitige Anfragen, mit OpenAI-kompatibler Schnittstelle.