Ressourcen

Software

Werkzeuge, mit denen Unternehmen arbeiten — eingeordnet mit Hersteller, Lizenz und Einsatzgebiet.

vLLM

vLLM Project

Inferenz-Server für offene Sprachmodelle auf eigener GPU-Hardware – ausgelegt auf viele gleichzeitige Anfragen, mit OpenAI-kompatibler Schnittstelle.