vllm
Un moteur d'inférence et de service à haut débit et efficace en mémoire pour les LLMs
Depuis le README
uv pip install vllm
- State-of-the-art serving throughput
- Efficient management of attention key and value memory with PagedAttention
- Continuous batching of incoming requests, chunked prefill, prefix caching
- Fast and flexible model execution with piecewise and full CUDA/HIP graphs
Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentUn moteur d'inférence et de service à haut débit et efficace en mémoire pour les LLMs
vllm compte 90.5k étoiles sur GitHub. Il a été forké 21.4k fois. vllm est écrit principalement en Python. Il est développé activement depuis 2023. vllm est disponible sous licence Apache-2.0. Ses principaux thèmes sont : amd, blackwell, cuda, deepseek.
Read the full guideQu'est-ce que vllm ?
Un moteur d'inférence et de service à haut débit et efficace en mémoire pour les LLMs
vllm est-il open source ?
vllm est un projet open source. Il est distribué sous licence Apache-2.0.
vllm est-il gratuit ?
Oui. vllm est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est vllm ?
vllm est disponible sous licence Apache-2.0.
Dans quel langage vllm est-il écrit ?
vllm est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/vllm-project-vllm.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.