Python

vLLM

Service à haut débit pour la production

par vllm-project · Apache-2.0

uv pip install vllm

Qu'est-ce que vLLM ?

vLLM est un moteur d'inférence et de service à haut débit utilisant PagedAttention pour maximiser l'utilisation du GPU, le choix par défaut pour servir des modèles ouverts à grande échelle.

Pourquoi les gens choisissent vLLM

• Débit de premier ordre via PagedAttention
• Serveur compatible OpenAI, large support de modèles
• La norme de facto pour le service en production

vLLM en un coup d'œil

Alternatives open-source à vLLM

Autres outils de serveur d'inférence open-source à comparer :

TGIServeur de texte en production de Hugging FaceSGLangService rapide avec des sorties structuréesLMDeployBoîte à outils pour compresser et servir les LLMsAphrodite EngineService LLM à haut débitTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de production

vLLM en tête-à-tête

FAQ