vLLM

Servicio de alto rendimiento para producción

¿Qué es vLLM?

vLLM es un motor de inferencia y servicio de alto rendimiento que utiliza PagedAttention para maximizar la utilización de GPU, la opción predeterminada para servir modelos abiertos a gran escala.

Por qué la gente elige vLLM

• Rendimiento de clase mundial a través de PagedAttention
• Servidor compatible con OpenAI, amplio soporte de modelos
• El estándar de facto para el servicio de producción

vLLM en un vistazo

Alternativas de código abierto a vLLM

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

TGIServidor de texto de producción de Hugging FaceSGLangServicio rápido con salidas estructuradasLMDeployConjunto de herramientas para comprimir y servir LLMsAphrodite EngineServicio de LLM de alto rendimientoTensorRT-LLMMáximo rendimiento en GPUs NVIDIAOpenLLMSirve cualquier modelo abierto como una API de OpenAI en un comandoKTransformersEjecuta enormes modelos MoE en una GPU de consumoRay ServeEscala el servicio de modelos a través de un clústerBentoMLEmpaqueta cualquier modelo en una API de producción

vLLM cara a cara

Preguntas frecuentes