vLLM

Serviço de alta capacidade para produção

O que é o vLLM?

vLLM é um motor de inferência e serviço de alta capacidade usando PagedAttention para maximizar a utilização da GPU, a escolha padrão para servir modelos abertos em grande escala.

Por que as pessoas escolhem o vLLM

• Desempenho de classe mundial via PagedAttention
• Servidor compatível com OpenAI, amplo suporte a modelos
• O padrão de fato para serviço em produção

vLLM em um relance

Alternativas de código aberto ao vLLM

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

TGIServidor de texto de produção da Hugging FaceSGLangServiço rápido com saídas estruturadasLMDeployKit de ferramentas para comprimir e servir LLMsAphrodite EngineServiço de LLM de alto desempenhoTensorRT-LLMMáxima taxa de transferência em GPUs NVIDIAOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produção

vLLM confronto direto

FAQ