vllm
Um motor de inferência e serviço de alto rendimento e eficiente em memória para LLMs
Do README
uv pip install vllm
- State-of-the-art serving throughput
- Efficient management of attention key and value memory with PagedAttention
- Continuous batching of incoming requests, chunked prefill, prefix caching
- Fast and flexible model execution with piecewise and full CUDA/HIP graphs
Trechos do README do projeto em GitHub. Os direitos autorais e as licenças permanecem com os respectivos autores.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserUm motor de inferência e serviço de alto rendimento e eficiente em memória para LLMs
vllm tem 90.5k estrelas no GitHub. Foi bifurcado 21.4k vezes. vllm é escrito principalmente em Python. Está em desenvolvimento ativo desde 2023. vllm está disponível sob a licença Apache-2.0. Os seus principais temas são: amd, blackwell, cuda, deepseek.
Read the full guideO que é vllm?
Um motor de inferência e serviço de alto rendimento e eficiente em memória para LLMs
vllm é de código aberto?
vllm é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
vllm é gratuito?
Sim. vllm é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está vllm?
vllm está disponível sob a licença Apache-2.0.
Em que linguagem vllm está escrito?
vllm é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/vllm-project-vllm.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.