vllm
Un motore di inferenza e servizio ad alta capacità e a basso consumo di memoria per LLM
Dal README
uv pip install vllm
- State-of-the-art serving throughput
- Efficient management of attention key and value memory with PagedAttention
- Continuous batching of incoming requests, chunked prefill, prefix caching
- Fast and flexible model execution with piecewise and full CUDA/HIP graphs
Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiUn motore di inferenza e servizio ad alta capacità e a basso consumo di memoria per LLM
vllm ha 90.5k stelle su GitHub. È stato forkato 21.4k volte. vllm è scritto principalmente in Python. È in sviluppo attivo dal 2023. vllm è disponibile con licenza Apache-2.0. I suoi temi principali sono: amd, blackwell, cuda, deepseek.
Read the full guideChe cos'è vllm?
Un motore di inferenza e servizio ad alta capacità e a basso consumo di memoria per LLM
vllm è open source?
vllm è un progetto open source. È rilasciato con licenza Apache-2.0.
vllm è gratuito?
Sì. vllm è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è vllm?
vllm è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto vllm?
vllm è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/vllm-project-vllm.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.