vllm
Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
Del README
uv pip install vllm
- State-of-the-art serving throughput
- Efficient management of attention key and value memory with PagedAttention
- Continuous batching of incoming requests, chunked prefill, prefix caching
- Fast and flexible model execution with piecewise and full CUDA/HIP graphs
Extractos del README del proyecto sobre GitHub. Los derechos de autor y las licencias permanecen con los respectivos autores.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasUn motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
vllm tiene 90.5k estrellas en GitHub. Se ha bifurcado 21.4k veces. vllm está escrito principalmente en Python. Se desarrolla activamente desde 2023. vllm está disponible bajo la licencia Apache-2.0. Sus temas principales son: amd, blackwell, cuda, deepseek.
Read the full guide¿Qué es vllm?
Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
¿vllm es de código abierto?
vllm es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿vllm es gratis?
Sí. vllm es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está vllm?
vllm está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito vllm?
vllm está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/vllm-project-vllm.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.