vllm
Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
Ejecuta modelos de lenguaje grandes de manera eficiente y sencilla, facilitando el servicio de aplicaciones de IA.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasUn motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
vllm tiene 87.5k estrellas en GitHub. Se ha bifurcado 20k veces. vllm está escrito principalmente en Python. Se desarrolla activamente desde 2023. vllm está disponible bajo la licencia Apache-2.0. Sus temas principales son: amd, blackwell, cuda, deepseek.
Read the full guide¿Qué es vllm?
Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs
¿vllm es de código abierto?
vllm es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿vllm es gratis?
Sí. vllm es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está vllm?
vllm está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito vllm?
vllm está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/vllm-project-vllm.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.