tiny-vllm
Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
Aprende a construir un motor rápido para ejecutar modelos de lenguaje grande con C++ y CUDA.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasConstruye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
tiny-vllm tiene 961 estrellas en GitHub. Se ha bifurcado 69 veces. tiny-vllm está escrito principalmente en C++. Se desarrolla activamente desde 2026. tiny-vllm está disponible bajo la licencia Apache-2.0. Sus temas principales son: ai, attention, batching, course.
¿Qué es tiny-vllm?
Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
¿tiny-vllm es de código abierto?
tiny-vllm es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿tiny-vllm es gratis?
Sí. tiny-vllm es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está tiny-vllm?
tiny-vllm está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito tiny-vllm?
tiny-vllm está escrito principalmente en C++.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/jmaczan-tiny-vllm.html)
