Ejecuta una versión ligera de un modelo de lenguaje para generación y procesamiento rápido de texto.
Del README
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
- 🚀 Fast offline inference - Comparable inference speeds to vLLM
- 📖 Readable codebase - Clean implementation in ~ 1,200 lines of Python code
- ⚡ Optimization Suite - Prefix caching, Tensor Parallelism, Torch compilation, CUDA graph, etc.
Extractos del README del proyecto sobre GitHub. Los derechos de autor y las licencias permanecen con los respectivos autores.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasNano vLLM
nano-vllm tiene 15.2k estrellas en GitHub. Se ha bifurcado 2.5k veces. nano-vllm está escrito principalmente en Python. Se desarrolla activamente desde 2025. nano-vllm está disponible bajo la licencia MIT. Sus temas principales son: deep-learning, inference, llm, nlp.
¿Qué es nano-vllm?
Nano vLLM
¿nano-vllm es de código abierto?
nano-vllm es un proyecto de código abierto. Se distribuye bajo la licencia MIT.
¿nano-vllm es gratis?
Sí. nano-vllm es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está nano-vllm?
nano-vllm está disponible bajo la licencia MIT.
¿En qué lenguaje está escrito nano-vllm?
nano-vllm está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/geeeekexplorer-nano-vllm.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.