Esegui una versione leggera di un modello di linguaggio per una generazione e elaborazione del testo rapida.
Dal README
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
- 🚀 Fast offline inference - Comparable inference speeds to vLLM
- 📖 Readable codebase - Clean implementation in ~ 1,200 lines of Python code
- ⚡ Optimization Suite - Prefix caching, Tensor Parallelism, Torch compilation, CUDA graph, etc.
Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiNano vLLM
nano-vllm ha 15.2k stelle su GitHub. È stato forkato 2.5k volte. nano-vllm è scritto principalmente in Python. È in sviluppo attivo dal 2025. nano-vllm è disponibile con licenza MIT. I suoi temi principali sono: deep-learning, inference, llm, nlp.
Che cos'è nano-vllm?
Nano vLLM
nano-vllm è open source?
nano-vllm è un progetto open source. È rilasciato con licenza MIT.
nano-vllm è gratuito?
Sì. nano-vllm è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è nano-vllm?
nano-vllm è disponibile con licenza MIT.
In quale linguaggio è scritto nano-vllm?
nano-vllm è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/geeeekexplorer-nano-vllm.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.