Exécutez une version légère d'un modèle de langage pour une génération et un traitement de texte rapides.
Depuis le README
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
- 🚀 Fast offline inference - Comparable inference speeds to vLLM
- 📖 Readable codebase - Clean implementation in ~ 1,200 lines of Python code
- ⚡ Optimization Suite - Prefix caching, Tensor Parallelism, Torch compilation, CUDA graph, etc.
Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentNano vLLM
nano-vllm compte 15.2k étoiles sur GitHub. Il a été forké 2.5k fois. nano-vllm est écrit principalement en Python. Il est développé activement depuis 2025. nano-vllm est disponible sous licence MIT. Ses principaux thèmes sont : deep-learning, inference, llm, nlp.
Qu'est-ce que nano-vllm ?
Nano vLLM
nano-vllm est-il open source ?
nano-vllm est un projet open source. Il est distribué sous licence MIT.
nano-vllm est-il gratuit ?
Oui. nano-vllm est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est nano-vllm ?
nano-vllm est disponible sous licence MIT.
Dans quel langage nano-vllm est-il écrit ?
nano-vllm est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/geeeekexplorer-nano-vllm.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.