Führen Sie eine leichtgewichtige Version eines Sprachmodells für schnelle Textgenerierung und -verarbeitung aus.
Aus der README
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
- 🚀 Fast offline inference - Comparable inference speeds to vLLM
- 📖 Readable codebase - Clean implementation in ~ 1,200 lines of Python code
- ⚡ Optimization Suite - Prefix caching, Tensor Parallelism, Torch compilation, CUDA graph, etc.
Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarNano vLLM
nano-vllm hat 15.2k Sterne auf GitHub. Es wurde 2.5k-mal geforkt. nano-vllm ist hauptsächlich in Python geschrieben. Es wird seit 2025 aktiv entwickelt. nano-vllm ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: deep-learning, inference, llm, nlp.
Was ist nano-vllm?
Nano vLLM
Ist nano-vllm Open Source?
nano-vllm ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist nano-vllm kostenlos?
Ja. nano-vllm ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht nano-vllm?
nano-vllm ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist nano-vllm geschrieben?
nano-vllm ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/geeeekexplorer-nano-vllm.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.