tiny-vllm
Erstellen Sie Ihre eigene Hochleistungs-LLM-Inferenzmaschine in C++ und CUDA - eine kleinere Version von vLLM
Erfahren Sie, wie Sie eine schnelle Engine zum Ausführen großer Sprachmodelle mit C++ und CUDA erstellen.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarErstellen Sie Ihre eigene Hochleistungs-LLM-Inferenzmaschine in C++ und CUDA - eine kleinere Version von vLLM
tiny-vllm hat 961 Sterne auf GitHub. Es wurde 69-mal geforkt. tiny-vllm ist hauptsächlich in C++ geschrieben. Es wird seit 2026 aktiv entwickelt. tiny-vllm ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: ai, attention, batching, course.
Was ist tiny-vllm?
Erstellen Sie Ihre eigene Hochleistungs-LLM-Inferenzmaschine in C++ und CUDA - eine kleinere Version von vLLM
Ist tiny-vllm Open Source?
tiny-vllm ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist tiny-vllm kostenlos?
Ja. tiny-vllm ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht tiny-vllm?
tiny-vllm ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist tiny-vllm geschrieben?
tiny-vllm ist hauptsächlich in C++ geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/jmaczan-tiny-vllm.html)
