vllm
Eine hochdurchsatz- und speichereffiziente Inferenz- und Bereitstellungs-Engine für LLMs
Führen Sie große Sprachmodelle effizient und einfach aus, um KI-Anwendungen einfach bereitzustellen.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarEine hochdurchsatz- und speichereffiziente Inferenz- und Bereitstellungs-Engine für LLMs
vllm hat 87.5k Sterne auf GitHub. Es wurde 20k-mal geforkt. vllm ist hauptsächlich in Python geschrieben. Es wird seit 2023 aktiv entwickelt. vllm ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: amd, blackwell, cuda, deepseek.
Read the full guideWas ist vllm?
Eine hochdurchsatz- und speichereffiziente Inferenz- und Bereitstellungs-Engine für LLMs
Ist vllm Open Source?
vllm ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist vllm kostenlos?
Ja. vllm ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht vllm?
vllm ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist vllm geschrieben?
vllm ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/vllm-project-vllm.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.