vLLM
Hochdurchsatzbereitstellung für die Produktion
Inference-ServerInference-ServerApache-2.0SelbstgehostetPythonFortgeschritten
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv untersucht wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig untersucht wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
🐳 Docker-Pulls
📦 PyPI-Downloads / Monat
📦 npm-Downloads / Monat
🚀 Neueste Version ·
Was ist vLLM?
vLLM ist eine Hochdurchsatz-Inferenz- und Bereitstellungsengine, die PagedAttention verwendet, um die GPU-Auslastung zu maximieren, die Standardwahl für die Bereitstellung offener Modelle in großem Maßstab.
Warum Menschen vLLM wählen
- Best-in-Class-Durchsatz über PagedAttention
- OpenAI-kompatibler Server, breite Modellunterstützung
- Der De-facto-Standard für die Produktionsbereitstellung
vLLM auf einen Blick
| Kategorie | Inference-Server |
| Typ | Inference-Server |
| Lizenz | Apache-2.0 |
| Läuft lokal | Selbstgehostet |
| Hergestellt mit | Python |
| Fähigkeitsstufe | Fortgeschritten |
| Am besten für | Produktionsteams, die Modelle in großem Maßstab bereitstellen |
Neueste Versionen
Open-Source-Alternativen zu vLLM
Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:
TGIHugging Face's Produktions-Textserver
SGLangSchnelle Bereitstellung mit strukturierten Ausgaben
LMDeployToolkit zum Komprimieren und Bereitstellen von LLMs
Aphrodite EngineHochdurchsatz-LLM-Bereitstellung
TensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUs
OpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellen
KTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU aus
Ray ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-APIvLLM im direkten Vergleich
vLLM vs TGIvLLM vs SGLangvLLM vs LMDeployvLLM vs Aphrodite EnginevLLM vs TensorRT-LLMvLLM vs OpenLLMvLLM vs KTransformersvLLM vs Ray ServevLLM vs BentoML
Häufig gestellte Fragen
Ist vLLM kostenlos?
vLLM ist kostenlos und Open-Source (Apache-2.0-Lizenz), sodass Sie es kostenlos nutzen, selbst hosten und modifizieren können.
Kann ich vLLM lokal ausführen?
Ja. vLLM ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.
Was ist die beste Alternative zu vLLM?
Beliebte Open-Source-Alternativen sind TGI, SGLang, LMDeploy. Siehe die obenstehenden Vergleiche zur Auswahl.
Entdecken Sie weitere Open-Source-AI
Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.
Alle Tools durchsuchen →