LMDeploy

Toolkit zum Komprimieren und Bereitstellen von LLMs
Inference-ServerInference-ServerApache-2.0SelbstgehostetPythonFortgeschritten
🛡 Veröffentlichte Sicherheitsmeldungen
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv untersucht wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig untersucht wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist LMDeploy?

LMDeploy ist ein Toolkit zum Komprimieren, Quantisieren und Bereitstellen von LLMs mit hoher Anfragenrate über die TurboMind-Engine.

Warum wählen Menschen LMDeploy

LMDeploy auf einen Blick

KategorieInference-Server
TypInference-Server
LizenzApache-2.0
Läuft lokalSelbstgehostet
Hergestellt mitPython
FähigkeitsstufeFortgeschritten
Am besten fürTeams, die quantisierte Bereitstellung optimieren

Open-Source-Alternativen zu LMDeploy

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

LMDeploy im direkten Vergleich

LMDeploy vs vLLMLMDeploy vs TGILMDeploy vs SGLangLMDeploy vs Aphrodite EngineLMDeploy vs TensorRT-LLMLMDeploy vs OpenLLMLMDeploy vs KTransformersLMDeploy vs Ray ServeLMDeploy vs BentoML

Häufig gestellte Fragen

Ist LMDeploy kostenlos?

LMDeploy ist kostenlos und Open Source (Apache-2.0-Lizenz), sodass Sie es ohne Kosten verwenden, selbst hosten und modifizieren können.

Kann ich LMDeploy lokal ausführen?

Ja. LMDeploy ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu LMDeploy?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →