LMDeploy

Boîte à outils pour compresser et servir les LLMs
Serveur d'inférenceServeur d'inférenceApache-2.0Auto-hébergéPythonAvancé
🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — cela ne veut pas dire qu'il est sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
Olud Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que LMDeploy ?

LMDeploy est un ensemble d'outils pour compresser, quantifier et servir des LLM avec un haut débit de requêtes via son moteur TurboMind.

Pourquoi les gens choisissent LMDeploy

LMDeploy en un coup d'œil

CatégorieServeur d'inférence
TypeServeur d'inférence
LicenceApache-2.0
S'exécute localementAuto-hébergé
Construit avecPython
Niveau de compétenceAvancé
Meilleur pouréquipes optimisant le service quantifié

Alternatives open-source à LMDeploy

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la productionTGIServeur de texte en production de Hugging FaceSGLangService rapide avec des sorties structuréesAphrodite EngineService LLM à haut débitTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de production

LMDeploy en tête-à-tête

LMDeploy vs vLLMLMDeploy vs TGILMDeploy vs SGLangLMDeploy vs Aphrodite EngineLMDeploy vs TensorRT-LLMLMDeploy vs OpenLLMLMDeploy vs KTransformersLMDeploy vs Ray ServeLMDeploy vs BentoML

FAQ

LMDeploy est-il gratuit ?

LMDeploy est gratuit et open-source (licence Apache-2.0), vous pouvez l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter LMDeploy localement ?

Oui. LMDeploy est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à LMDeploy ?

Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →