LMDeploy

Toolkit per comprimere e servire LLM
Server di inferenzaServer di inferenzaApache-2.0Auto-ospitatoPythonAvanzato
🛡 Avvisi di sicurezza pubblicati
Un numero elevato di segnalazioni di solito significa che il progetto è ampiamente esaminato. Un numero basso di solito significa che è poco esaminato — non che sia sicuro.
Nessun segnale di attività pubblica per questo strumento — non ha un repository aperto che possiamo misurare.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è LMDeploy?

LMDeploy è un toolkit per comprimere, quantizzare e servire LLM con un alto throughput di richieste tramite il suo motore TurboMind.

Perché le persone scelgono LMDeploy

LMDeploy a colpo d'occhio

CategoriaServer di inferenza
TipoServer di inferenza
LicenzaApache-2.0
Esegue localmenteAuto-ospitato
Costruito conPython
Livello di abilitàAvanzato
Migliore perteam che ottimizzano il servizio quantizzato

Alternative open-source a LMDeploy

Altri strumenti di server di inferenza open-source da confrontare:

vLLMServizio ad alta capacità per la produzioneTGIServer di testo in produzione di Hugging FaceSGLangServizio veloce con output strutturatiAphrodite EngineServizio LLM ad alta capacitàTensorRT-LLMMassima capacità su GPU NVIDIAOpenLLMServi qualsiasi modello aperto come un'API OpenAI in un comandoKTransformersEsegui enormi modelli MoE su una GPU consumerRay ServeScala il servizio dei modelli su un clusterBentoMLImballa qualsiasi modello in un'API di produzione

LMDeploy testa a testa

LMDeploy vs vLLMLMDeploy vs TGILMDeploy vs SGLangLMDeploy vs Aphrodite EngineLMDeploy vs TensorRT-LLMLMDeploy vs OpenLLMLMDeploy vs KTransformersLMDeploy vs Ray ServeLMDeploy vs BentoML

FAQ

LMDeploy è gratuito?

LMDeploy è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire LMDeploy localmente?

Sì. LMDeploy è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a LMDeploy?

Le alternative open-source popolari includono vLLM, TGI, SGLang. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →