Python

LMDeploy

Toolkit per comprimere e servire LLM

di InternLM · Apache-2.0

8 036stelle733forkPythonlingua9 giorni faultimo push

Server di inferenzaServer di inferenzaApache-2.0Auto-ospitatoPythonAvanzato

Dal README

\[2024/09\] LMDeploy PyTorchEngine achieves 1.3x faster on Llama3-8B inference by introducing CUDA graph
\[2024/08\] LMDeploy is integrated into modelscope/swift as the default accelerator for VLMs inference
\[2024/07\] Support Llama3.1 8B, 70B and its TOOLS CALLING
\[2024/07\] Support InternVL2 full-series models, InternLM-XComposer2.5 and function call of InternLM2.5
\[2024/06\] PyTorch engine support DeepSeek-V2 and several VLMs, such as CogVLM2, Mini-InternVL, LlaVA-Next
\[2024/05\] Balance vision model when deploying VLMs with multiple GPUs

Documentazione ↗

Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.

🛡 Avvisi di sicurezza pubblicati

Un numero elevato di segnalazioni di solito significa che il progetto è ampiamente esaminato. Un numero basso di solito significa che è poco esaminato — non che sia sicuro.

Nessun segnale di attività pubblica per questo strumento — non ha un repository aperto che possiamo misurare.

Olud Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati

🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·

Visita il sito →Visualizza su GitHub

Cos'è LMDeploy?

LMDeploy è un toolkit per comprimere, quantizzare e servire LLM con un alto throughput di richieste tramite il suo motore TurboMind.

Perché le persone scelgono LMDeploy

Alto throughput tramite il motore TurboMind
Quantizzazione e compressione integrate
Gestione efficiente della cache KV

LMDeploy a colpo d'occhio

Categoria	Server di inferenza
Tipo	Server di inferenza
Licenza	Apache-2.0
Esegue localmente	Auto-ospitato
Costruito con	Python
Livello di abilità	Avanzato
Migliore per	team che ottimizzano il servizio quantizzato