Home› Progetti› lmdeploy

Python

lmdeploy

LMDeploy è un toolkit per comprimere, distribuire e servire LLM.

di InternLM · GitHub

Stelle

Fork

+26 questa settimana

Tendenze

Licenza

Creato

Ultimo commit

Categoria

Lingua

Probabile

Auto-ospitato

codellama cuda-kernels deepspeedApache-2.0PythonAuto-ospitato

Visualizza su GitHub

Dal README

\[2024/09\] LMDeploy PyTorchEngine achieves 1.3x faster on Llama3-8B inference by introducing CUDA graph
\[2024/08\] LMDeploy is integrated into modelscope/swift as the default accelerator for VLMs inference
\[2024/07\] Support Llama3.1 8B, 70B and its TOOLS CALLING
\[2024/07\] Support InternVL2 full-series models, InternLM-XComposer2.5 and function call of InternLM2.5
\[2024/06\] PyTorch engine support DeepSeek-V2 and several VLMs, such as CogVLM2, Mini-InternVL, LlaVA-Next
\[2024/05\] Balance vision model when deploying VLMs with multiple GPUs

Documentazione ↗

Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.

Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →

lmdeploy — GitHub preview card

📈 Storia delle stelle

2026-07-042026-08-31

📈 Segui lmdeploy

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi

Ricevi avvisi via email →

📄 Informazioni

LMDeploy è un toolkit per comprimere, distribuire e servire LLM.

lmdeploy ha 8k stelle su GitHub. È stato forkato 734 volte. lmdeploy è scritto principalmente in Python. È in sviluppo attivo dal 2023. lmdeploy è disponibile con licenza Apache-2.0. I suoi temi principali sono: codellama, cuda-kernels, deepspeed, fastertransformer.

Read the full guide

❓ Frequently asked questions

Che cos'è lmdeploy?

LMDeploy è un toolkit per comprimere, distribuire e servire LLM.

lmdeploy è open source?

lmdeploy è un progetto open source. È rilasciato con licenza Apache-2.0.

lmdeploy è gratuito?

Sì. lmdeploy è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è lmdeploy?

lmdeploy è disponibile con licenza Apache-2.0.

In quale linguaggio è scritto lmdeploy?

lmdeploy è scritto principalmente in Python.

🏅 Manutentore di questo progetto?

olud.ai badge — lmdeploy

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![olud.ai](https://olud.ai/badge.php?tool=internlm-lmdeploy)](https://olud.ai/project/internlm-lmdeploy.html)

Altre opzioni di badge →

🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →

distributed-llama

Inferenza LLM distribuita. Collega i dispositivi domestici in un potente cluster per accelerare…

★ 3k · distributed-computing

condividellama3llama2

Un chatbot simile a ChatGPT auto-ospitato e offline. Alimentato da Llama 2. 100% privato, senza…

★ 10.9k · ai

CUDA-L2: Superare le prestazioni di cuBLAS per la moltiplicazione di matrici attraverso il Rein…

★ 476 · cublas

CUDA-L2: Superare le prestazioni di cuBLAS per la moltiplicazione di matrici attraverso il Rein…

★ 468 · cublas

Safe RLHF: Allineamento del valore vincolato tramite Reinforcement Learning sicuro da feedback…

★ 1.6k · ai-safety

Un framework open-source di modelli linguistici di grandi dimensioni e conoscenza.

★ 1.4k · bilingual

Progetto personale: MPP-Qwen14B & MPP-Qwen-Next (Pipeline Multimodale Parallela basata su Qwen-…

★ 685 · deepspeed

LLaMA-Cult-and-More

Modelli di Linguaggio di Grandi Dimensioni per Tutti, 🦙 Cult e Altro, Rimani in contatto!

★ 449 · alpaca

Firefly: Strumento di addestramento per grandi modelli, supporta l'addestramento di Qwen2.5, Qw…

★ 6.7k · alpaca

🐋MindChat（漫谈）：Riflessioni sulla vita, affrontare le avversità con un sorriso

★ 718 · baichuan-13b

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.