lmdeploy
LMDeploy est un ensemble d'outils pour compresser, déployer et servir des LLMs.
Depuis le README
- \[2024/09\] LMDeploy PyTorchEngine achieves 1.3x faster on Llama3-8B inference by introducing CUDA graph
- \[2024/08\] LMDeploy is integrated into modelscope/swift as the default accelerator for VLMs inference
- \[2024/07\] Support Llama3.1 8B, 70B and its TOOLS CALLING
- \[2024/07\] Support InternVL2 full-series models, InternLM-XComposer2.5 and function call of InternLM2.5
- \[2024/06\] PyTorch engine support DeepSeek-V2 and several VLMs, such as CogVLM2, Mini-InternVL, LlaVA-Next
- \[2024/05\] Balance vision model when deploying VLMs with multiple GPUs
Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentLMDeploy est un ensemble d'outils pour compresser, déployer et servir des LLMs.
lmdeploy compte 8k étoiles sur GitHub. Il a été forké 734 fois. lmdeploy est écrit principalement en Python. Il est développé activement depuis 2023. lmdeploy est disponible sous licence Apache-2.0. Ses principaux thèmes sont : codellama, cuda-kernels, deepspeed, fastertransformer.
Read the full guideQu'est-ce que lmdeploy ?
LMDeploy est un ensemble d'outils pour compresser, déployer et servir des LLMs.
lmdeploy est-il open source ?
lmdeploy est un projet open source. Il est distribué sous licence Apache-2.0.
lmdeploy est-il gratuit ?
Oui. lmdeploy est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est lmdeploy ?
lmdeploy est disponible sous licence Apache-2.0.
Dans quel langage lmdeploy est-il écrit ?
lmdeploy est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/internlm-lmdeploy.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.