lmdeploy
LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Bereitstellen von LLMs.
Aus der README
- \[2024/09\] LMDeploy PyTorchEngine achieves 1.3x faster on Llama3-8B inference by introducing CUDA graph
- \[2024/08\] LMDeploy is integrated into modelscope/swift as the default accelerator for VLMs inference
- \[2024/07\] Support Llama3.1 8B, 70B and its TOOLS CALLING
- \[2024/07\] Support InternVL2 full-series models, InternLM-XComposer2.5 and function call of InternLM2.5
- \[2024/06\] PyTorch engine support DeepSeek-V2 and several VLMs, such as CogVLM2, Mini-InternVL, LlaVA-Next
- \[2024/05\] Balance vision model when deploying VLMs with multiple GPUs
Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarLMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Bereitstellen von LLMs.
lmdeploy hat 8k Sterne auf GitHub. Es wurde 734-mal geforkt. lmdeploy ist hauptsächlich in Python geschrieben. Es wird seit 2023 aktiv entwickelt. lmdeploy ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: codellama, cuda-kernels, deepspeed, fastertransformer.
Read the full guideWas ist lmdeploy?
LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Bereitstellen von LLMs.
Ist lmdeploy Open Source?
lmdeploy ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist lmdeploy kostenlos?
Ja. lmdeploy ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht lmdeploy?
lmdeploy ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist lmdeploy geschrieben?
lmdeploy ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/internlm-lmdeploy.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.