LMDeploy

Kit de ferramentas para comprimir e servir LLMs

O que é LMDeploy?

LMDeploy é um conjunto de ferramentas para comprimir, quantizar e servir LLMs com alta taxa de requisições através de seu motor TurboMind.

Por que as pessoas escolhem o LMDeploy

• Alta taxa de requisições via o motor TurboMind
• Quantização e compressão integradas
• Gerenciamento eficiente de KV-cache

LMDeploy em um relance

Alternativas de código aberto ao LMDeploy

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

vLLMServiço de alta capacidade para produçãoTGIServidor de texto de produção da Hugging FaceSGLangServiço rápido com saídas estruturadasAphrodite EngineServiço de LLM de alto desempenhoTensorRT-LLMMáxima taxa de transferência em GPUs NVIDIAOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produção

LMDeploy cara a cara

FAQ