LMDeploy

Conjunto de herramientas para comprimir y servir LLMs

¿Qué es LMDeploy?

LMDeploy es un conjunto de herramientas para comprimir, cuantificar y servir LLMs con un alto rendimiento de solicitudes a través de su motor TurboMind.

¿Por qué la gente elige LMDeploy?

• Alto rendimiento a través del motor TurboMind
• Cuantificación y compresión integradas
• Gestión eficiente de KV-cache

LMDeploy de un vistazo

Alternativas de código abierto a LMDeploy

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

vLLMServicio de alto rendimiento para producciónTGIServidor de texto de producción de Hugging FaceSGLangServicio rápido con salidas estructuradasAphrodite EngineServicio de LLM de alto rendimientoTensorRT-LLMMáximo rendimiento en GPUs NVIDIAOpenLLMSirve cualquier modelo abierto como una API de OpenAI en un comandoKTransformersEjecuta enormes modelos MoE en una GPU de consumoRay ServeEscala el servicio de modelos a través de un clústerBentoMLEmpaqueta cualquier modelo en una API de producción

LMDeploy cara a cara

Preguntas frecuentes