TGI

Servidor de texto de producción de Hugging Face
Servidor de inferenciaServidor de inferenciaApache-2.0AutoalojadoRustAvanzado
🛡 Asesorías de seguridad publicadas
Un alto conteo generalmente significa que el proyecto es examinado en profundidad. Un bajo conteo generalmente significa que se examina poco — no que sea seguro.
No hay señales de actividad pública para esta herramienta — no tiene un repositorio abierto que podamos medir.
Olud Pulse ⓘ ★★★★★★★★★★ /100 señales rastreadas
🐳 descargas de Docker 📦 descargas de PyPI / mes 📦 descargas de npm / mes 🚀 Última versión ·
Visitar sitio web →Ver en GitHub

¿Qué es TGI?

Text Generation Inference (TGI) es el servidor de calidad de producción de Hugging Face para desplegar y servir LLMs, con agrupamiento continuo, cuantización e integración estrecha con el Hub.

Por qué la gente elige TGI

TGI en un vistazo

CategoríaServidor de inferencia
TipoServidor de inferencia
LicenciaApache-2.0
Ejecuta localmenteAutoalojado
Construido conRust
Nivel de habilidadAvanzado
Mejor paraequipos en el ecosistema de Hugging Face

Alternativas de código abierto a TGI

Otras herramientas de servidor de inferencia de código abierto que vale la pena comparar:

vLLMServicio de alto rendimiento para producciónSGLangServicio rápido con salidas estructuradasLMDeployConjunto de herramientas para comprimir y servir LLMsAphrodite EngineServicio de LLM de alto rendimientoTensorRT-LLMMáximo rendimiento en GPUs NVIDIAOpenLLMSirve cualquier modelo abierto como una API de OpenAI en un comandoKTransformersEjecuta enormes modelos MoE en una GPU de consumoRay ServeEscala el servicio de modelos a través de un clústerBentoMLEmpaqueta cualquier modelo en una API de producción

TGI cara a cara

TGI vs vLLMTGI vs SGLangTGI vs LMDeployTGI vs Aphrodite EngineTGI vs TensorRT-LLMTGI vs OpenLLMTGI vs KTransformersTGI vs Ray ServeTGI vs BentoML

Preguntas frecuentes

¿Es TGI gratuito?

TGI es gratuito y de código abierto (licencia Apache-2.0), por lo que puedes usarlo, alojarlo tú mismo y modificarlo sin costo alguno.

¿Puedo ejecutar TGI localmente?

Sí. TGI está diseñado para ejecutarse en tu propia máquina o servidor, manteniendo tus datos privados.

¿Cuál es la mejor alternativa a TGI?

Las alternativas de código abierto populares incluyen vLLM, SGLang, LMDeploy. Consulta las comparaciones anteriores para elegir.

Explora más IA de código abierto

Navega por el directorio completo de herramientas, modelos y proyectos de IA de código abierto, actualizado diariamente.

Navega todas las herramientas →