TGI

Servidor de texto de produção da Hugging Face
Servidor de inferênciaServidor de inferênciaApache-2.0Auto-hospedadoRustAvançado
🛡 Avisos de segurança publicados
Um número alto geralmente significa que o projeto é amplamente examinado. Um número baixo geralmente significa que ele é pouco examinado — não que seja seguro.
Nenhum sinal de atividade pública para esta ferramenta — ela não possui um repositório aberto que possamos medir.
Olud Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o TGI?

Text Generation Inference (TGI) é o servidor de nível de produção da Hugging Face para implantar e servir LLMs, com agrupamento contínuo, quantização e integração estreita com o Hub.

Por que as pessoas escolhem o TGI

TGI em um relance

CategoriaServidor de inferência
TipoServidor de inferência
LicençaApache-2.0
Executa localmenteAuto-hospedado
Construído comRust
Nível de habilidadeAvançado
Melhor paraequipes no ecossistema Hugging Face

Alternativas de código aberto ao TGI

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

vLLMServiço de alta capacidade para produçãoSGLangServiço rápido com saídas estruturadasLMDeployKit de ferramentas para comprimir e servir LLMsAphrodite EngineServiço de LLM de alto desempenhoTensorRT-LLMMáxima taxa de transferência em GPUs NVIDIAOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produção

TGI confronto direto

TGI vs vLLMTGI vs SGLangTGI vs LMDeployTGI vs Aphrodite EngineTGI vs TensorRT-LLMTGI vs OpenLLMTGI vs KTransformersTGI vs Ray ServeTGI vs BentoML

FAQ

O TGI é gratuito?

O TGI é gratuito e de código aberto (licença Apache-2.0), então você pode usar, auto-hospedar e modificar sem custo.

Posso executar o TGI localmente?

Sim. O TGI é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao TGI?

Alternativas populares de código aberto incluem vLLM, SGLang, LMDeploy. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →