TGI

Serveur de texte en production de Hugging Face
Serveur d'inférenceServeur d'inférenceApache-2.0Auto-hébergéRustAvancé
🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — cela ne veut pas dire qu'il est sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
Olud Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que TGI ?

Text Generation Inference (TGI) est le serveur de production de Hugging Face pour déployer et servir les LLMs, avec un traitement par lots continu, une quantification et une intégration étroite avec le Hub.

Pourquoi les gens choisissent TGI

TGI en un coup d'œil

CatégorieServeur d'inférence
TypeServeur d'inférence
LicenceApache-2.0
S'exécute localementAuto-hébergé
Construit avecRust
Niveau de compétenceAvancé
Meilleur pouréquipes dans l'écosystème Hugging Face

Alternatives open-source à TGI

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la productionSGLangService rapide avec des sorties structuréesLMDeployBoîte à outils pour compresser et servir les LLMsAphrodite EngineService LLM à haut débitTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de production

TGI en tête-à-tête

TGI vs vLLMTGI vs SGLangTGI vs LMDeployTGI vs Aphrodite EngineTGI vs TensorRT-LLMTGI vs OpenLLMTGI vs KTransformersTGI vs Ray ServeTGI vs BentoML

FAQ

TGI est-il gratuit ?

TGI est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter TGI localement ?

Oui. TGI est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à TGI ?

Les alternatives open-source populaires incluent vLLM, SGLang, LMDeploy. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →