Rust

TGI

Hugging Face's Produktions-Textserver
von huggingface · Apache-2.0
Inference-ServerInference-ServerApache-2.0SelbstgehostetRustFortgeschritten

Aus der README

Installieren
git clone https://github.com/huggingface/text-generation-inference
cd text-generation-inference

Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.

🛡 Veröffentlichte Sicherheitswarnungen
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv geprüft wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig geprüft wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
Olud Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist TGI?

Text Generation Inference (TGI) ist Hugging Faces produktionsreifer Server zum Bereitstellen und Servieren von LLMs, mit kontinuierlichem Batching, Quantisierung und enger Hub-Integration.

Warum Menschen TGI wählen

TGI auf einen Blick

KategorieInference-Server
TypInference-Server
LizenzApache-2.0
Läuft lokalSelbstgehostet
Hergestellt mitRust
FähigkeitsstufeFortgeschritten
Am besten fürTeams im Hugging Face-Ökosystem

Open-Source-Alternativen zu TGI

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

TGI im direkten Vergleich

TGI vs vLLMTGI vs SGLangTGI vs LMDeployTGI vs Aphrodite EngineTGI vs TensorRT-LLMTGI vs OpenLLMTGI vs KTransformersTGI vs Ray ServeTGI vs BentoML

Häufig gestellte Fragen

Ist TGI kostenlos?

TGI ist kostenlos und Open-Source (Apache-2.0-Lizenz), sodass Sie es kostenlos nutzen, selbst hosten und modifizieren können.

Kann ich TGI lokal ausführen?

Ja. TGI ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu TGI?

Beliebte Open-Source-Alternativen sind vLLM, SGLang, LMDeploy. Siehe die obenstehenden Vergleiche zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →