Python

BentoML

Packen Sie jedes Modell in eine Produktions-API
von bentoml · Apache-2.0
8 816sterne1 020ForksPythonSprache12 vor Tagenletzte Übertragung
Inference-ServerModellverpackung & -bereitstellungApache-2.0Läuft lokalPythonMittelstufe

Aus der README

Installieren
pip install torch transformers  # additional dependencies for local run
Dokumentation ↗

Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.

🛡 Veröffentlichte Sicherheitswarnungen
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv geprüft wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig geprüft wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
Olud Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist BentoML?

BentoML paketiert Modelle, Code und Abhängigkeiten in ein reproduzierbares Artefakt und bietet es als skalierbare API mit integrierter adaptiver Batchverarbeitung an.

Warum wählen Menschen BentoML?

BentoML auf einen Blick

KategorieInference-Server
TypModellverpackung & -bereitstellung
LizenzApache-2.0
Läuft lokalJa
Hergestellt mitPython
FähigkeitsstufeMittelstufe
Am besten fürModelle reproduzierbar in die Produktion bringen
Siehe GitHub-Statistiken & Aktivitäten

Open-Source-Alternativen zu BentoML

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen Cluster

BentoML im Vergleich

BentoML vs vLLMBentoML vs TGIBentoML vs SGLangBentoML vs LMDeployBentoML vs Aphrodite EngineBentoML vs TensorRT-LLMBentoML vs OpenLLMBentoML vs KTransformersBentoML vs Ray Serve

Häufig gestellte Fragen

Ist BentoML kostenlos?

BentoML ist kostenlos und Open Source (Apache-2.0 Lizenz), sodass Sie es ohne Kosten nutzen, selbst hosten und modifizieren können.

Kann ich BentoML lokal ausführen?

Ja. BentoML ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu BentoML?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →