Aphrodite Engine

Hochdurchsatz-LLM-Bereitstellung
Inference-ServerInference-ServerAGPL-3.0SelbstgehostetPythonFortgeschritten
🛡 Veröffentlichte Sicherheitswarnungen
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv geprüft wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig geprüft wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
Olud Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist die Aphrodite Engine?

Aphrodite Engine ist ein Hochdurchsatz-Inferenzserver, der auf vLLM basiert und für die gleichzeitige Bedienung vieler Benutzer mit breiter Quantisierungs- und Sampling-Unterstützung optimiert ist.

Warum wählen Menschen die Aphrodite Engine?

Aphrodite Engine auf einen Blick

KategorieInference-Server
TypInference-Server
LizenzAGPL-3.0
Läuft lokalSelbstgehostet
Hergestellt mitPython
FähigkeitsstufeFortgeschritten
Am besten fürviele Benutzer mit hohem Durchsatz bedienen

Open-Source-Alternativen zu Aphrodite Engine

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausRay ServeSkalieren Sie das Modell-Serving über einen ClusterBentoMLPacken Sie jedes Modell in eine Produktions-API

Aphrodite Engine im direkten Vergleich

Aphrodite Engine vs vLLMAphrodite Engine vs TGIAphrodite Engine vs SGLangAphrodite Engine vs LMDeployAphrodite Engine vs TensorRT-LLMAphrodite Engine vs OpenLLMAphrodite Engine vs KTransformersAphrodite Engine vs Ray ServeAphrodite Engine vs BentoML

Häufig gestellte Fragen

Ist Aphrodite Engine kostenlos?

Aphrodite Engine ist kostenlos und Open-Source (AGPL-3.0 Lizenz), sodass Sie es kostenlos nutzen, selbst hosten und modifizieren können.

Kann ich Aphrodite Engine lokal ausführen?

Ja. Die Aphrodite Engine ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zur Aphrodite Engine?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →