Python

Ray Serve

Skalieren Sie das Modell-Serving über einen Cluster
von ray-project · Apache-2.0
43 669sterne7 982ForksPythonSprache9 vor Tagenletzte Übertragung
Inference-ServerServing-FrameworkApache-2.0Läuft lokalPythonFortgeschritten

Aus der README

Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.

🛡 Veröffentlichte Sicherheitswarnungen
Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv geprüft wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig geprüft wird — nicht, dass es sicher ist.
Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.
Olud Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale
🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·
Website besuchen →Auf GitHub ansehen

Was ist Ray Serve?

Ray Serve ist eine skalierbare Modellbereitstellungsbibliothek, die mehrere Modelle und Python-Geschäftslogik in einer Bereitstellung kombiniert und über einen Ray-Cluster skaliert.

Warum wählen Menschen Ray Serve?

Ray Serve auf einen Blick

KategorieInference-Server
TypServing-Framework
LizenzApache-2.0
Läuft lokalJa
Hergestellt mitPython
FähigkeitsstufeFortgeschritten
Am besten fürMulti-Modell-Produktionspipelines in großem Maßstab
Siehe GitHub-Statistiken & Aktivitäten

Open-Source-Alternativen zu Ray Serve

Andere Open-Source-Inferenzserver-Tools, die einen Vergleich wert sind:

vLLMHochdurchsatzbereitstellung für die ProduktionTGIHugging Face's Produktions-TextserverSGLangSchnelle Bereitstellung mit strukturierten AusgabenLMDeployToolkit zum Komprimieren und Bereitstellen von LLMsAphrodite EngineHochdurchsatz-LLM-BereitstellungTensorRT-LLMMaximale Durchsatzrate auf NVIDIA GPUsOpenLLMJedes offene Modell als OpenAI API mit einem Befehl bereitstellenKTransformersFühren Sie riesige MoE-Modelle auf einer Verbraucher-GPU ausBentoMLPacken Sie jedes Modell in eine Produktions-API

Ray Serve im Vergleich

Ray Serve vs vLLMRay Serve vs TGIRay Serve vs SGLangRay Serve vs LMDeployRay Serve vs Aphrodite EngineRay Serve vs TensorRT-LLMRay Serve vs OpenLLMRay Serve vs KTransformersRay Serve vs BentoML

Häufig gestellte Fragen

Ist Ray Serve kostenlos?

Ray Serve ist kostenlos und Open Source (Apache-2.0 Lizenz), sodass Sie es ohne Kosten nutzen, selbst hosten und modifizieren können.

Kann ich Ray Serve lokal ausführen?

Ja. Ray Serve ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.

Was ist die beste Alternative zu Ray Serve?

Beliebte Open-Source-Alternativen sind vLLM, TGI, SGLang. Siehe die Vergleiche oben zur Auswahl.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →