Python

Aphrodite Engine

Service LLM à haut débit
par PygmalionAI · AGPL-3.0
Serveur d'inférenceServeur d'inférenceAGPL-3.0Auto-hébergéPythonAvancé

Depuis le README

Installer
curl -fsSL https://sonar.dphn.ai/install.sh | bash

Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.

🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — cela ne veut pas dire qu'il est sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
Olud Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que l'Aphrodite Engine ?

Aphrodite Engine est un serveur d'inférence à haut débit basé sur vLLM, optimisé pour servir de nombreux utilisateurs simultanément avec un large support de quantification et d'échantillonnage.

Pourquoi les gens choisissent l'Aphrodite Engine

Aphrodite Engine en un coup d'œil

CatégorieServeur d'inférence
TypeServeur d'inférence
LicenceAGPL-3.0
S'exécute localementAuto-hébergé
Construit avecPython
Niveau de compétenceAvancé
Meilleur pourservir de nombreux utilisateurs à haut débit

Alternatives open-source à Aphrodite Engine

Autres outils de serveur d'inférence open-source à comparer :

vLLMService à haut débit pour la productionTGIServeur de texte en production de Hugging FaceSGLangService rapide avec des sorties structuréesLMDeployBoîte à outils pour compresser et servir les LLMsTensorRT-LLMDébit maximal sur les GPU NVIDIAOpenLLMServez n'importe quel modèle ouvert comme une API OpenAI en une commandeKTransformersExécutez d'énormes modèles MoE sur un GPU grand publicRay ServeÉvoluez le service de modèles à travers un clusterBentoMLEmballer n'importe quel modèle dans une API de production

Aphrodite Engine en tête-à-tête

Aphrodite Engine vs vLLMAphrodite Engine vs TGIAphrodite Engine vs SGLangAphrodite Engine vs LMDeployAphrodite Engine vs TensorRT-LLMAphrodite Engine vs OpenLLMAphrodite Engine vs KTransformersAphrodite Engine vs Ray ServeAphrodite Engine vs BentoML

FAQ

L'Aphrodite Engine est-il gratuit ?

L'Aphrodite Engine est gratuit et open-source (licence AGPL-3.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter l'Aphrodite Engine localement ?

Oui. L'Aphrodite Engine est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à l'Aphrodite Engine ?

Les alternatives open-source populaires incluent vLLM, TGI, SGLang. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →