Aphrodite Engine

Servizio LLM ad alta capacità
Server di inferenzaServer di inferenzaAGPL-3.0Auto-ospitatoPythonAvanzato
🛡 Avvisi di sicurezza pubblicati
Un numero elevato di segnalazioni di solito significa che il progetto è ampiamente esaminato. Un numero basso di solito significa che è poco esaminato — non che sia sicuro.
Nessun segnale di attività pubblica per questo strumento — non ha un repository aperto che possiamo misurare.
Olud Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è l'Aphrodite Engine?

Aphrodite Engine è un server di inference ad alta capacità basato su vLLM, ottimizzato per servire molti utenti contemporaneamente con ampio supporto per quantizzazione e campionamento.

Perché le persone scelgono l'Aphrodite Engine

L'Aphrodite Engine in sintesi

CategoriaServer di inferenza
TipoServer di inferenza
LicenzaAGPL-3.0
Esegue localmenteAuto-ospitato
Costruito conPython
Livello di abilitàAvanzato
Migliore perservire molti utenti ad alta capacità

Alternative open-source ad Aphrodite Engine

Altri strumenti di server di inferenza open-source da confrontare:

vLLMServizio ad alta capacità per la produzioneTGIServer di testo in produzione di Hugging FaceSGLangServizio veloce con output strutturatiLMDeployToolkit per comprimere e servire LLMTensorRT-LLMMassima capacità su GPU NVIDIAOpenLLMServi qualsiasi modello aperto come un'API OpenAI in un comandoKTransformersEsegui enormi modelli MoE su una GPU consumerRay ServeScala il servizio dei modelli su un clusterBentoMLImballa qualsiasi modello in un'API di produzione

Aphrodite Engine testa a testa

Aphrodite Engine vs vLLMAphrodite Engine vs TGIAphrodite Engine vs SGLangAphrodite Engine vs LMDeployAphrodite Engine vs TensorRT-LLMAphrodite Engine vs OpenLLMAphrodite Engine vs KTransformersAphrodite Engine vs Ray ServeAphrodite Engine vs BentoML

FAQ

L'Aphrodite Engine è gratuito?

L'Aphrodite Engine è gratuito e open-source (licenza AGPL-3.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire l'Aphrodite Engine localmente?

Sì. L'Aphrodite Engine è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa all'Aphrodite Engine?

Le alternative open-source popolari includono vLLM, TGI, SGLang. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →