Aphrodite Engine

Serviço de LLM de alto desempenho
Servidor de inferênciaServidor de inferênciaAGPL-3.0Auto-hospedadoPythonAvançado
🛡 Avisos de segurança publicados
Um número alto geralmente significa que o projeto é amplamente examinado. Um número baixo geralmente significa que ele é pouco examinado — não que seja seguro.
Nenhum sinal de atividade pública para esta ferramenta — ela não possui um repositório aberto que possamos medir.
Olud Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o Aphrodite Engine?

Aphrodite Engine é um servidor de inferência de alto rendimento baseado em vLLM, otimizado para atender muitos usuários ao mesmo tempo com amplo suporte a quantização e amostragem.

Por que as pessoas escolhem o Aphrodite Engine

Aphrodite Engine em resumo

CategoriaServidor de inferência
TipoServidor de inferência
LicençaAGPL-3.0
Executa localmenteAuto-hospedado
Construído comPython
Nível de habilidadeAvançado
Melhor paraatendendo muitos usuários com alto rendimento

Alternativas de código aberto ao Aphrodite Engine

Outras ferramentas de servidor de inferência de código aberto que valem a pena comparar:

vLLMServiço de alta capacidade para produçãoTGIServidor de texto de produção da Hugging FaceSGLangServiço rápido com saídas estruturadasLMDeployKit de ferramentas para comprimir e servir LLMsTensorRT-LLMMáxima taxa de transferência em GPUs NVIDIAOpenLLMSirva qualquer modelo aberto como uma API OpenAI em um comandoKTransformersExecute enormes modelos MoE em uma GPU de consumidorRay ServeEscalone a entrega de modelos em um clusterBentoMLEmpacote qualquer modelo em uma API de produção

Aphrodite Engine em comparação

Aphrodite Engine vs vLLMAphrodite Engine vs TGIAphrodite Engine vs SGLangAphrodite Engine vs LMDeployAphrodite Engine vs TensorRT-LLMAphrodite Engine vs OpenLLMAphrodite Engine vs KTransformersAphrodite Engine vs Ray ServeAphrodite Engine vs BentoML

FAQ

O Aphrodite Engine é gratuito?

O Aphrodite Engine é gratuito e de código aberto (licença AGPL-3.0), então você pode usá-lo, hospedá-lo e modificá-lo sem custo.

Posso executar o Aphrodite Engine localmente?

Sim. O Aphrodite Engine é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao Aphrodite Engine?

Alternativas populares de código aberto incluem vLLM, TGI, SGLang. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →