Python

exo

Execute grandes modelos em seus dispositivos do dia a dia

por exo-explore · GPL-3.0

Do README

Instalar

brew install uv node

• uv (for Python dependency management)
• node (for building the dashboard) - version 18 or higher
• rust (to build Rust bindings, nightly for now)

Trechos do README do projeto em GitHub. Os direitos autorais e as licenças permanecem com os respectivos autores.

O que é o exo?

exo transforma os dispositivos que você já possui — Macs, PCs, telefones — em um cluster de IA auto-organizado, dividindo grandes modelos entre eles com descoberta automática de pares.

Por que as pessoas escolhem o exo?

• Agrega a memória de todos os seus dispositivos automaticamente
• API compatível com ChatGPT em seu próprio cluster
• Nenhum servidor GPU caro necessário para grandes modelos

exo em resumo

Alternativas de código aberto ao exo

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

OllamaExecutar LLMs abertos localmente com um comandoLM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPUllama.cppO motor C/C++ que alimenta a inferência localLocalAIUma API OpenAI que você hospedaText Generation WebUIInterface web rica em recursos para modelos locaisKoboldCppExecutor de modelo local em um único arquivoMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCIGPUStackGerencie clusters de GPU para executar modelos

exo em confronto direto

FAQ