LocalAI

Uma API OpenAI que você hospeda

O que é o LocalAI?

LocalAI é uma API auto-hospedada, compatível com OpenAI, que executa LLMs, modelos de imagem e áudio em contêineres, projetada para que o mesmo código do cliente aponte para modelos locais ou hospedados.

Por que as pessoas escolhem o LocalAI

• Substituto da API OpenAI para paridade de dev para prod
• Multi-modal: texto, imagem e áudio em um servidor
• Implantação nativa de contêiner, amigável ao Kubernetes

LocalAI em um relance

Alternativas de código aberto ao LocalAI

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

OllamaExecutar LLMs abertos localmente com um comandoLM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPUllama.cppO motor C/C++ que alimenta a inferência localText Generation WebUIInterface web rica em recursos para modelos locaisKoboldCppExecutor de modelo local em um único arquivoMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoexoExecute grandes modelos em seus dispositivos do dia a diaCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCIGPUStackGerencie clusters de GPU para executar modelos

LocalAI confronto direto

FAQ