Ollama

Executar LLMs abertos localmente com um comando

O que é o Ollama?

Ollama é um runtime local leve que baixa e executa modelos de pesos abertos com um único comando e expõe uma API REST compatível com OpenAI na sua máquina.

Por que as pessoas escolhem Ollama

• Pulls de modelo com um comando e a maior biblioteca de modelos
• API REST padrão que dezenas de ferramentas utilizam
• Excelente desempenho em Apple Silicon e baixa sobrecarga

Ollama em um relance

Alternativas de código aberto ao Ollama

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

LM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPUllama.cppO motor C/C++ que alimenta a inferência localLocalAIUma API OpenAI que você hospedaText Generation WebUIInterface web rica em recursos para modelos locaisKoboldCppExecutor de modelo local em um único arquivoMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoexoExecute grandes modelos em seus dispositivos do dia a diaCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCIGPUStackGerencie clusters de GPU para executar modelos

Ollama em comparação direta

FAQ