llama.cpp

O motor C/C++ que alimenta a inferência local
Executar LLMs localmenteBiblioteca de inferência (C/C++)MITExecuta localmenteC/C++Avançado
🛡 Avisos de segurança publicados
Um número alto geralmente significa que o projeto é amplamente examinado. Um número baixo geralmente significa que ele é pouco examinado — não que seja seguro.
Nenhum sinal de atividade pública para esta ferramenta — ela não possui um repositório aberto que possamos medir.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 sinais rastreados
🐳 pulls do Docker 📦 downloads do PyPI / mês 📦 downloads do npm / mês 🚀 Última versão ·
Visitar site →Ver no GitHub

O que é o llama.cpp?

llama.cpp é o motor de inferência de alto desempenho C/C++ que fundamenta a maioria das ferramentas LLM locais, suportando modelos GGUF com quantização agressiva em CPUs e GPUs.

Por que as pessoas escolhem o llama.cpp

llama.cpp em resumo

CategoriaExecutar LLMs localmente
TipoBiblioteca de inferência (C/C++)
LicençaMIT
Executa localmenteSim
Construído comC/C++
Nível de habilidadeAvançado
Melhor paradesenvolvedores que desejam controle máximo e portabilidade

Alternativas de código aberto ao llama.cpp

Outras ferramentas de código aberto para executar LLMs localmente que valem a pena comparar:

OllamaExecutar LLMs abertos localmente com um comandoLM StudioNavegar, baixar e conversar com modelos locaisJanAplicativo de desktop estilo ChatGPT, offline e de código abertoGPT4AllIA local privada que roda em CPULocalAIUma API OpenAI que você hospedaText Generation WebUIInterface web rica em recursos para modelos locaisKoboldCppExecutor de modelo local em um único arquivoMLC LLMExecutar LLMs em qualquer dispositivo, até mesmo em telefonesllamafileUm arquivo executável = modelo + tempo de execuçãoexoExecute grandes modelos em seus dispositivos do dia a diaCortexTempo de execução estilo Ollama da equipe JanNexa SDKExecute qualquer modelo em qualquer dispositivo — CPU, GPU, NPURamaLamaExecute modelos como contêineres OCIGPUStackGerencie clusters de GPU para executar modelos

Comparação direta do llama.cpp

llama.cpp vs Ollamallama.cpp vs LM Studiollama.cpp vs Janllama.cpp vs GPT4Allllama.cpp vs LocalAIllama.cpp vs Text Generation WebUIllama.cpp vs KoboldCppllama.cpp vs MLC LLMllama.cpp vs llamafilellama.cpp vs exollama.cpp vs Cortexllama.cpp vs Nexa SDKllama.cpp vs RamaLamallama.cpp vs GPUStack

FAQ

O llama.cpp é gratuito?

O llama.cpp é gratuito e de código aberto (licença MIT), então você pode usar, auto-hospedar e modificar sem custo.

Posso executar o llama.cpp localmente?

Sim. O llama.cpp é projetado para rodar na sua própria máquina ou servidor, mantendo seus dados privados.

Qual é a melhor alternativa ao llama.cpp?

Alternativas populares de código aberto incluem Ollama, LM Studio, Jan. Veja as comparações acima para escolher.

Explore mais IA de código aberto

Navegue pelo diretório completo de ferramentas, modelos e projetos de IA de código aberto — atualizado diariamente.

Navegue por todas as ferramentas →