llama.cpp

Il motore C/C++ che alimenta l'inferenza locale
Esegui LLM localmenteLibreria di inferenza (C/C++)MITEsegue localmenteC/C++Avanzato
🛡 Avvisi di sicurezza pubblicati
Un numero elevato di segnalazioni di solito significa che il progetto è ampiamente esaminato. Un numero basso di solito significa che è poco esaminato — non che sia sicuro.
Nessun segnale di attività pubblica per questo strumento — non ha un repository aperto che possiamo misurare.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è llama.cpp?

llama.cpp è il motore di inferenza ad alte prestazioni C/C++ che supporta la maggior parte degli strumenti LLM locali, supportando modelli GGUF con quantizzazione aggressiva su CPU e GPU.

Perché le persone scelgono llama.cpp

llama.cpp a colpo d'occhio

CategoriaEsegui LLM localmente
TipoLibreria di inferenza (C/C++)
LicenzaMIT
Esegue localmenteSì
Costruito conC/C++
Livello di abilitàAvanzato
Migliore persviluppatori che vogliono il massimo controllo e portabilità

Alternative open-source a llama.cpp

Altri strumenti open-source per eseguire LLM localmente da confrontare:

OllamaEsegui LLM open localmente con un comandoLM StudioSfoglia, scarica e chatta con modelli localiJanApp desktop in stile ChatGPT open-source e offlineGPT4AllAI locale privata che gira su CPULocalAIUn'API OpenAI che ospiti autonomamenteText Generation WebUIInterfaccia web ricca di funzionalità per modelli localiKoboldCppEseguitore di modelli locali in un singolo fileMLC LLMEsegui LLM su qualsiasi dispositivo, anche telefonillamafileUn file eseguibile = modello + runtimeexoEsegui modelli grandi sui tuoi dispositivi quotidianiCortexRuntime in stile Ollama del team di JanNexa SDKEsegui qualsiasi modello su qualsiasi dispositivo — CPU, GPU, NPURamaLamaEsegui modelli come contenitori OCIGPUStackGestisci cluster GPU per eseguire modelli

llama.cpp testa a testa

llama.cpp vs Ollamallama.cpp vs LM Studiollama.cpp vs Janllama.cpp vs GPT4Allllama.cpp vs LocalAIllama.cpp vs Text Generation WebUIllama.cpp vs KoboldCppllama.cpp vs MLC LLMllama.cpp vs llamafilellama.cpp vs exollama.cpp vs Cortexllama.cpp vs Nexa SDKllama.cpp vs RamaLamallama.cpp vs GPUStack

FAQ

llama.cpp è gratuito?

llama.cpp è gratuito e open-source (licenza MIT), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire llama.cpp localmente?

Sì. llama.cpp è progettato per funzionare sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a llama.cpp?

Le popolari alternative open-source includono Ollama, LM Studio, Jan. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →