llama.cpp

Le moteur C/C++ alimentant l'inférence locale
Exécuter des LLM localementBibliothèque d'inférence (C/C++)MITS'exécute localementC/C++Avancé
🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — pas qu'il soit sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que llama.cpp ?

llama.cpp est le moteur d'inférence C/C++ haute performance qui sous-tend la plupart des outils LLM locaux, prenant en charge les modèles GGUF avec une quantification agressive sur CPU et GPU.

Pourquoi les gens choisissent llama.cpp

llama.cpp en un coup d'œil

CatégorieExécuter des LLM localement
TypeBibliothèque d'inférence (C/C++)
LicenceMIT
S'exécute localementOui
Construit avecC/C++
Niveau de compétenceAvancé
Meilleur pourdéveloppeurs qui veulent un contrôle et une portabilité maximaux

Alternatives open-source à llama.cpp

Autres outils open-source pour exécuter des LLM localement qui valent la peine d'être comparés :

OllamaExécuter des LLM open-source localement avec une seule commandeLM StudioParcourir, télécharger et discuter avec des modèles locauxJanApplication de bureau de style ChatGPT open-source et hors ligneGPT4AllIA locale privée qui s'exécute sur CPULocalAIUne API OpenAI à auto-hébergerText Generation WebUIInterface web riche en fonctionnalités pour les modèles locauxKoboldCppExécuteur de modèle local en un seul fichierMLC LLMExécuter des LLM sur n'importe quel appareil, même les téléphonesllamafileUn fichier exécutable = modèle + runtimeexoExécutez de grands modèles sur vos appareils quotidiensCortexRuntime de style Ollama de l'équipe JanNexa SDKExécutez n'importe quel modèle sur n'importe quel appareil — CPU, GPU, NPURamaLamaExécutez des modèles en tant que conteneurs OCIGPUStackGérez des clusters GPU pour exécuter des modèles

llama.cpp en tête-à-tête

llama.cpp vs Ollamallama.cpp vs LM Studiollama.cpp vs Janllama.cpp vs GPT4Allllama.cpp vs LocalAIllama.cpp vs Text Generation WebUIllama.cpp vs KoboldCppllama.cpp vs MLC LLMllama.cpp vs llamafilellama.cpp vs exollama.cpp vs Cortexllama.cpp vs Nexa SDKllama.cpp vs RamaLamallama.cpp vs GPUStack

FAQ

llama.cpp est-il gratuit ?

llama.cpp est gratuit et open-source (licence MIT), vous pouvez l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter llama.cpp localement ?

Oui. llama.cpp est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à llama.cpp ?

Les alternatives open-source populaires incluent Ollama, LM Studio, Jan. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →