llama.cpp

Die C/C++-Engine, die lokale Inferenz antreibt

LLMs lokal ausführenInference-Bibliothek (C/C++)MITLäuft lokalC/C++Fortgeschritten

🛡 Veröffentlichte Sicherheitsmeldungen

Eine hohe Anzahl bedeutet normalerweise, dass das Projekt intensiv untersucht wird. Eine niedrige Anzahl bedeutet normalerweise, dass es wenig untersucht wird — nicht, dass es sicher ist.

Keine öffentlichen Aktivitätssignale für dieses Tool — es hat kein offenes Repository, das wir messen können.

OSAI Pulse ⓘ ★★★★★★★★★★ /100 verfolgte Signale

🐳 Docker-Pulls 📦 PyPI-Downloads / Monat 📦 npm-Downloads / Monat 🚀 Neueste Version ·

Website besuchen →Auf GitHub ansehen

Was ist llama.cpp?

llama.cpp ist die leistungsstarke C/C++-Inference-Engine, die die meisten lokalen LLM-Tools unterstützt und GGUF-Modelle mit aggressiver Quantisierung über CPUs und GPUs unterstützt.

Warum Menschen llama.cpp wählen

Läuft fast überall, von Laptops bis Raspberry Pi
State-of-the-Art-Quantisierung (GGUF) für kleine Fußabdrücke
Die Engine, auf der viele andere Tools basieren

llama.cpp auf einen Blick

Kategorie	LLMs lokal ausführen
Typ	Inference-Bibliothek (C/C++)
Lizenz	MIT
Läuft lokal	Ja
Hergestellt mit	C/C++
Fähigkeitsstufe	Fortgeschritten
Am besten für	Entwickler, die maximale Kontrolle und Portabilität wünschen

Open-Source-Alternativen zu llama.cpp

Andere Open-Source-Tools zum lokalen Ausführen von LLMs, die einen Vergleich wert sind:

OllamaFühren Sie offene LLMs lokal mit einem Befehl aus

LM StudioDurchsuchen, Herunterladen und Chatten mit lokalen Modellen

JanOpen-Source, offline ChatGPT-ähnliche Desktop-App

GPT4AllPrivate lokale KI, die auf CPU läuft

LocalAIEine OpenAI-API, die Sie selbst hosten

Text Generation WebUIFunktionsreiche Web-UI für lokale Modelle

KoboldCppEinzeldatei-Läufer für lokale Modelle

MLC LLMLLMs auf jedem Gerät ausführen, sogar auf Handys

llamafileEine ausführbare Datei = Modell + Laufzeit

exoFühren Sie große Modelle auf Ihren Alltagsgeräten aus

CortexOllama-Stil Laufzeit vom Jan-Team

Nexa SDKFühren Sie jedes Modell auf jedem Gerät aus — CPU, GPU, NPU

RamaLamaFühren Sie Modelle als OCI-Container aus

GPUStackVerwalten Sie GPU-Cluster zum Ausführen von Modellen

llama.cpp im direkten Vergleich

llama.cpp vs Ollama llama.cpp vs LM Studio llama.cpp vs Jan llama.cpp vs GPT4All llama.cpp vs LocalAI llama.cpp vs Text Generation WebUI llama.cpp vs KoboldCpp llama.cpp vs MLC LLM llama.cpp vs llamafile llama.cpp vs exo llama.cpp vs Cortex llama.cpp vs Nexa SDK llama.cpp vs RamaLama llama.cpp vs GPUStack

Häufig gestellte Fragen

Ist llama.cpp kostenlos?

llama.cpp ist kostenlos und Open Source (MIT-Lizenz), sodass Sie es ohne Kosten nutzen, selbst hosten und modifizieren können.

Kann ich llama.cpp lokal ausführen?

Ja. llama.cpp ist so konzipiert, dass es auf Ihrem eigenen Computer oder Server läuft und Ihre Daten privat bleiben.

Was ist die beste Alternative zu llama.cpp?

Beliebte Open-Source-Alternativen sind Ollama, LM Studio, Jan. Sehen Sie sich die Vergleiche oben an, um zu wählen.

Entdecken Sie weitere Open-Source-AI

Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.

Alle Tools durchsuchen →