KoboldCpp ist eine einfache, eigenständige Möglichkeit, GGUF-Modelle lokal mit einer integrierten Benutzeroberfläche, starken Sampler-Steuerungen und Unterstützung für Text, Bild und Sprache auszuführen.
| Kategorie | LLMs lokal ausführen |
| Typ | Lokale Laufzeit (eine Datei) |
| Lizenz | AGPL-3.0 |
| Läuft lokal | Ja |
| Hergestellt mit | C++ |
| Fähigkeitsstufe | Anfänger |
| Am besten für | Ein-Datei lokale Inferenz mit einer UI |
Andere Open-Source-Tools zum lokalen Ausführen von LLMs, die einen Vergleich wert sind:
OllamaFühren Sie offene LLMs lokal mit einem Befehl aus
JanOpen-Source, offline ChatGPT-ähnliche Desktop-App
GPT4AllPrivate lokale KI, die auf CPU läuft
llama.cppDie C/C++-Engine, die lokale Inferenz antreibt
LocalAIEine OpenAI-API, die Sie selbst hosten
Text Generation WebUIFunktionsreiche Web-UI für lokale Modelle
MLC LLMLLMs auf jedem Gerät ausführen, sogar auf Handys
llamafileEine ausführbare Datei = Modell + Laufzeit
exoFühren Sie große Modelle auf Ihren Alltagsgeräten aus
CortexOllama-Stil Laufzeit vom Jan-Team
Nexa SDKFühren Sie jedes Modell auf jedem Gerät aus — CPU, GPU, NPU
RamaLamaFühren Sie Modelle als OCI-Container aus
GPUStackVerwalten Sie GPU-Cluster zum Ausführen von ModellenKoboldCpp ist kostenlos und Open-Source (AGPL-3.0 Lizenz), sodass Sie es kostenlos nutzen, selbst hosten und modifizieren können.
Ja. KoboldCpp ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.
Beliebte Open-Source-Alternativen sind Ollama, LM Studio, Jan. Sehen Sie sich die Vergleiche oben an, um zu wählen.
Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.
Alle Tools durchsuchen →