MLC LLM kompiliert und führt LLMs nativ über GPUs, Browser und mobile Geräte aus, indem es maschinelles Lernen für hardwarebeschleunigte lokale Inferenz nutzt.
| Kategorie | LLMs lokal ausführen |
| Typ | Universelle LLM-Bereitstellung |
| Lizenz | Apache-2.0 |
| Läuft lokal | Ja |
| Hergestellt mit | Python / C++ |
| Fähigkeitsstufe | Fortgeschritten |
| Am besten für | Modelle auf Handys und im Web ausführen |
Andere Open-Source-Tools zum lokalen Ausführen von LLMs, die einen Vergleich wert sind:
OllamaFühren Sie offene LLMs lokal mit einem Befehl aus
JanOpen-Source, offline ChatGPT-ähnliche Desktop-App
GPT4AllPrivate lokale KI, die auf CPU läuft
llama.cppDie C/C++-Engine, die lokale Inferenz antreibt
LocalAIEine OpenAI-API, die Sie selbst hosten
Text Generation WebUIFunktionsreiche Web-UI für lokale Modelle
KoboldCppEinzeldatei-Läufer für lokale Modelle
llamafileEine ausführbare Datei = Modell + Laufzeit
exoFühren Sie große Modelle auf Ihren Alltagsgeräten aus
CortexOllama-Stil Laufzeit vom Jan-Team
Nexa SDKFühren Sie jedes Modell auf jedem Gerät aus — CPU, GPU, NPU
RamaLamaFühren Sie Modelle als OCI-Container aus
GPUStackVerwalten Sie GPU-Cluster zum Ausführen von ModellenMLC LLM ist kostenlos und Open-Source (Apache-2.0 Lizenz), sodass Sie es kostenlos nutzen, selbst hosten und modifizieren können.
Ja. MLC LLM ist dafür ausgelegt, auf Ihrem eigenen Computer oder Server zu laufen und Ihre Daten privat zu halten.
Beliebte Open-Source-Alternativen sind Ollama, LM Studio, Jan. Sehen Sie sich die Vergleiche oben an, um zu wählen.
Durchsuchen Sie das vollständige Verzeichnis von Open-Source-AI-Tools, Modellen und Projekten – täglich aktualisiert.
Alle Tools durchsuchen →