MLC LLM

Exécuter des LLM sur n'importe quel appareil, même les téléphones
Exécuter des LLM localementDéploiement universel de LLMApache-2.0S'exécute localementPython / C++Avancé
🛡 Avis de sécurité publiés
Un nombre élevé signifie généralement que le projet est fortement examiné. Un nombre faible signifie généralement qu'il est peu examiné — pas qu'il soit sûr.
Aucun signal d'activité publique pour cet outil — il n'a pas de dépôt ouvert que nous pouvons mesurer.
OSAI Pulse ⓘ ★★★★★★★★★★ /100 signaux suivis
🐳 téléchargements Docker 📦 téléchargements PyPI / mois 📦 téléchargements npm / mois 🚀 Dernière version ·
Visitez le site →Voir sur GitHub

Qu'est-ce que MLC LLM ?

MLC LLM compile et exécute des LLM nativement sur des GPU, des navigateurs et des appareils mobiles en utilisant la compilation d'apprentissage automatique pour une inférence locale accélérée par matériel.

Pourquoi les gens choisissent MLC LLM

MLC LLM en un coup d'œil

CatégorieExécuter des LLM localement
TypeDéploiement universel de LLM
LicenceApache-2.0
S'exécute localementOui
Construit avecPython / C++
Niveau de compétenceAvancé
Meilleur pourexécution de modèles sur des téléphones et le web

Alternatives open-source à MLC LLM

Autres outils open-source pour exécuter des LLM localement qui valent la peine d'être comparés :

OllamaExécuter des LLM open-source localement avec une seule commandeLM StudioParcourir, télécharger et discuter avec des modèles locauxJanApplication de bureau de style ChatGPT open-source et hors ligneGPT4AllIA locale privée qui s'exécute sur CPUllama.cppLe moteur C/C++ alimentant l'inférence localeLocalAIUne API OpenAI à auto-hébergerText Generation WebUIInterface web riche en fonctionnalités pour les modèles locauxKoboldCppExécuteur de modèle local en un seul fichierllamafileUn fichier exécutable = modèle + runtimeexoExécutez de grands modèles sur vos appareils quotidiensCortexRuntime de style Ollama de l'équipe JanNexa SDKExécutez n'importe quel modèle sur n'importe quel appareil — CPU, GPU, NPURamaLamaExécutez des modèles en tant que conteneurs OCIGPUStackGérez des clusters GPU pour exécuter des modèles

MLC LLM en tête-à-tête

MLC LLM vs OllamaMLC LLM vs LM StudioMLC LLM vs JanMLC LLM vs GPT4AllMLC LLM vs llama.cppMLC LLM vs LocalAIMLC LLM vs Text Generation WebUIMLC LLM vs KoboldCppMLC LLM vs llamafileMLC LLM vs exoMLC LLM vs CortexMLC LLM vs Nexa SDKMLC LLM vs RamaLamaMLC LLM vs GPUStack

FAQ

MLC LLM est-il gratuit ?

MLC LLM est gratuit et open-source (licence Apache-2.0), vous pouvez donc l'utiliser, l'héberger vous-même et le modifier sans frais.

Puis-je exécuter MLC LLM localement ?

Oui. MLC LLM est conçu pour fonctionner sur votre propre machine ou serveur, gardant vos données privées.

Quelle est la meilleure alternative à MLC LLM ?

Les alternatives open-source populaires incluent Ollama, LM Studio, Jan. Consultez les comparaisons ci-dessus pour choisir.

Explorez plus d'IA open-source

Parcourez le répertoire complet des outils, modèles et projets d'IA open-source — mis à jour quotidiennement.

Parcourez tous les outils →