MLC LLM

Esegui LLM su qualsiasi dispositivo, anche telefoni
Esegui LLM localmenteDistribuzione universale di LLMApache-2.0Esegue localmentePython / C++Avanzato
🛡 Avvisi di sicurezza pubblicati
Un numero elevato di segnalazioni di solito significa che il progetto è ampiamente esaminato. Un numero basso di solito significa che è poco esaminato — non che sia sicuro.
Nessun segnale di attività pubblica per questo strumento — non ha un repository aperto che possiamo misurare.
Olud Pulse ⓘ ★★★★★★★★★★ /100 segnali tracciati
🐳 download Docker 📦 download PyPI / mese 📦 download npm / mese 🚀 Ultima versione ·
Visita il sito →Visualizza su GitHub

Cos'è MLC LLM?

MLC LLM compila ed esegue LLM nativamente su GPU, browser e dispositivi mobili utilizzando la compilazione di machine learning per l'inference locale accelerata dall'hardware.

Perché le persone scelgono MLC LLM

MLC LLM a colpo d'occhio

CategoriaEsegui LLM localmente
TipoDistribuzione universale di LLM
LicenzaApache-2.0
Esegue localmenteSì
Costruito conPython / C++
Livello di abilitàAvanzato
Migliore peresecuzione di modelli su telefoni e web

Alternative open-source a MLC LLM

Altri strumenti open-source per eseguire LLM localmente da confrontare:

OllamaEsegui LLM open localmente con un comandoLM StudioSfoglia, scarica e chatta con modelli localiJanApp desktop in stile ChatGPT open-source e offlineGPT4AllAI locale privata che gira su CPUllama.cppIl motore C/C++ che alimenta l'inferenza localeLocalAIUn'API OpenAI che ospiti autonomamenteText Generation WebUIInterfaccia web ricca di funzionalità per modelli localiKoboldCppEseguitore di modelli locali in un singolo filellamafileUn file eseguibile = modello + runtimeexoEsegui modelli grandi sui tuoi dispositivi quotidianiCortexRuntime in stile Ollama del team di JanNexa SDKEsegui qualsiasi modello su qualsiasi dispositivo — CPU, GPU, NPURamaLamaEsegui modelli come contenitori OCIGPUStackGestisci cluster GPU per eseguire modelli

MLC LLM testa a testa

MLC LLM vs OllamaMLC LLM vs LM StudioMLC LLM vs JanMLC LLM vs GPT4AllMLC LLM vs llama.cppMLC LLM vs LocalAIMLC LLM vs Text Generation WebUIMLC LLM vs KoboldCppMLC LLM vs llamafileMLC LLM vs exoMLC LLM vs CortexMLC LLM vs Nexa SDKMLC LLM vs RamaLamaMLC LLM vs GPUStack

FAQ

MLC LLM è gratuito?

MLC LLM è gratuito e open-source (licenza Apache-2.0), quindi puoi usarlo, ospitarlo autonomamente e modificarlo senza costi.

Posso eseguire MLC LLM localmente?

Sì. MLC LLM è progettato per essere eseguito sulla tua macchina o server, mantenendo i tuoi dati privati.

Qual è la migliore alternativa a MLC LLM?

Le popolari alternative open-source includono Ollama, LM Studio, Jan. Vedi i confronti sopra per scegliere.

Esplora più AI open-source

Sfoglia l'intero elenco di strumenti, modelli e progetti AI open-source — aggiornato quotidianamente.

Sfoglia tutti gli strumenti →