KVSplit
Esegui LLM più grandi con contesti più lunghi su Apple Silicon utilizzando precisione differenziata per la quantizzazione della cache KV. KVSplit consente chiavi a 8 bit e valori a 4 bit, riducendo la memoria del 59% con una perdita di qualità <1%. Include benchmarking, visualizzazione e un comando per eseguire
Esegui modelli AI più grandi su computer Apple ottimizzando l'uso della memoria con diverse precisioni dei dati.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiEsegui LLM più grandi con contesti più lunghi su Apple Silicon utilizzando precisione differenziata per la quantizzazione della cache KV. KVSplit consente chiavi a 8 bit e valori a 4 bit, riducendo la memoria del 59% con una perdita di qualità <1%. Include benchmarking, visualizzazione e un comando per eseguire
KVSplit ha 362 stelle su GitHub. È stato forkato 14 volte. KVSplit è scritto principalmente in Python. È in sviluppo attivo dal 2025. I suoi temi principali sono: apple-silicon, generative-ai, kv-cache, llama-cpp.
Che cos'è KVSplit?
Esegui LLM più grandi con contesti più lunghi su Apple Silicon utilizzando precisione differenziata per la quantizzazione della cache KV. KVSplit consente chiavi a 8 bit e valori a 4 bit, riducendo la memoria del 59% con una perdita di qualità
KVSplit è open source?
KVSplit è un progetto open source.
KVSplit è gratuito?
Sì. KVSplit è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
In quale linguaggio è scritto KVSplit?
KVSplit è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/dipampaul17-kvsplit.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.