KVSplit
Exécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de <1 %. Comprend des benchmarks, de la visualisation et une commande unique.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentExécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de <1 %. Comprend des benchmarks, de la visualisation et une commande unique.
KVSplit compte 361 étoiles sur GitHub. Il a été forké 13 fois. KVSplit est écrit principalement en Python. Il est développé activement depuis 2025. Ses principaux thèmes sont : apple-silicon, generative-ai, kv-cache, llama-cpp.
Qu'est-ce que KVSplit ?
Exécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de
KVSplit est-il open source ?
KVSplit est un projet open source.
KVSplit est-il gratuit ?
Oui. KVSplit est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Dans quel langage KVSplit est-il écrit ?
KVSplit est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/dipampaul17-kvsplit.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.