KVSplit
Exécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de <1 %. Comprend des benchmarks, de la visualisation et une commande unique.
Exécutez des modèles d'IA plus grands sur des ordinateurs Apple en optimisant l'utilisation de la mémoire avec différentes précisions de données.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentExécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de <1 %. Comprend des benchmarks, de la visualisation et une commande unique.
KVSplit compte 362 étoiles sur GitHub. Il a été forké 14 fois. KVSplit est écrit principalement en Python. Il est développé activement depuis 2025. Ses principaux thèmes sont : apple-silicon, generative-ai, kv-cache, llama-cpp.
Qu'est-ce que KVSplit ?
Exécutez des LLM plus grands avec des contextes plus longs sur Apple Silicon en utilisant une précision différenciée pour la quantification du cache KV. KVSplit permet des clés de 8 bits et des valeurs de 4 bits, réduisant la mémoire de 59 % avec une perte de qualité de
KVSplit est-il open source ?
KVSplit est un projet open source.
KVSplit est-il gratuit ?
Oui. KVSplit est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Dans quel langage KVSplit est-il écrit ?
KVSplit est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/dipampaul17-kvsplit.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.