KVSplit
Ejecuta LLM más grandes con contextos más largos en Apple Silicon utilizando precisión diferenciada para la cuantización de caché KV. KVSplit permite claves de 8 bits y valores de 4 bits, reduciendo la memoria en un 59% con una pérdida de calidad de <1%. Incluye benchmarking, visualización y un comando para ejecutar.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasEjecuta LLM más grandes con contextos más largos en Apple Silicon utilizando precisión diferenciada para la cuantización de caché KV. KVSplit permite claves de 8 bits y valores de 4 bits, reduciendo la memoria en un 59% con una pérdida de calidad de <1%. Incluye benchmarking, visualización y un comando para ejecutar.
KVSplit tiene 361 estrellas en GitHub. Se ha bifurcado 13 veces. KVSplit está escrito principalmente en Python. Se desarrolla activamente desde 2025. Sus temas principales son: apple-silicon, generative-ai, kv-cache, llama-cpp.
¿Qué es KVSplit?
Ejecuta LLM más grandes con contextos más largos en Apple Silicon utilizando precisión diferenciada para la cuantización de caché KV. KVSplit permite claves de 8 bits y valores de 4 bits, reduciendo la memoria en un 59% con una pérdida de calidad de
¿KVSplit es de código abierto?
KVSplit es un proyecto de código abierto.
¿KVSplit es gratis?
Sí. KVSplit es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿En qué lenguaje está escrito KVSplit?
KVSplit está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/dipampaul17-kvsplit.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.