KVSplit
Execute LLMs maiores com contextos mais longos em Apple Silicon usando precisão diferenciada para quantização de cache KV. KVSplit permite chaves de 8 bits e valores de 4 bits, reduzindo a memória em 59% com perda de qualidade <1%. Inclui benchmarking, visualização e execução de um comando
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserExecute LLMs maiores com contextos mais longos em Apple Silicon usando precisão diferenciada para quantização de cache KV. KVSplit permite chaves de 8 bits e valores de 4 bits, reduzindo a memória em 59% com perda de qualidade <1%. Inclui benchmarking, visualização e execução de um comando
KVSplit tem 361 estrelas no GitHub. Foi bifurcado 13 vezes. KVSplit é escrito principalmente em Python. Está em desenvolvimento ativo desde 2025. Os seus principais temas são: apple-silicon, generative-ai, kv-cache, llama-cpp.
O que é KVSplit?
Execute LLMs maiores com contextos mais longos em Apple Silicon usando precisão diferenciada para quantização de cache KV. KVSplit permite chaves de 8 bits e valores de 4 bits, reduzindo a memória em 59% com perda de qualidade
KVSplit é de código aberto?
KVSplit é um projeto de código aberto.
KVSplit é gratuito?
Sim. KVSplit é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Em que linguagem KVSplit está escrito?
KVSplit é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/dipampaul17-kvsplit.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.