KVQuant
[NeurIPS 2024] KVQuant: Hacia 10 Millones de Longitud de Contexto en Inferencia de LLM con Cuantización de Caché KV
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quieras[NeurIPS 2024] KVQuant: Hacia 10 Millones de Longitud de Contexto en Inferencia de LLM con Cuantización de Caché KV
KVQuant tiene 431 estrellas en GitHub. Se ha bifurcado 46 veces. KVQuant está escrito principalmente en Python. Se desarrolla activamente desde 2024. Sus temas principales son: compression, efficient-inference, efficient-model, large-language-models.
¿Qué es KVQuant?
[NeurIPS 2024] KVQuant: Hacia 10 Millones de Longitud de Contexto en Inferencia de LLM con Cuantización de Caché KV
¿KVQuant es de código abierto?
KVQuant es un proyecto de código abierto.
¿KVQuant es gratis?
Sí. KVQuant es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿En qué lenguaje está escrito KVQuant?
KVQuant está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/squeezeailab-kvquant.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.