KVQuant
[NeurIPS 2024] KVQuant : Vers une inférence LLM de 10 millions de longueurs de contexte avec quantification de cache KV
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout moment[NeurIPS 2024] KVQuant : Vers une inférence LLM de 10 millions de longueurs de contexte avec quantification de cache KV
KVQuant compte 431 étoiles sur GitHub. Il a été forké 46 fois. KVQuant est écrit principalement en Python. Il est développé activement depuis 2024. Ses principaux thèmes sont : compression, efficient-inference, efficient-model, large-language-models.
Qu'est-ce que KVQuant ?
[NeurIPS 2024] KVQuant : Vers une inférence LLM de 10 millions de longueurs de contexte avec quantification de cache KV
KVQuant est-il open source ?
KVQuant est un projet open source.
KVQuant est-il gratuit ?
Oui. KVQuant est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Dans quel langage KVQuant est-il écrit ?
KVQuant est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://opensourceai.tech/project/squeezeailab-kvquant.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.