kvpress
Compressione della cache KV per LLM resa semplice
Comprimi l'uso della memoria per grandi modelli AI per renderli più facili da eseguire.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiCompressione della cache KV per LLM resa semplice
kvpress ha 1.1k stelle su GitHub. È stato forkato 164 volte. kvpress è scritto principalmente in Python. È in sviluppo attivo dal 2024. kvpress è disponibile con licenza Apache-2.0. I suoi temi principali sono: inference, kv-cache, kv-cache-compression, large-language-models.
Che cos'è kvpress?
Compressione della cache KV per LLM resa semplice
kvpress è open source?
kvpress è un progetto open source. È rilasciato con licenza Apache-2.0.
kvpress è gratuito?
Sì. kvpress è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è kvpress?
kvpress è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto kvpress?
kvpress è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/nvidia-kvpress.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.