KVQuant
[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung
Implementieren Sie effiziente Verarbeitung langer Kontextlängen für Sprachmodelle mit Techniken zur Datenspeicherung mit niedriger Präzision.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbar[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung
KVQuant hat 433 Sterne auf GitHub. Es wurde 48-mal geforkt. KVQuant ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. Die Hauptthemen sind: compression, efficient-inference, efficient-model, large-language-models.
Was ist KVQuant?
[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung
Ist KVQuant Open Source?
KVQuant ist ein Open-Source-Projekt.
Ist KVQuant kostenlos?
Ja. KVQuant ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
In welcher Sprache ist KVQuant geschrieben?
KVQuant ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/squeezeailab-kvquant.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.