Startseite› Projekte› KVQuant
KVQuant

KVQuant

von SqueezeAILab · GitHub

[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung

# compression# efficient-inference# efficient-model# large-language-models# llama
Auf GitHub ansehen
⭐ Sterne
431
🍴 Forks
46
📜 Lizenz
—
Lizenz nicht angegeben
📅 Erstellt
2024
🔄 Letzter Commit
1 yr ago
🏷️ Kategorie
compression
💻 Sprache
Python
🖥️ Selbst gehostet
Wahrscheinlich
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
KVQuant — GitHub preview card
📈 Sternhistorie
431430
2026-07-202026-07-29
📈 KVQuant verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung

KVQuant hat 431 Sterne auf GitHub. Es wurde 46-mal geforkt. KVQuant ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. Die Hauptthemen sind: compression, efficient-inference, efficient-model, large-language-models.

❓ Frequently asked questions

Was ist KVQuant?

[NeurIPS 2024] KVQuant: Auf dem Weg zu 10 Millionen Kontextlängen-LLM-Inferenz mit KV-Cache-Quantisierung

Ist KVQuant Open Source?

KVQuant ist ein Open-Source-Projekt.

Ist KVQuant kostenlos?

Ja. KVQuant ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

In welcher Sprache ist KVQuant geschrieben?

KVQuant ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — KVQuant

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=squeezeailab-kvquant)](https://opensourceai.tech/project/squeezeailab-kvquant.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
SqueezeLLM
[ICML 2024] SqueezeLLM: Dichte- und spärliche Quantisierung.
★ 722 · efficient-inference
teiltsmall-modelslocalllm
picollm
On-Device LLM-Inferenz, unterstützt durch X-Bit-Quantisierung
★ 315 · compression
teiltefficient-inferencemodel-compression
KIVI
[ICML 2024] KIVI: Eine Tuning-freie asymmetrische 2-Bit-Quantisierung für KV-Cache
★ 423 · inference
teiltquantizationtransformer
llama-swap
Zuverlässiges Modellwechseln für jeden lokalen OpenAI/Anthropic-kompatiblen Server - llama.cpp,…
★ 5.2k · golang
teiltlocalllamalocalllm
Awesome-Quantization-Papers
Liste von Arbeiten zur Quantisierung neuronaler Netzwerke in aktuellen KI-Konferenzen und -Zeit…
★ 838 · awesome-list
teiltefficient-inferencemodel-compression
headroom
Kompresse Toolausgaben, Protokolle, Dateien und RAG-Chunks, bevor sie das LLM erreichen. 20 % w…
★ 63k · agent
DeepSpeed
DeepSpeed ist eine Optimierungsbibliothek für Deep Learning, die verteiltes Training und Infere…
★ 42.8k · billion-parameters
PaddleNLP
Einfache und leistungsstarke LLM- und SLM-Bibliothek mit fantastischem Modell-Zoo.
★ 13k · bert
SimpleMem
SimpleMem: Effiziente lebenslange Speicherung für LLM-Agenten — Text & Multimodal
★ 3.7k · agent
vortex
Ein erweiterbares, hochmodernes Framework für spaltenbasierte Kompression und das schnellste FO…
★ 3.1k · array

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.