KVSplit
Führen Sie größere LLMs mit längeren Kontexten auf Apple Silicon aus, indem Sie differenzierte Präzision für die KV-Cache-Quantisierung verwenden. KVSplit ermöglicht 8-Bit-Schlüssel und 4-Bit-Werte, wodurch der Speicher um 59 % bei <1 % Qualitätsverlust reduziert wird. Beinhaltet Benchmarking, Visualisierung und einen Befehl zur Ausführung.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarFühren Sie größere LLMs mit längeren Kontexten auf Apple Silicon aus, indem Sie differenzierte Präzision für die KV-Cache-Quantisierung verwenden. KVSplit ermöglicht 8-Bit-Schlüssel und 4-Bit-Werte, wodurch der Speicher um 59 % bei <1 % Qualitätsverlust reduziert wird. Beinhaltet Benchmarking, Visualisierung und einen Befehl zur Ausführung.
KVSplit hat 361 Sterne auf GitHub. Es wurde 13-mal geforkt. KVSplit ist hauptsächlich in Python geschrieben. Es wird seit 2025 aktiv entwickelt. Die Hauptthemen sind: apple-silicon, generative-ai, kv-cache, llama-cpp.
Was ist KVSplit?
Führen Sie größere LLMs mit längeren Kontexten auf Apple Silicon aus, indem Sie differenzierte Präzision für die KV-Cache-Quantisierung verwenden. KVSplit ermöglicht 8-Bit-Schlüssel und 4-Bit-Werte, wodurch der Speicher um 59 % bei
Ist KVSplit Open Source?
KVSplit ist ein Open-Source-Projekt.
Ist KVSplit kostenlos?
Ja. KVSplit ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
In welcher Sprache ist KVSplit geschrieben?
KVSplit ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/dipampaul17-kvsplit.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.