GPTQModel
Toolkit zur Quantisierung (Kompression) von LLM-Modellen mit HW-Beschleunigungsunterstützung für Nvidia, AMD, Intel GPU und Intel/AMD/Apple CPU über HF, vLLM und SGLang.
Komprimieren Sie große Sprachmodelle, um sie schneller auf verschiedenen Arten von Computerhardware auszuführen.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarToolkit zur Quantisierung (Kompression) von LLM-Modellen mit HW-Beschleunigungsunterstützung für Nvidia, AMD, Intel GPU und Intel/AMD/Apple CPU über HF, vLLM und SGLang.
GPTQModel hat 1.2k Sterne auf GitHub. Es wurde 192-mal geforkt. GPTQModel ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. Die Hauptthemen sind: gptq, optimum, peft, quantization.
Was ist GPTQModel?
Toolkit zur Quantisierung (Kompression) von LLM-Modellen mit HW-Beschleunigungsunterstützung für Nvidia, AMD, Intel GPU und Intel/AMD/Apple CPU über HF, vLLM und SGLang.
Ist GPTQModel Open Source?
GPTQModel ist ein Open-Source-Projekt.
Ist GPTQModel kostenlos?
Ja. GPTQModel ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
In welcher Sprache ist GPTQModel geschrieben?
GPTQModel ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/modelcloud-gptqmodel.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.