auto-round
Ein SOTA-Quantisierungsalgorithmus für hochgenaue Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und vollständiger Kompatibilität mit vLLM, SGLang und Transformers.
Optimieren Sie große Sprachmodelle für eine bessere Leistung mit einem spezialisierten Toolkit.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarEin SOTA-Quantisierungsalgorithmus für hochgenaue Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und vollständiger Kompatibilität mit vLLM, SGLang und Transformers.
auto-round hat 1.5k Sterne auf GitHub. Es wurde 157-mal geforkt. auto-round ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. auto-round ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: diffusers, gguf, int4, llms.
Was ist auto-round?
Ein SOTA-Quantisierungsalgorithmus für hochgenaue Low-Bit-LLM-Inferenz, nahtlos optimiert für CPU/XPU/CUDA, mit Unterstützung für mehrere Datentypen und vollständiger Kompatibilität mit vLLM, SGLang und Transformers.
Ist auto-round Open Source?
auto-round ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist auto-round kostenlos?
Ja. auto-round ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht auto-round?
auto-round ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist auto-round geschrieben?
auto-round ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/intel-auto-round.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.