auto-round
Un algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
Optimisez les grands modèles de langage pour de meilleures performances avec un kit d'outils spécialisé.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentUn algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
auto-round compte 1.5k étoiles sur GitHub. Il a été forké 157 fois. auto-round est écrit principalement en Python. Il est développé activement depuis 2024. auto-round est disponible sous licence Apache-2.0. Ses principaux thèmes sont : diffusers, gguf, int4, llms.
Qu'est-ce que auto-round ?
Un algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
auto-round est-il open source ?
auto-round est un projet open source. Il est distribué sous licence Apache-2.0.
auto-round est-il gratuit ?
Oui. auto-round est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est auto-round ?
auto-round est disponible sous licence Apache-2.0.
Dans quel langage auto-round est-il écrit ?
auto-round est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://opensourceai.tech/project/intel-auto-round.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.