auto-round
Un algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
Optimisez les modèles de langage de grande taille pour de meilleures performances avec un kit d'outils spécialisé.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentUn algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
auto-round compte 1.5k étoiles sur GitHub. Il a été forké 155 fois. auto-round est écrit principalement en Python. Il est développé activement depuis 2024. auto-round est disponible sous licence Apache-2.0. Ses principaux thèmes sont : diffusers, gguf, int4, llms.
Qu'est-ce que auto-round ?
Un algorithme de quantification SOTA pour l'inférence LLM à faible bit et haute précision, optimisé sans effort pour CPU/XPU/CUDA, avec support multi-type de données et pleine compatibilité avec vLLM, SGLang et Transformers.
auto-round est-il open source ?
auto-round est un projet open source. Il est distribué sous licence Apache-2.0.
auto-round est-il gratuit ?
Oui. auto-round est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est auto-round ?
auto-round est disponible sous licence Apache-2.0.
Dans quel langage auto-round est-il écrit ?
auto-round est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/intel-auto-round.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.