auto-round
Un algoritmo de cuantización SOTA para inferencia de LLM de baja precisión y alta precisión, optimizado sin problemas para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y total compatibilidad con vLLM, SGLang y Transformers.
Optimiza modelos de lenguaje grande para un mejor rendimiento con un kit de herramientas especializado.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasUn algoritmo de cuantización SOTA para inferencia de LLM de baja precisión y alta precisión, optimizado sin problemas para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y total compatibilidad con vLLM, SGLang y Transformers.
auto-round tiene 1.5k estrellas en GitHub. Se ha bifurcado 155 veces. auto-round está escrito principalmente en Python. Se desarrolla activamente desde 2024. auto-round está disponible bajo la licencia Apache-2.0. Sus temas principales son: diffusers, gguf, int4, llms.
¿Qué es auto-round?
Un algoritmo de cuantización SOTA para inferencia de LLM de baja precisión y alta precisión, optimizado sin problemas para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y total compatibilidad con vLLM, SGLang y Transformers.
¿auto-round es de código abierto?
auto-round es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿auto-round es gratis?
Sí. auto-round es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está auto-round?
auto-round está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito auto-round?
auto-round está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/intel-auto-round.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.