GPTQModel
Kit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración de HW para Nvidia, AMD, Intel GPU y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.
Comprime modelos de lenguaje grandes para que funcionen más rápido en varios tipos de hardware informático.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasKit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración de HW para Nvidia, AMD, Intel GPU y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.
GPTQModel tiene 1.2k estrellas en GitHub. Se ha bifurcado 195 veces. GPTQModel está escrito principalmente en Python. Se desarrolla activamente desde 2024. Sus temas principales son: gptq, optimum, peft, quantization.
¿Qué es GPTQModel?
Kit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración de HW para Nvidia, AMD, Intel GPU y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.
¿GPTQModel es de código abierto?
GPTQModel es un proyecto de código abierto.
¿GPTQModel es gratis?
Sí. GPTQModel es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿En qué lenguaje está escrito GPTQModel?
GPTQModel está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/modelcloud-gptqmodel.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.