GPTQModel
Toolkit di quantizzazione (compressione) del modello LLM con supporto per accelerazione HW per GPU Nvidia, AMD, Intel e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
Comprimi modelli di linguaggio di grandi dimensioni per farli funzionare più velocemente su vari tipi di hardware per computer.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiToolkit di quantizzazione (compressione) del modello LLM con supporto per accelerazione HW per GPU Nvidia, AMD, Intel e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
GPTQModel ha 1.2k stelle su GitHub. È stato forkato 195 volte. GPTQModel è scritto principalmente in Python. È in sviluppo attivo dal 2024. I suoi temi principali sono: gptq, optimum, peft, quantization.
Che cos'è GPTQModel?
Toolkit di quantizzazione (compressione) del modello LLM con supporto per accelerazione HW per GPU Nvidia, AMD, Intel e CPU Intel/AMD/Apple tramite HF, vLLM e SGLang.
GPTQModel è open source?
GPTQModel è un progetto open source.
GPTQModel è gratuito?
Sì. GPTQModel è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
In quale linguaggio è scritto GPTQModel?
GPTQModel è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/modelcloud-gptqmodel.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.