auto-round
Un algoritmo di quantizzazione SOTA per inferenze LLM a bassa precisione e alta accuratezza, ottimizzato senza soluzione di continuità per CPU/XPU/CUDA, con supporto multi-tipo di dati e piena compatibilità con vLLM, SGLang e Transformers.
Ottimizza i modelli di linguaggio di grandi dimensioni per migliori prestazioni con un toolkit specializzato.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiUn algoritmo di quantizzazione SOTA per inferenze LLM a bassa precisione e alta accuratezza, ottimizzato senza soluzione di continuità per CPU/XPU/CUDA, con supporto multi-tipo di dati e piena compatibilità con vLLM, SGLang e Transformers.
auto-round ha 1.5k stelle su GitHub. È stato forkato 157 volte. auto-round è scritto principalmente in Python. È in sviluppo attivo dal 2024. auto-round è disponibile con licenza Apache-2.0. I suoi temi principali sono: diffusers, gguf, int4, llms.
Che cos'è auto-round?
Un algoritmo di quantizzazione SOTA per inferenze LLM a bassa precisione e alta accuratezza, ottimizzato senza soluzione di continuità per CPU/XPU/CUDA, con supporto multi-tipo di dati e piena compatibilità con vLLM, SGLang e Transformers.
auto-round è open source?
auto-round è un progetto open source. È rilasciato con licenza Apache-2.0.
auto-round è gratuito?
Sì. auto-round è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è auto-round?
auto-round è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto auto-round?
auto-round è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/intel-auto-round.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.