auto-round
Um algoritmo de quantização SOTA para inferência LLM de baixa precisão e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e total compatibilidade com vLLM, SGLang e Transformers.
Otimize grandes modelos de linguagem para melhor desempenho com um kit de ferramentas especializado.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserUm algoritmo de quantização SOTA para inferência LLM de baixa precisão e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e total compatibilidade com vLLM, SGLang e Transformers.
auto-round tem 1.5k estrelas no GitHub. Foi bifurcado 157 vezes. auto-round é escrito principalmente em Python. Está em desenvolvimento ativo desde 2024. auto-round está disponível sob a licença Apache-2.0. Os seus principais temas são: diffusers, gguf, int4, llms.
O que é auto-round?
Um algoritmo de quantização SOTA para inferência LLM de baixa precisão e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e total compatibilidade com vLLM, SGLang e Transformers.
auto-round é de código aberto?
auto-round é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
auto-round é gratuito?
Sim. auto-round é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está auto-round?
auto-round está disponível sob a licença Apache-2.0.
Em que linguagem auto-round está escrito?
auto-round é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/intel-auto-round.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.