neural-compressor
SOTA quantizzazione LLM a bassa bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsità; tecniche di compressione dei modelli leader su PyTorch, TensorFlow e ONNX Runtime
Applica tecniche avanzate per ridurre le dimensioni dei modelli di machine learning per migliori prestazioni su framework popolari.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiSOTA quantizzazione LLM a bassa bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsità; tecniche di compressione dei modelli leader su PyTorch, TensorFlow e ONNX Runtime
neural-compressor ha 2.7k stelle su GitHub. È stato forkato 320 volte. neural-compressor è scritto principalmente in Python. È in sviluppo attivo dal 2020. neural-compressor è disponibile con licenza Apache-2.0. I suoi temi principali sono: auto-tuning, awq, fp4, gptq.
Che cos'è neural-compressor?
SOTA quantizzazione LLM a bassa bit (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsità; tecniche di compressione dei modelli leader su PyTorch, TensorFlow e ONNX Runtime
neural-compressor è open source?
neural-compressor è un progetto open source. È rilasciato con licenza Apache-2.0.
neural-compressor è gratuito?
Sì. neural-compressor è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è neural-compressor?
neural-compressor è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto neural-compressor?
neural-compressor è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/intel-neural-compressor.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.