efficient-inference
10 proyectos comparten este topic de GitHub
Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.
🧬 Miembros
LLMCompiler
[ICML 2024] LLMCompiler: An LLM Compiler for Parallel Function Calling
★ 1.9k
EfficientFormer
EfficientFormerV2 [ICCV 2023] & EfficientFormer [NeurIPs 2022]
★ 1.1k
DeepCache
[CVPR 2024] DeepCache: Accelerating Diffusion Models for Free
★ 969
Awesome-Quantization-Papers
List of papers related to neural network quantization in recent AI conferences and journals.
★ 838
SqueezeLLM
[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization
★ 722
orthrus
Fast, lossless LLM inference via dual-view diffusion decoding.
★ 462
KVQuant
[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
★ 430
Awesome-Generation-Acceleration
📚 Collection of awesome generation acceleration resources.
★ 402
picollm
On-device LLM Inference Powered by X-Bit Quantization
★ 315
speculative-decoding
Explorations into some recent techniques surrounding speculative decoding
★ 307
🔗 Familias relacionadas
Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.