efficient-inference

10 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

LLMCompiler

[ICML 2024] LLMCompiler: An LLM Compiler for Parallel Function Calling

★ 1.9k

EfficientFormer

EfficientFormerV2 [ICCV 2023] & EfficientFormer [NeurIPs 2022]

★ 1.1k

DeepCache

[CVPR 2024] DeepCache: Accelerating Diffusion Models for Free

★ 970

Awesome-Quantization-Papers

List of papers related to neural network quantization in recent AI conferences and journals.

★ 848

SqueezeLLM

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

★ 723

orthrus

Fast, lossless LLM inference via dual-view diffusion decoding.

★ 478

KVQuant

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

★ 433

Awesome-Generation-Acceleration

📚 Collection of awesome generation acceleration resources.

★ 401

picollm

On-device LLM Inference Powered by X-Bit Quantization

★ 317

speculative-decoding

Explorations into some recent techniques surrounding speculative decoding

★ 307

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.