small-models

4 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

Bonsai-Image-Demo

Generate images locally

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

🔗 Verwandte Familien

efficient-inference 10 localllm 5 model-compression 19 quantization 51 text-generation 32 llamacpp 36 mlx 36 on-device-ai 23

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.