localllm

6 progetti condividono questo topic GitHub

Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.

🧬 Membri

Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware…

Run local LLMs like llama, deepseek-distill, kokoro and more inside your browser

A generalized information-seeking agent system with Large Language Models (LLMs).

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

Open-source, local-first desktop AI agent for voice, gesture, gaze, browser and system automation with…

🔗 Famiglie affini

efficient-inference 10 model-compression 10 quantization 36 text-generation 16 transformer 59 llm-inference 65 local 17 tts 56

Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.