localllm

5 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

Run local LLMs like llama, deepseek-distill, kokoro and more inside your browser

A generalized information-seeking agent system with Large Language Models (LLMs).

[ICML 2024] SqueezeLLM: Dense-and-Sparse Quantization

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

🔗 Familias relacionadas

localllama 5 efficient-inference 10 model-compression 19 quantization 51 small-models 4 text-generation 32 llamacpp 36 vllm 47

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.