localllama

4 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

llama-swap

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

★ 5k

OllamaSharp

The easiest way to use Ollama in .NET

★ 1.4k

aikit

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

★ 539

KVQuant

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

★ 437

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.