localllama

4 progetti condividono questo topic GitHub

Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.

🧬 Membri

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

The easiest way to use Ollama in .NET

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

🔗 Famiglie affini

llamacpp 28 mistral 42 streaming 21 gemma 29 inference 81 mixtral 9 nvidia 21 open-source-llm 7

Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.