localllama

5 projetos partilham este topic do GitHub

Linhas conectam membros que estão mensuravelmente relacionados entre si. O tamanho do ponto reflete estrelas.

🧬 Membros

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

The easiest way to use Ollama in .NET

✨ Kubectl plugin to create manifests with LLMs

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

🔗 Familias relacionadas

llamacpp 36 localllm 5 mistral 66 vllm 47 ollama-api 6 streaming 36 gemma 30 inference 94

Medido a partir dos tópicos do GitHub compartilhados por ambos os projetos, ponderado pela raridade de cada tópico.