localllama

4 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

The easiest way to use Ollama in .NET

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

🔗 Familias relacionadas

llamacpp 27 mistral 42 streaming 19 gemma 30 inference 74 mixtral 9 nvidia 19 open-source-llm 7

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.