metal
11 proyectos comparten este topic de GitHub
Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.
🧬 Miembros
turbo-fieldfare
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
★ 7.1k
uzu
A high-performance inference engine for AI models
★ 2.6k
node-llama-cpp
Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model…
★ 2.2k
vllm-metal
Community maintained hardware plugin for vLLM on Apple Silicon
★ 1.9k · GitHub ↗
tt-metal
:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.
★ 1.7k
RCLI
Talk to your Mac, query your docs, no cloud required. On-device voice AI + RAG
★ 1.5k
Wax
Shared Single-file memory layer for all your agents, sub mili-second RAG over text, photo and video on Apple…
★ 790
TensorSharp
A native .NET LLM inference engine and agent runtime for GGUF models. TensorSharp provides a console…
★ 632
metal-flash-attention
FlashAttention (Metal Port)
★ 612
KVSplit
Run larger LLMs with longer contexts on Apple Silicon by using differentiated precision for KV cache…
★ 362
Core-AI-Framework-Lab
A practical lab for exploring Apple's Core AI framework, model assets, specialization, and on-device…
★ 66
🔗 Familias relacionadas
Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.