inference-server
7 proyectos comparten este topic de GitHub
Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.
🧬 Miembros
omlx
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu…
★ 23.1k
Rapid-MLX
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM inference server and Mac app…
★ 3.9k
sie
Open-source inference server and production cluster for all the models your agent needs.
★ 3.5k
ramalama
RamaLama is an open-source developer tool that simplifies the local serving of AI models from any source and…
★ 3.1k
inference
Turn any computer or edge device into a command center for your computer vision projects.
★ 2.4k
vllm-mlx
High-performance OpenAI and Anthropic compatible LLM inference server for Apple Silicon. Native MLX,…
★ 1.6k
TurboOCR
TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC
★ 1.1k
🔗 Familias relacionadas
Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.