omlx

Servidor de inferencia LLM con agrupamiento continuo y caché SSD para Apple Silicon — gestionado desde la barra de menú de macOS

por jundot · GitHub

21k

Estrellas

Ramas

Tendencias

Licencia

Creado

Último commit

Categoría

Lenguaje

apple-silicon inference-server llmApache-2.0Python

Ver en GitHub

En palabras simples

Ejecuta un servidor local en tu Mac para gestionar y optimizar el rendimiento del modelo de IA desde la barra de menú.

Del README

Instalar

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx
# Upgrade to the latest version

LRU eviction: Least-recently-used models are evicted automatically when memory runs low.
Manual load/unload: Interactive status badges in the admin panel let you load or unload models on demand.
Model pinning: Pin frequently used models to keep them always loaded.
Per-model TTL: Set an idle timeout per model to auto-unload after a period of inactivity.
Process memory enforcement: Total memory limit (default: system RAM - 8GB) prevents system-wide OOM.

Extractos del README del proyecto sobre GitHub. Los derechos de autor y las licencias permanecen con los respectivos autores.

¿Mantienes este proyecto?

Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.

Reivindicar esta pagina →

📈 Historial de estrellas

2026-06-282026-08-31

📈 Sigue omlx

Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.

Gratis · sin tarjeta · cancela cuando quieras

Recibir alertas por email →

📄 Acerca de

Servidor de inferencia LLM con agrupamiento continuo y caché SSD para Apple Silicon — gestionado desde la barra de menú de macOS

omlx tiene 21k estrellas en GitHub. Se ha bifurcado 1.8k veces. omlx está escrito principalmente en Python. Se desarrolla activamente desde 2026. omlx está disponible bajo la licencia Apache-2.0. Sus temas principales son: apple-silicon, inference-server, llm, macos.

❓ Frequently asked questions