omlx

Server di inferenza LLM con batching continuo e caching SSD per Apple Silicon — gestito dalla barra dei menu di macOS

di jundot · GitHub

21k

Stelle

1.8k

Fork

+2.3k questa settimana

Tendenze

Licenza

Creato

Ultimo commit

Categoria

Lingua

apple-silicon inference-server llmApache-2.0Python

Visualizza su GitHub

In parole semplici

Esegui un server locale sul tuo Mac per gestire e ottimizzare le prestazioni dei modelli AI dalla barra dei menu.

Dal README

Installa

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx
# Upgrade to the latest version

LRU eviction: Least-recently-used models are evicted automatically when memory runs low.
Manual load/unload: Interactive status badges in the admin panel let you load or unload models on demand.
Model pinning: Pin frequently used models to keep them always loaded.
Per-model TTL: Set an idle timeout per model to auto-unload after a period of inactivity.
Process memory enforcement: Total memory limit (default: system RAM - 8GB) prevents system-wide OOM.

Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.

Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →

📈 Storia delle stelle

2026-06-282026-08-31

📈 Segui omlx

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi

Ricevi avvisi via email →

📄 Informazioni

Server di inferenza LLM con batching continuo e caching SSD per Apple Silicon — gestito dalla barra dei menu di macOS

omlx ha 21k stelle su GitHub. È stato forkato 1.8k volte. omlx è scritto principalmente in Python. È in sviluppo attivo dal 2026. omlx è disponibile con licenza Apache-2.0. I suoi temi principali sono: apple-silicon, inference-server, llm, macos.

❓ Frequently asked questions