Server di inferenza LLM con batching continuo e caching SSD per Apple Silicon — gestito dalla barra dei menu di macOS
Esegui un server locale sul tuo Mac per gestire e ottimizzare le prestazioni del modello AI dalla barra dei menu.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiServer di inferenza LLM con batching continuo e caching SSD per Apple Silicon — gestito dalla barra dei menu di macOS
omlx ha 18.3k stelle su GitHub. È stato forkato 1.6k volte. omlx è scritto principalmente in Python. È in sviluppo attivo dal 2026. omlx è disponibile con licenza Apache-2.0. I suoi temi principali sono: apple-silicon, inference-server, llm, macos.
Server di inferenza LLM con batching continuo e caching SSD per Apple Silicon — gestito dalla barra dei menu di macOS
omlx è un progetto open source. È rilasciato con licenza Apache-2.0.
Sì. omlx è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
omlx è disponibile con licenza Apache-2.0.
omlx è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/jundot-omlx.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.