omlx

Serveur d'inférence LLM avec traitement par lots continu et mise en cache SSD pour Apple Silicon — géré depuis la barre de menu macOS

par jundot · GitHub

21k

Étoiles

Forks

Tendances

Licence

Créé

Dernier commit

Catégorie

Langue

apple-silicon inference-server llmApache-2.0Python

Voir sur GitHub

En termes simples

Exécutez un serveur local sur votre Mac pour gérer et optimiser les performances des modèles IA depuis la barre de menu.

Depuis le README

Installer

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx
# Upgrade to the latest version

LRU eviction: Least-recently-used models are evicted automatically when memory runs low.
Manual load/unload: Interactive status badges in the admin panel let you load or unload models on demand.
Model pinning: Pin frequently used models to keep them always loaded.
Per-model TTL: Set an idle timeout per model to auto-unload after a period of inactivity.
Process memory enforcement: Total memory limit (default: system RAM - 8GB) prevents system-wide OOM.

Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.

Vous maintenez ce projet ?

Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.

Revendiquer cette page →

📈 Historique des étoiles

2026-06-282026-08-31

📈 Suivez omlx

Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.

Gratuit · sans carte · désinscription à tout moment

Recevoir des alertes e-mail →

📄 À propos

Serveur d'inférence LLM avec traitement par lots continu et mise en cache SSD pour Apple Silicon — géré depuis la barre de menu macOS

omlx compte 21k étoiles sur GitHub. Il a été forké 1.8k fois. omlx est écrit principalement en Python. Il est développé activement depuis 2026. omlx est disponible sous licence Apache-2.0. Ses principaux thèmes sont : apple-silicon, inference-server, llm, macos.

❓ Frequently asked questions