inferssd
Führen Sie Modelle aus, die größer sind als Ihr RAM oder VRAM, indem Sie MoE-Experten von der SSD streamen. Basierend auf llama.cpp.
Führen Sie große KI-Modelle aus, die den Speicher Ihres Computers überschreiten, indem Sie sie von Ihrer SSD streamen.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarFühren Sie Modelle aus, die größer sind als Ihr RAM oder VRAM, indem Sie MoE-Experten von der SSD streamen. Basierend auf llama.cpp.
inferssd hat 1.1k Sterne auf GitHub. Es wurde 80-mal geforkt. inferssd ist hauptsächlich in C++ geschrieben. Es wird seit 2026 aktiv entwickelt. inferssd ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: apple-silicon, cuda, gguf, inference.
Was ist inferssd?
Führen Sie Modelle aus, die größer sind als Ihr RAM oder VRAM, indem Sie MoE-Experten von der SSD streamen. Basierend auf llama.cpp.
Ist inferssd Open Source?
inferssd ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist inferssd kostenlos?
Ja. inferssd ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht inferssd?
inferssd ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist inferssd geschrieben?
inferssd ist hauptsächlich in C++ geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/wici-ai-inferssd.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.