Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
Run large AI models that exceed your computer's memory by streaming them from your SSD.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserRun models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
inferssd tem 1.1k estrelas no GitHub. Foi bifurcado 80 vezes. inferssd é escrito principalmente em C++. Está em desenvolvimento ativo desde 2026. inferssd está disponível sob a licença Apache-2.0. Os seus principais temas são: apple-silicon, cuda, gguf, inference.
Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.
inferssd é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
Sim. inferssd é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
inferssd está disponível sob a licença Apache-2.0.
inferssd é escrito principalmente em C++.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/wici-ai-inferssd.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.