Accelera le prestazioni dei modelli di linguaggio di grandi dimensioni con un sistema di caching specializzato.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiLMCache: Potenzia il tuo LLM con il layer KV cache più veloce
LMCache ha 11.6k stelle su GitHub. È stato forkato 1.8k volte. LMCache è scritto principalmente in Python. È in sviluppo attivo dal 2024. LMCache è disponibile con licenza Apache-2.0. I suoi temi principali sono: amd, cuda, fast, inference.
Che cos'è LMCache?
LMCache: Potenzia il tuo LLM con il layer KV cache più veloce
LMCache è open source?
LMCache è un progetto open source. È rilasciato con licenza Apache-2.0.
LMCache è gratuito?
Sì. LMCache è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è LMCache?
LMCache è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto LMCache?
LMCache è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/lmcache-lmcache.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.