LMCache
LMCache: Potenzia il tuo LLM con il layer KV cache più veloce
Accelera le prestazioni dei modelli di linguaggio di grandi dimensioni con un sistema di caching specializzato.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiLMCache: Potenzia il tuo LLM con il layer KV cache più veloce
LMCache ha 10.9k stelle su GitHub. È stato forkato 1.6k volte. LMCache è scritto principalmente in Python. È in sviluppo attivo dal 2024. LMCache è disponibile con licenza Apache-2.0. I suoi temi principali sono: amd, cuda, fast, inference.
Che cos'è LMCache?
LMCache: Potenzia il tuo LLM con il layer KV cache più veloce
LMCache è open source?
LMCache è un progetto open source. È rilasciato con licenza Apache-2.0.
LMCache è gratuito?
Sì. LMCache è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è LMCache?
LMCache è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto LMCache?
LMCache è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://opensourceai.tech/project/lmcache-lmcache.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.