Medusa
Medusa: Framework Semplice per Accelerare la Generazione LLM con Teste di Decodifica Multiple
Accelera la generazione di modelli di linguaggio di grandi dimensioni utilizzando un framework semplice che supporta più metodi di decodifica.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiMedusa: Framework Semplice per Accelerare la Generazione LLM con Teste di Decodifica Multiple
Medusa ha 2.8k stelle su GitHub. È stato forkato 205 volte. Medusa è scritto principalmente in Jupyter Notebook. È in sviluppo attivo dal 2023. Medusa è disponibile con licenza Apache-2.0. I suoi temi principali sono: llm, llm-inference.
Che cos'è Medusa?
Medusa: Framework Semplice per Accelerare la Generazione LLM con Teste di Decodifica Multiple
Medusa è open source?
Medusa è un progetto open source. È rilasciato con licenza Apache-2.0.
Medusa è gratuito?
Sì. Medusa è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è Medusa?
Medusa è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto Medusa?
Medusa è scritto principalmente in Jupyter Notebook.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/fasterdecoding-medusa.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.