Medusa
Medusa: Einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Decoding-Head.
Beschleunigen Sie die Generierung großer Sprachmodelle mit einem einfachen Framework, das mehrere Dekodiermethoden unterstützt.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarMedusa: Einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Decoding-Head.
Medusa hat 2.8k Sterne auf GitHub. Es wurde 203-mal geforkt. Medusa ist hauptsächlich in Jupyter Notebook geschrieben. Es wird seit 2023 aktiv entwickelt. Medusa ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: llm, llm-inference.
Was ist Medusa?
Medusa: Einfaches Framework zur Beschleunigung der LLM-Generierung mit mehreren Decoding-Head.
Ist Medusa Open Source?
Medusa ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist Medusa kostenlos?
Ja. Medusa ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht Medusa?
Medusa ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist Medusa geschrieben?
Medusa ist hauptsächlich in Jupyter Notebook geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/fasterdecoding-medusa.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.