PowerInfer
Hochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung
Große Sprachmodelle auf Ihrem eigenen Gerät für eine schnelle Textgenerierung ausführen.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarHochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung
PowerInfer hat 9.8k Sterne auf GitHub. Es wurde 597-mal geforkt. PowerInfer ist hauptsächlich in C++ geschrieben. Es wird seit 2023 aktiv entwickelt. PowerInfer ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: large-language-models, llama, llm, llm-inference.
Was ist PowerInfer?
Hochgeschwindigkeits-Serving von großen Sprachmodellen für lokale Bereitstellung
Ist PowerInfer Open Source?
PowerInfer ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist PowerInfer kostenlos?
Ja. PowerInfer ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht PowerInfer?
PowerInfer ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist PowerInfer geschrieben?
PowerInfer ist hauptsächlich in C++ geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/tiiny-ai-powerinfer.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.