LLM-Inferenz-Engine in großem Maßstab
Führen Sie große Sprachmodelle effizient für mehrere Benutzer aus und optimieren Sie die Leistung mit fortschrittlicher Technologie.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarLLM-Inferenz-Engine in großem Maßstab
sonar hat 1.8k Sterne auf GitHub. Es wurde 206-mal geforkt. sonar ist hauptsächlich in C++ geschrieben. Es wird seit 2023 aktiv entwickelt. sonar ist unter der AGPL-3.0-Lizenz verfügbar. Die Hauptthemen sind: api-rest, cuda, inference-engine, inferentia.
LLM-Inferenz-Engine in großem Maßstab
sonar ist ein Open-Source-Projekt. Es wird unter der AGPL-3.0-Lizenz veröffentlicht.
Ja. sonar ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
sonar ist unter der AGPL-3.0-Lizenz verfügbar.
sonar ist hauptsächlich in C++ geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/dphnai-sonar.html)