paddler
Open-Source LLM/VLM Lastenausgleich und Bereitstellungsplattform für das Selbst-Hosting von LLMs (und VLMs) im großen Maßstab 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner usw., aber mit weniger beweglichen Teilen und einfachen Bereitstellungen, die um das ggml-Ökosystem herum aufgebaut sind. Läuft auf CPU und GPU.
Führen Sie große Sprachmodelle auf Ihren eigenen Servern aus und verwalten Sie diese für Datenschutz und Kontrolle.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarOpen-Source LLM/VLM Lastenausgleich und Bereitstellungsplattform für das Selbst-Hosting von LLMs (und VLMs) im großen Maßstab 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner usw., aber mit weniger beweglichen Teilen und einfachen Bereitstellungen, die um das ggml-Ökosystem herum aufgebaut sind. Läuft auf CPU und GPU.
paddler hat 1.7k Sterne auf GitHub. Es wurde 97-mal geforkt. paddler ist hauptsächlich in Rust geschrieben. Es wird seit 2024 aktiv entwickelt. paddler ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: ai, llamacpp, llm, llmops.
Was ist paddler?
Open-Source LLM/VLM Lastenausgleich und Bereitstellungsplattform für das Selbst-Hosting von LLMs (und VLMs) im großen Maßstab 🏓🦙 Alternative zu Projekten wie llm-d, Docker Model Runner usw., aber mit weniger beweglichen Teilen und einfachen Bereitstellungen, die um das ggml-Ökosystem herum aufgebaut sind. Läuft auf CPU und GPU.
Ist paddler Open Source?
paddler ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist paddler kostenlos?
Ja. paddler ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht paddler?
paddler ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist paddler geschrieben?
paddler ist hauptsächlich in Rust geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/intentee-paddler.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.