Ein flexibles Framework für die Erfahrung heterogener LLM-Inferenz/Fine-Tune-Optimierungen
Verwenden Sie ein Framework, um große Sprachmodelle effizient auf Ihrem Computer auszuführen und zu optimieren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarEin flexibles Framework für die Erfahrung heterogener LLM-Inferenz/Fine-Tune-Optimierungen
ktransformers hat 19.1k Sterne auf GitHub. Es wurde 1.5k-mal geforkt. ktransformers ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. ktransformers ist unter der Apache-2.0-Lizenz verfügbar.
Read the full guideEin flexibles Framework für die Erfahrung heterogener LLM-Inferenz/Fine-Tune-Optimierungen
ktransformers ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ja. ktransformers ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
ktransformers ist unter der Apache-2.0-Lizenz verfügbar.
ktransformers ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://opensourceai.tech/project/kvcache-ai-ktransformers.html)