minbpe
Minimaler, sauberer Code für den Byte Pair Encoding (BPE)-Algorithmus, der häufig in der LLM-Tokenisierung verwendet wird.
Verwenden Sie einfachen Code, um Text in Tokens für die Verarbeitung in Sprachmodellen zu konvertieren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarMinimaler, sauberer Code für den Byte Pair Encoding (BPE)-Algorithmus, der häufig in der LLM-Tokenisierung verwendet wird.
minbpe hat 10.7k Sterne auf GitHub. Es wurde 1.1k-mal geforkt. minbpe ist hauptsächlich in Python geschrieben. Es wird seit 2024 aktiv entwickelt. minbpe ist unter der MIT-Lizenz verfügbar.
Was ist minbpe?
Minimaler, sauberer Code für den Byte Pair Encoding (BPE)-Algorithmus, der häufig in der LLM-Tokenisierung verwendet wird.
Ist minbpe Open Source?
minbpe ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist minbpe kostenlos?
Ja. minbpe ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht minbpe?
minbpe ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist minbpe geschrieben?
minbpe ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/karpathy-minbpe.html)
