Konvertieren Sie Ihren Text schnell in Tokens für Sprachmodelle mit hoher Geschwindigkeit.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarTokenisierung von Sprachmodellen bei GB/s
gigatoken hat 4.1k Sterne auf GitHub. Es wurde 219-mal geforkt. gigatoken ist hauptsächlich in Rust geschrieben. Es wird seit 2025 aktiv entwickelt. gigatoken ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: llm, nlp, tokenization, tokenizer.
Was ist gigatoken?
Tokenisierung von Sprachmodellen bei GB/s
Ist gigatoken Open Source?
gigatoken ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist gigatoken kostenlos?
Ja. gigatoken ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht gigatoken?
gigatoken ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist gigatoken geschrieben?
gigatoken ist hauptsächlich in Rust geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/marcelroed-gigatoken.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.