tiktoken-rs
Fertige Tokenizer-Bibliothek für die Arbeit mit GPT und tiktoken
Tokenisieren Sie Text für OpenAI-Modelle, um ihn für die Verarbeitung und Zählung von Tokens vorzubereiten.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarFertige Tokenizer-Bibliothek für die Arbeit mit GPT und tiktoken
tiktoken-rs hat 401 Sterne auf GitHub. Es wurde 74-mal geforkt. tiktoken-rs ist hauptsächlich in Rust geschrieben. Es wird seit 2023 aktiv entwickelt. tiktoken-rs ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: bpe, openai, rust, tokenizer.
Was ist tiktoken-rs?
Fertige Tokenizer-Bibliothek für die Arbeit mit GPT und tiktoken
Ist tiktoken-rs Open Source?
tiktoken-rs ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist tiktoken-rs kostenlos?
Ja. tiktoken-rs ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht tiktoken-rs?
tiktoken-rs ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist tiktoken-rs geschrieben?
tiktoken-rs ist hauptsächlich in Rust geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/zurawiki-tiktoken-rs.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.