tiktoken-rs
Bibliothèque de tokenizer prête à l'emploi pour travailler avec GPT et tiktoken
Tokenisez le texte pour les modèles OpenAI afin de le préparer pour le traitement et le comptage des tokens.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentBibliothèque de tokenizer prête à l'emploi pour travailler avec GPT et tiktoken
tiktoken-rs compte 401 étoiles sur GitHub. Il a été forké 74 fois. tiktoken-rs est écrit principalement en Rust. Il est développé activement depuis 2023. tiktoken-rs est disponible sous licence MIT. Ses principaux thèmes sont : bpe, openai, rust, tokenizer.
Qu'est-ce que tiktoken-rs ?
Bibliothèque de tokenizer prête à l'emploi pour travailler avec GPT et tiktoken
tiktoken-rs est-il open source ?
tiktoken-rs est un projet open source. Il est distribué sous licence MIT.
tiktoken-rs est-il gratuit ?
Oui. tiktoken-rs est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est tiktoken-rs ?
tiktoken-rs est disponible sous licence MIT.
Dans quel langage tiktoken-rs est-il écrit ?
tiktoken-rs est écrit principalement en Rust.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/zurawiki-tiktoken-rs.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.