tokenizers
💥 Tokenizers rapides à la pointe de la technologie optimisés pour la recherche et la production
Entraînez et utilisez des outils avancés de traitement de texte rapidement et efficacement pour la recherche et la production.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout moment💥 Tokenizers rapides à la pointe de la technologie optimisés pour la recherche et la production
tokenizers compte 10.9k étoiles sur GitHub. Il a été forké 1.2k fois. tokenizers est écrit principalement en Rust. Il est développé activement depuis 2019. tokenizers est disponible sous licence Apache-2.0. Ses principaux thèmes sont : bert, gpt, language-model, natural-language-processing.
Qu'est-ce que tokenizers ?
💥 Tokenizers rapides à la pointe de la technologie optimisés pour la recherche et la production
tokenizers est-il open source ?
tokenizers est un projet open source. Il est distribué sous licence Apache-2.0.
tokenizers est-il gratuit ?
Oui. tokenizers est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est tokenizers ?
tokenizers est disponible sous licence Apache-2.0.
Dans quel langage tokenizers est-il écrit ?
tokenizers est écrit principalement en Rust.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://opensourceai.tech/project/huggingface-tokenizers.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.