minbpe
Code minimal et propre pour l'algorithme de Byte Pair Encoding (BPE) couramment utilisé dans la tokenisation des LLM.
Utilisez un code simple pour convertir du texte en tokens pour le traitement dans des modèles de langage.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentCode minimal et propre pour l'algorithme de Byte Pair Encoding (BPE) couramment utilisé dans la tokenisation des LLM.
minbpe compte 10.7k étoiles sur GitHub. Il a été forké 1.1k fois. minbpe est écrit principalement en Python. Il est développé activement depuis 2024. minbpe est disponible sous licence MIT.
Qu'est-ce que minbpe ?
Code minimal et propre pour l'algorithme de Byte Pair Encoding (BPE) couramment utilisé dans la tokenisation des LLM.
minbpe est-il open source ?
minbpe est un projet open source. Il est distribué sous licence MIT.
minbpe est-il gratuit ?
Oui. minbpe est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est minbpe ?
minbpe est disponible sous licence MIT.
Dans quel langage minbpe est-il écrit ?
minbpe est écrit principalement en Python.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/karpathy-minbpe.html)
