minbpe
Código mínimo y limpio para el algoritmo de Codificación de Parejas de Bytes (BPE) comúnmente utilizado en la tokenización de LLM.
Usa código simple para convertir texto en tokens para su procesamiento en modelos de lenguaje.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasCódigo mínimo y limpio para el algoritmo de Codificación de Parejas de Bytes (BPE) comúnmente utilizado en la tokenización de LLM.
minbpe tiene 10.7k estrellas en GitHub. Se ha bifurcado 1.1k veces. minbpe está escrito principalmente en Python. Se desarrolla activamente desde 2024. minbpe está disponible bajo la licencia MIT.
¿Qué es minbpe?
Código mínimo y limpio para el algoritmo de Codificación de Parejas de Bytes (BPE) comúnmente utilizado en la tokenización de LLM.
¿minbpe es de código abierto?
minbpe es un proyecto de código abierto. Se distribuye bajo la licencia MIT.
¿minbpe es gratis?
Sí. minbpe es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está minbpe?
minbpe está disponible bajo la licencia MIT.
¿En qué lenguaje está escrito minbpe?
minbpe está escrito principalmente en Python.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/karpathy-minbpe.html)
