tokenizers
💥 Tokenizadores de última generación rápidos optimizados para Investigación y Producción
Entrena y utiliza herramientas avanzadas de procesamiento de texto de manera rápida y eficiente para investigación y producción.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quieras💥 Tokenizadores de última generación rápidos optimizados para Investigación y Producción
tokenizers tiene 10.9k estrellas en GitHub. Se ha bifurcado 1.2k veces. tokenizers está escrito principalmente en Rust. Se desarrolla activamente desde 2019. tokenizers está disponible bajo la licencia Apache-2.0. Sus temas principales son: bert, gpt, language-model, natural-language-processing.
¿Qué es tokenizers?
💥 Tokenizadores de última generación rápidos optimizados para Investigación y Producción
¿tokenizers es de código abierto?
tokenizers es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿tokenizers es gratis?
Sí. tokenizers es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está tokenizers?
tokenizers está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito tokenizers?
tokenizers está escrito principalmente en Rust.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/huggingface-tokenizers.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.