gigatoken
Tokenización de modelos de lenguaje a GB/s
Convierte rápidamente tu texto en tokens para modelos de lenguaje a altas velocidades.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasTokenización de modelos de lenguaje a GB/s
gigatoken tiene 3.7k estrellas en GitHub. Se ha bifurcado 191 veces. gigatoken está escrito principalmente en Rust. Se desarrolla activamente desde 2025. gigatoken está disponible bajo la licencia MIT. Sus temas principales son: llm, nlp, tokenization, tokenizer.
¿Qué es gigatoken?
Tokenización de modelos de lenguaje a GB/s
¿gigatoken es de código abierto?
gigatoken es un proyecto de código abierto. Se distribuye bajo la licencia MIT.
¿gigatoken es gratis?
Sí. gigatoken es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está gigatoken?
gigatoken está disponible bajo la licencia MIT.
¿En qué lenguaje está escrito gigatoken?
gigatoken está escrito principalmente en Rust.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://opensourceai.tech/project/marcelroed-gigatoken.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.