tiktoken-rs
Biblioteca de tokenización lista para usar para trabajar con GPT y tiktoken
Tokeniza texto para modelos de OpenAI para prepararlo para el procesamiento y conteo de tokens.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasBiblioteca de tokenización lista para usar para trabajar con GPT y tiktoken
tiktoken-rs tiene 401 estrellas en GitHub. Se ha bifurcado 74 veces. tiktoken-rs está escrito principalmente en Rust. Se desarrolla activamente desde 2023. tiktoken-rs está disponible bajo la licencia MIT. Sus temas principales son: bpe, openai, rust, tokenizer.
¿Qué es tiktoken-rs?
Biblioteca de tokenización lista para usar para trabajar con GPT y tiktoken
¿tiktoken-rs es de código abierto?
tiktoken-rs es un proyecto de código abierto. Se distribuye bajo la licencia MIT.
¿tiktoken-rs es gratis?
Sí. tiktoken-rs es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está tiktoken-rs?
tiktoken-rs está disponible bajo la licencia MIT.
¿En qué lenguaje está escrito tiktoken-rs?
tiktoken-rs está escrito principalmente en Rust.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/zurawiki-tiktoken-rs.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.