tiktoken-rs
Biblioteca de tokenização pronta para uso para trabalhar com GPT e tiktoken
Tokenize texto para modelos da OpenAI para prepará-lo para processamento e contagem de tokens.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserBiblioteca de tokenização pronta para uso para trabalhar com GPT e tiktoken
tiktoken-rs tem 401 estrelas no GitHub. Foi bifurcado 74 vezes. tiktoken-rs é escrito principalmente em Rust. Está em desenvolvimento ativo desde 2023. tiktoken-rs está disponível sob a licença MIT. Os seus principais temas são: bpe, openai, rust, tokenizer.
O que é tiktoken-rs?
Biblioteca de tokenização pronta para uso para trabalhar com GPT e tiktoken
tiktoken-rs é de código aberto?
tiktoken-rs é um projeto de código aberto. É distribuído sob a licença MIT.
tiktoken-rs é gratuito?
Sim. tiktoken-rs é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está tiktoken-rs?
tiktoken-rs está disponível sob a licença MIT.
Em que linguagem tiktoken-rs está escrito?
tiktoken-rs é escrito principalmente em Rust.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/zurawiki-tiktoken-rs.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.