Codifique e decodifique texto para os modelos da OpenAI rapidamente usando uma biblioteca JavaScript leve.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserO codificador e decodificador BPE Tokenizer JavaScript mais rápido para os modelos GPT da OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Porta do tiktoken da OpenAI com recursos adicionais.
gpt-tokenizer tem 827 estrelas no GitHub. Foi bifurcado 58 vezes. gpt-tokenizer é escrito principalmente em TypeScript. Está em desenvolvimento ativo desde 2023. gpt-tokenizer está disponível sob a licença MIT. Os seus principais temas são: bpe, decoder, encoder, gpt-2.
O que é gpt-tokenizer?
O codificador e decodificador BPE Tokenizer JavaScript mais rápido para os modelos GPT da OpenAI (gpt-5, gpt-o*, gpt-4o, etc.). Porta do tiktoken da OpenAI com recursos adicionais.
gpt-tokenizer é de código aberto?
gpt-tokenizer é um projeto de código aberto. É distribuído sob a licença MIT.
gpt-tokenizer é gratuito?
Sim. gpt-tokenizer é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está gpt-tokenizer?
gpt-tokenizer está disponível sob a licença MIT.
Em que linguagem gpt-tokenizer está escrito?
gpt-tokenizer é escrito principalmente em TypeScript.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/niieani-gpt-tokenizer.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.