gigatoken
Tokenização de modelos de linguagem a GB/s
Converta rapidamente seu texto em tokens para modelos de linguagem em alta velocidade.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserTokenização de modelos de linguagem a GB/s
gigatoken tem 3.7k estrelas no GitHub. Foi bifurcado 191 vezes. gigatoken é escrito principalmente em Rust. Está em desenvolvimento ativo desde 2025. gigatoken está disponível sob a licença MIT. Os seus principais temas são: llm, nlp, tokenization, tokenizer.
O que é gigatoken?
Tokenização de modelos de linguagem a GB/s
gigatoken é de código aberto?
gigatoken é um projeto de código aberto. É distribuído sob a licença MIT.
gigatoken é gratuito?
Sim. gigatoken é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está gigatoken?
gigatoken está disponível sob a licença MIT.
Em que linguagem gigatoken está escrito?
gigatoken é escrito principalmente em Rust.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/marcelroed-gigatoken.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.