Converta rapidamente seu texto em tokens para modelos de linguagem em altas velocidades.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserTokenização de modelo de linguagem a GB/s
gigatoken tem 4.1k estrelas no GitHub. Foi bifurcado 219 vezes. gigatoken é escrito principalmente em Rust. Está em desenvolvimento ativo desde 2025. gigatoken está disponível sob a licença MIT. Os seus principais temas são: llm, nlp, tokenization, tokenizer.
O que é gigatoken?
Tokenização de modelo de linguagem a GB/s
gigatoken é de código aberto?
gigatoken é um projeto de código aberto. É distribuído sob a licença MIT.
gigatoken é gratuito?
Sim. gigatoken é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está gigatoken?
gigatoken está disponível sob a licença MIT.
Em que linguagem gigatoken está escrito?
gigatoken é escrito principalmente em Rust.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/marcelroed-gigatoken.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.