tokenizers
💥 Tokenizers rápidos de última geração otimizados para Pesquisa e Produção
Treine e use ferramentas avançadas de processamento de texto rapidamente e de forma eficiente para pesquisa e produção.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiser💥 Tokenizers rápidos de última geração otimizados para Pesquisa e Produção
tokenizers tem 10.9k estrelas no GitHub. Foi bifurcado 1.2k vezes. tokenizers é escrito principalmente em Rust. Está em desenvolvimento ativo desde 2019. tokenizers está disponível sob a licença Apache-2.0. Os seus principais temas são: bert, gpt, language-model, natural-language-processing.
O que é tokenizers?
💥 Tokenizers rápidos de última geração otimizados para Pesquisa e Produção
tokenizers é de código aberto?
tokenizers é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
tokenizers é gratuito?
Sim. tokenizers é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está tokenizers?
tokenizers está disponível sob a licença Apache-2.0.
Em que linguagem tokenizers está escrito?
tokenizers é escrito principalmente em Rust.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://opensourceai.tech/project/huggingface-tokenizers.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.