minbpe
Código mínimo e limpo para o algoritmo de Codificação de Par de Bytes (BPE) comumente usado na tokenização de LLM.
Use um código simples para converter texto em tokens para processamento em modelos de linguagem.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserCódigo mínimo e limpo para o algoritmo de Codificação de Par de Bytes (BPE) comumente usado na tokenização de LLM.
minbpe tem 10.7k estrelas no GitHub. Foi bifurcado 1.1k vezes. minbpe é escrito principalmente em Python. Está em desenvolvimento ativo desde 2024. minbpe está disponível sob a licença MIT.
O que é minbpe?
Código mínimo e limpo para o algoritmo de Codificação de Par de Bytes (BPE) comumente usado na tokenização de LLM.
minbpe é de código aberto?
minbpe é um projeto de código aberto. É distribuído sob a licença MIT.
minbpe é gratuito?
Sim. minbpe é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está minbpe?
minbpe está disponível sob a licença MIT.
Em que linguagem minbpe está escrito?
minbpe é escrito principalmente em Python.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/karpathy-minbpe.html)
