minbpe
Codice minimale e pulito per l'algoritmo di Byte Pair Encoding (BPE) comunemente usato nella tokenizzazione LLM.
Usa codice semplice per convertire il testo in token per l'elaborazione nei modelli di linguaggio.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiCodice minimale e pulito per l'algoritmo di Byte Pair Encoding (BPE) comunemente usato nella tokenizzazione LLM.
minbpe ha 10.7k stelle su GitHub. È stato forkato 1.1k volte. minbpe è scritto principalmente in Python. È in sviluppo attivo dal 2024. minbpe è disponibile con licenza MIT.
Che cos'è minbpe?
Codice minimale e pulito per l'algoritmo di Byte Pair Encoding (BPE) comunemente usato nella tokenizzazione LLM.
minbpe è open source?
minbpe è un progetto open source. È rilasciato con licenza MIT.
minbpe è gratuito?
Sì. minbpe è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è minbpe?
minbpe è disponibile con licenza MIT.
In quale linguaggio è scritto minbpe?
minbpe è scritto principalmente in Python.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/karpathy-minbpe.html)
