tokenizer

5 projetos partilham este topic do GitHub

Linhas conectam membros que estão mensuravelmente relacionados entre si. O tamanho do ponto reflete estrelas.

🧬 Membros

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

★ 104.1k

gigatoken

Language model tokenization at GB/s

★ 4.1k

UniTok

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

★ 530

tiktoken-rs

Ready-made tokenizer library for working with GPT and tiktoken

★ 401

cevahir-ai

Full-stack open-source AI engine for building language models — tokenizer training, transformer…

★ 219

Medido a partir dos tópicos do GitHub compartilhados por ambos os projetos, ponderado pela raridade de cada tópico.