tokenizer

5 projets partagent ce topic GitHub

Les traits relient les membres réellement apparentés entre eux. La taille des points suit les étoiles.

🧬 Membres

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

Language model tokenization at GB/s

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

Ready-made tokenizer library for working with GPT and tiktoken

Full-stack open-source AI engine for building language models — tokenizer training, transformer…

🔗 Familles voisines

language-model 113 attention-mechanism 54 from-scratch 7 instruction-tuning 28 pretraining 13 tokenization 6 autoregressive-models 10 generative 10

Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.