tokenizer

5 progetti condividono questo topic GitHub

Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.

🧬 Membri

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

Language model tokenization at GB/s

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

Ready-made tokenizer library for working with GPT and tiktoken

Full-stack open-source AI engine for building language models — tokenizer training, transformer…

🔗 Famiglie affini

language-model 113 attention-mechanism 54 from-scratch 7 instruction-tuning 28 pretraining 13 tokenization 6 autoregressive-models 10 generative 10

Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.