tokenizer

5 proyectos comparten este topic de GitHub

Las líneas conectan a los miembros que están mediblemente relacionados entre sí. El tamaño de los puntos refleja las estrellas.

🧬 Miembros

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

Language model tokenization at GB/s

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

Ready-made tokenizer library for working with GPT and tiktoken

Full-stack open-source AI engine for building language models — tokenizer training, transformer…

🔗 Familias relacionadas

language-model 114 attention-mechanism 54 from-scratch 8 instruction-tuning 28 pretraining 15 tokenization 6 autoregressive-models 10 generative 10

Medido a partir de los temas de GitHub compartidos por ambos proyectos, ponderado por cuán raros son cada uno de los temas.