tokenizer

5 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

Language model tokenization at GB/s

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

Ready-made tokenizer library for working with GPT and tiktoken

Full-stack open-source AI engine for building language models — tokenizer training, transformer…

🔗 Verwandte Familien

language-model 113 attention-mechanism 54 from-scratch 7 instruction-tuning 28 pretraining 13 tokenization 6 autoregressive-models 10 generative 10

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.