tokenization
6 progetti condividono questo topic GitHub
Le linee collegano membri che sono misurabilmente correlati tra loro. La dimensione dei punti riflette le stelle.
🧬 Membri
toon
🎒 Token-Oriented Object Notation (TOON) – compact, human-readable serialization of JSON data for LLM…
★ 25.3k
gigatoken
Language model tokenization at GB/s
★ 4.1k
tokencost
Easy token price estimates for 400+ LLMs. TokenOps.
★ 2k
llms-from-scratch
Build a ChatGPT like LLM from scratch in PyTorch, explained step by step.
★ 383
OmniTokenizer
[NeurIPS 2024]OmniTokenizer: one model and one weight for image-video joint tokenization.
★ 325
NoPII
Ready-to-run examples showing NoPII PII protection with OpenAI, Anthropic, LangChain, LlamaIndex, and more
★ 66
🔗 Famiglie affini
Misurato dai temi di GitHub condivisi da entrambi i progetti, ponderato in base a quanto è raro ciascun tema.