tokenization

7 Projekte teilen dieses GitHub-Topic

Linien verbinden Mitglieder, die messbar miteinander verwandt sind. Die Punktgröße spiegelt die Sterne wider.

🧬 Mitglieder

spaCy

💫 Industrial-strength Natural Language Processing (NLP) in Python

★ 33.8k

toon

🎒 Token-Oriented Object Notation (TOON) – compact, human-readable serialization of JSON data for LLM…

★ 25k

gigatoken

Language model tokenization at GB/s

★ 3.8k

tokencost

Easy token price estimates for 400+ LLMs. TokenOps.

★ 2k

llms-from-scratch

Build a ChatGPT like LLM from scratch in PyTorch, explained step by step.

★ 377

OmniTokenizer

[NeurIPS 2024]OmniTokenizer: one model and one weight for image-video joint tokenization.

★ 325

NoPII

Ready-to-run examples showing NoPII PII protection with OpenAI, Anthropic, LangChain, LlamaIndex, and more

★ 66 · GitHub ↗

Gemessen anhand der von beiden Projekten geteilten GitHub-Themen, gewichtet nach der Seltenheit jedes Themas.