Home› Progetti› gigatoken
gigatoken

gigatoken

di marcelroed · GitHub

Tokenizzazione del modello linguistico a GB/s

# llm# nlp# tokenization# tokenizer
Visualizza su GitHub
In parole semplici

Converti rapidamente il tuo testo in token per modelli linguistici ad alta velocità.

⭐ Stelle
3.7k
🍴 Fork
191
🔥 Tendenze
+421 oggi
📜 Licenza
MIT
Uso commerciale consentito
📅 Creato
2025
🔄 Ultimo commit
2 days ago
🏷️ Categoria
llm
💻 Lingua
Rust
Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →
gigatoken — GitHub preview card
📈 Storia delle stelle
4k2k
2026-07-242026-07-29
📈 Segui gigatoken

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi
Ricevi avvisi via email →
📄 Informazioni

Tokenizzazione del modello linguistico a GB/s

gigatoken ha 3.7k stelle su GitHub. È stato forkato 191 volte. gigatoken è scritto principalmente in Rust. È in sviluppo attivo dal 2025. gigatoken è disponibile con licenza MIT. I suoi temi principali sono: llm, nlp, tokenization, tokenizer.

❓ Frequently asked questions

Che cos'è gigatoken?

Tokenizzazione del modello linguistico a GB/s

gigatoken è open source?

gigatoken è un progetto open source. È rilasciato con licenza MIT.

gigatoken è gratuito?

Sì. gigatoken è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è gigatoken?

gigatoken è disponibile con licenza MIT.

In quale linguaggio è scritto gigatoken?

gigatoken è scritto principalmente in Rust.

🏅 Manutentore di questo progetto?
OpenSourceAI badge — gigatoken

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=marcelroed-gigatoken)](https://opensourceai.tech/project/marcelroed-gigatoken.html)
Altre opzioni di badge →
🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →
tiktoken-rs
Libreria tokenizer pronta all'uso per lavorare con GPT e tiktoken
★ 405 · bpe
condividetokenizer
toon
🎒 Notazione Orientata ai Token (TOON) – serializzazione compatta e leggibile dall'uomo dei dati…
★ 25k · data-format
condividetokenization
tiktokenizer
Piazza online per i tokenizer OpenAPI
★ 1.7k · chatgpt
condividetokenizer
ECC
Il sistema di ottimizzazione delle prestazioni dell'agente. Competenze, istinti, memoria, sicur…
★ 235k · ai-agents
hermes-agent
L'agente che cresce con te
★ 222k · ai
AutoGPT
AutoGPT è la visione di un AI accessibile per tutti, da usare e su cui costruire. La nostra mis…
★ 186k · agentic-ai
ollama
Inizia a utilizzare Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma e altri modelli…
★ 177k · deepseek
prompts.chat
f.k.a. Awesome ChatGPT Prompts. Condividi, scopri e raccogli prompt dalla comunità. Gratuito e…
★ 166k · ai
transformers
🤗 Transformers: il framework di definizione dei modelli per modelli di machine learning all'ava…
★ 163k · audio
firecrawl
L'API per cercare, estrarre e interagire con il web su larga scala. 🔥
★ 157k · ai

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.