Converti rapidamente il tuo testo in token per modelli linguistici ad alta velocità.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiTokenizzazione del modello linguistico a GB/s
gigatoken ha 4.1k stelle su GitHub. È stato forkato 219 volte. gigatoken è scritto principalmente in Rust. È in sviluppo attivo dal 2025. gigatoken è disponibile con licenza MIT. I suoi temi principali sono: llm, nlp, tokenization, tokenizer.
Che cos'è gigatoken?
Tokenizzazione del modello linguistico a GB/s
gigatoken è open source?
gigatoken è un progetto open source. È rilasciato con licenza MIT.
gigatoken è gratuito?
Sì. gigatoken è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è gigatoken?
gigatoken è disponibile con licenza MIT.
In quale linguaggio è scritto gigatoken?
gigatoken è scritto principalmente in Rust.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/marcelroed-gigatoken.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.