Home Progetti tokenizers
tokenizers
Rust

tokenizers

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

di huggingface · GitHub
Stelle
Fork
Licenza
Creato
Ultimo commit
Categoria
Lingua
bertgptlanguage-modelApache-2.0Rust
Visualizza su GitHub
In parole semplici

Addestra e utilizza strumenti avanzati di elaborazione del testo rapidamente ed efficientemente per ricerca e produzione.

Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →
tokenizers — GitHub preview card
📈 Storia delle stelle
10.89k10.86k
2026-07-042026-08-31
📈 Segui tokenizers

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi
Ricevi avvisi via email →
📄 Informazioni

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

tokenizers ha 10.9k stelle su GitHub. È stato forkato 1.1k volte. tokenizers è scritto principalmente in Rust. È in sviluppo attivo dal 2019. tokenizers è disponibile con licenza Apache-2.0. I suoi temi principali sono: bert, gpt, language-model, natural-language-processing.

Frequently asked questions

Che cos'è tokenizers?

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

tokenizers è open source?

tokenizers è un progetto open source. È rilasciato con licenza Apache-2.0.

tokenizers è gratuito?

Sì. tokenizers è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è tokenizers?

tokenizers è disponibile con licenza Apache-2.0.

In quale linguaggio è scritto tokenizers?

tokenizers è scritto principalmente in Rust.

🏅 Manutentore di questo progetto?
olud.ai badge — tokenizers

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![olud.ai](https://olud.ai/badge.php?tool=huggingface-tokenizers)](https://olud.ai/project/huggingface-tokenizers.html)
Altre opzioni di badge →
🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.