Home› Progetti› tokenizers
tokenizers

tokenizers

di huggingface · GitHub

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

# bert# gpt# language-model# natural-language-processing# natural-language-understanding
Visualizza su GitHub
In parole semplici

Addestra e utilizza strumenti avanzati di elaborazione del testo rapidamente ed efficientemente per ricerca e produzione.

⭐ Stelle
10.9k
🍴 Fork
1.2k
🔥 Tendenze
+40 questa settimana
📜 Licenza
Apache-2.0
Uso commerciale consentito
📅 Creato
2019
🔄 Ultimo commit
today
🏷️ Categoria
bert
💻 Lingua
Rust
Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →
tokenizers — GitHub preview card
📈 Storia delle stelle
10.93k10.86k
2026-07-042026-07-29
📈 Segui tokenizers

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi
Ricevi avvisi via email →
📄 Informazioni

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

tokenizers ha 10.9k stelle su GitHub. È stato forkato 1.2k volte. tokenizers è scritto principalmente in Rust. È in sviluppo attivo dal 2019. tokenizers è disponibile con licenza Apache-2.0. I suoi temi principali sono: bert, gpt, language-model, natural-language-processing.

❓ Frequently asked questions

Che cos'è tokenizers?

💥 Tokenizer all'avanguardia veloci ottimizzati per Ricerca e Produzione

tokenizers è open source?

tokenizers è un progetto open source. È rilasciato con licenza Apache-2.0.

tokenizers è gratuito?

Sì. tokenizers è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è tokenizers?

tokenizers è disponibile con licenza Apache-2.0.

In quale linguaggio è scritto tokenizers?

tokenizers è scritto principalmente in Rust.

🏅 Manutentore di questo progetto?
OpenSourceAI badge — tokenizers

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=huggingface-tokenizers)](https://opensourceai.tech/project/huggingface-tokenizers.html)
Altre opzioni di badge →
🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →
KoBERT
Korean BERT pre-addestrato cased (KoBERT)
★ 1.4k · bert
condividebertlanguage-model
AliceMind
Collezione di encoder-decoder di ALIbaba dal MinD (Machine IntelligeNce of Damo) Lab
★ 2k · bert
condividebertnatural-language-processing
MacBERT
Rivalutazione dei modelli pre-addestrati per l'elaborazione del linguaggio naturale cinese (Mac…
★ 718 · bert
condividebertlanguage-model
tner
Affinamento del modello linguistico su NER con un'interfaccia facile e valutazione cross-domain…
★ 397 · language-model
condividelanguage-modeltransformers
this-word-does-not-exist
Questa Parola Non Esiste
★ 1k · gpt-2
condividenatural-language-understandingnatural-language-processing
Natural_Language_Processing_with_Transformers
Natural Language Processing with Transformers 中译本，最权威Transformers教程
★ 575 · bert
condivideberttransformers
cdQA
⛔ [NON MANUTENUTO] Un sistema di risposta a domande a dominio chiuso end-to-end.
★ 617 · artificial-intelligence
condividebertnatural-language-processing
BERT-of-Theseus
⛵️L'implementazione ufficiale PyTorch per "BERT-of-Theseus: Compressione di BERT tramite Sostit…
★ 316 · bert
condivideberttransformers
KcBERT
🤗 Modello BERT preaddestrato e tokenizer WordPiece addestrato su commenti coreani 한국어 댓글로 프리트레이…
★ 493 · bert
condivideberttransformers
dynalang
Codice per "Learning to Model the World with Language." ICML 2024 Oral.
★ 421 · agent
condividenatural-language-understandingnatural-language-processing

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.