Startseite› Projekte› tokenizers
tokenizers

tokenizers

von huggingface · GitHub

💥 Schnelle, hochmoderne Tokenizer, optimiert für Forschung und Produktion

# bert# gpt# language-model# natural-language-processing# natural-language-understanding
Auf GitHub ansehen
In einfachen Worten

Trainieren und nutzen Sie fortschrittliche Textverarbeitungstools schnell und effizient für Forschung und Produktion.

⭐ Sterne
10.9k
🍴 Forks
1.2k
🔥 Trendend
+40 diese Woche
📜 Lizenz
Apache-2.0
Kommerzielle Nutzung erlaubt
📅 Erstellt
2019
🔄 Letzter Commit
today
🏷️ Kategorie
bert
💻 Sprache
Rust
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
tokenizers — GitHub preview card
📈 Sternhistorie
10.93k10.86k
2026-07-042026-07-29
📈 tokenizers verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

💥 Schnelle, hochmoderne Tokenizer, optimiert für Forschung und Produktion

tokenizers hat 10.9k Sterne auf GitHub. Es wurde 1.2k-mal geforkt. tokenizers ist hauptsächlich in Rust geschrieben. Es wird seit 2019 aktiv entwickelt. tokenizers ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: bert, gpt, language-model, natural-language-processing.

❓ Frequently asked questions

Was ist tokenizers?

💥 Schnelle, hochmoderne Tokenizer, optimiert für Forschung und Produktion

Ist tokenizers Open Source?

tokenizers ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.

Ist tokenizers kostenlos?

Ja. tokenizers ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht tokenizers?

tokenizers ist unter der Apache-2.0-Lizenz verfügbar.

In welcher Sprache ist tokenizers geschrieben?

tokenizers ist hauptsächlich in Rust geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — tokenizers

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=huggingface-tokenizers)](https://opensourceai.tech/project/huggingface-tokenizers.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
KoBERT
Korean BERT vortrainiert, cased (KoBERT)
★ 1.4k · bert
teiltbertlanguage-model
AliceMind
ALIbabas Sammlung von Encoder-Decodern aus dem MinD (Machine IntelligeNce of Damo) Labor
★ 2k · bert
teiltbertnatural-language-processing
MacBERT
Überprüfung vortrainierter Modelle für die chinesische Verarbeitung natürlicher Sprache (MacBER…
★ 718 · bert
teiltbertlanguage-model
tner
Feinabstimmung von Sprachmodellen auf NER mit einer einfachen Schnittstelle und Cross-Domain-Be…
★ 397 · language-model
teiltlanguage-modeltransformers
this-word-does-not-exist
Dieses Wort existiert nicht
★ 1k · gpt-2
teiltnatural-language-understandingnatural-language-processing
Natural_Language_Processing_with_Transformers
Natural Language Processing with Transformers 中译本，最权威Transformers教程
★ 575 · bert
teiltberttransformers
cdQA
⛔ [NICHT WARTUNGSGEPRÜFT] Ein End-to-End Closed Domain Question Answering System.
★ 617 · artificial-intelligence
teiltbertnatural-language-processing
BERT-of-Theseus
⛵️Die offizielle PyTorch-Implementierung für "BERT-of-Theseus: BERT durch progressive Modul-Ers…
★ 316 · bert
teiltberttransformers
KcBERT
🤗 Vorgefertigtes BERT-Modell & WordPiece-Tokenizer, trainiert auf koreanischen Kommentaren 한국어…
★ 493 · bert
teiltberttransformers
dynalang
Code für "Learning to Model the World with Language." ICML 2024 Oral.
★ 421 · agent
teiltnatural-language-understandingnatural-language-processing

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.