Startseite› Projekte› gigatoken
gigatoken

gigatoken

von marcelroed · GitHub

Tokenisierung von Sprachmodellen mit GB/s

# llm# nlp# tokenization# tokenizer
Auf GitHub ansehen
In einfachen Worten

Konvertieren Sie Ihren Text schnell in Tokens für Sprachmodelle mit hoher Geschwindigkeit.

⭐ Sterne
3.7k
🍴 Forks
191
🔥 Trendend
+421 heute
📜 Lizenz
MIT
Kommerzielle Nutzung erlaubt
📅 Erstellt
2025
🔄 Letzter Commit
2 days ago
🏷️ Kategorie
llm
💻 Sprache
Rust
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
gigatoken — GitHub preview card
📈 Sternhistorie
4k2k
2026-07-242026-07-29
📈 gigatoken verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

Tokenisierung von Sprachmodellen mit GB/s

gigatoken hat 3.7k Sterne auf GitHub. Es wurde 191-mal geforkt. gigatoken ist hauptsächlich in Rust geschrieben. Es wird seit 2025 aktiv entwickelt. gigatoken ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: llm, nlp, tokenization, tokenizer.

❓ Frequently asked questions

Was ist gigatoken?

Tokenisierung von Sprachmodellen mit GB/s

Ist gigatoken Open Source?

gigatoken ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.

Ist gigatoken kostenlos?

Ja. gigatoken ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht gigatoken?

gigatoken ist unter der MIT-Lizenz verfügbar.

In welcher Sprache ist gigatoken geschrieben?

gigatoken ist hauptsächlich in Rust geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — gigatoken

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=marcelroed-gigatoken)](https://opensourceai.tech/project/marcelroed-gigatoken.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
tiktoken-rs
Fertige Tokenizer-Bibliothek für die Arbeit mit GPT und tiktoken
★ 405 · bpe
teilttokenizer
toon
🎒 Token-orientierte Objektnotation (TOON) – kompakte, menschenlesbare Serialisierung von JSON-D…
★ 25k · data-format
teilttokenization
tiktokenizer
Online-Spielplatz für OpenAPI-Tokenisierer.
★ 1.7k · chatgpt
teilttokenizer
ECC
Das Agenten-Optimierungssystem für Leistung. Fähigkeiten, Instinkte, Gedächtnis, Sicherheit und…
★ 235k · ai-agents
hermes-agent
Der Agent, der mit Ihnen wächst
★ 222k · ai
AutoGPT
AutoGPT ist die Vision einer zugänglichen KI für alle, um sie zu nutzen und darauf aufzubauen.…
★ 186k · agentic-ai
ollama
Starten Sie mit Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma und anderen Modelle…
★ 177k · deepseek
prompts.chat
ehemals Awesome ChatGPT Prompts. Teilen, entdecken und sammeln Sie Eingabeaufforderungen aus de…
★ 166k · ai
transformers
🤗 Transformers: das Modelldefinitions-Framework für modernste Machine Learning Modelle in Text,…
★ 163k · audio
firecrawl
Die API zum Suchen, Scrapen und Interagieren mit dem Web in großem Maßstab. 🔥
★ 157k · ai

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.