Startseite› Projekte› Craw4LLM
Craw4LLM

Craw4LLM

von cxcscmu · GitHub

Offizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"

# crawler# crawling# large-language-models# llm# pre-training
Auf GitHub ansehen
In einfachen Worten

Richten Sie einen Web-Crawler ein, um Daten effizient für das Training großer Sprachmodelle zu sammeln.

⭐ Sterne
660
🍴 Forks
60
📜 Lizenz
MIT
Kommerzielle Nutzung erlaubt
📅 Erstellt
2025
🔄 Letzter Commit
1 yr ago
🏷️ Kategorie
crawler
💻 Sprache
Python
Betreuen Sie dieses Projekt?

Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.

Diese Seite beanspruchen →
Craw4LLM — GitHub preview card
📈 Sternhistorie
661660
2026-07-202026-07-29
📈 Craw4LLM verfolgen

Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.

Kostenlos · ohne Karte · jederzeit abbestellbar
E-Mail-Alerts erhalten →
📄 Über

Offizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"

Craw4LLM hat 660 Sterne auf GitHub. Es wurde 60-mal geforkt. Craw4LLM ist hauptsächlich in Python geschrieben. Es wird seit 2025 aktiv entwickelt. Craw4LLM ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: crawler, crawling, large-language-models, llm.

❓ Frequently asked questions

Was ist Craw4LLM?

Offizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"

Ist Craw4LLM Open Source?

Craw4LLM ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.

Ist Craw4LLM kostenlos?

Ja. Craw4LLM ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.

Unter welcher Lizenz steht Craw4LLM?

Craw4LLM ist unter der MIT-Lizenz verfügbar.

In welcher Sprache ist Craw4LLM geschrieben?

Craw4LLM ist hauptsächlich in Python geschrieben.

🏅 Wartender dieses Projekts?
OpenSourceAI badge — Craw4LLM

Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=cxcscmu-craw4llm)](https://opensourceai.tech/project/cxcscmu-craw4llm.html)
Weitere Abzeichenoptionen →
🧬 Teilt DNA mit🧬 DNA-Karte ansehen →
crawlee
Crawlee—Eine Web-Scraping- und Browserautomatisierungsbibliothek für Node.js, um zuverlässige C…
★ 25.1k · apify
teiltweb-crawlingcrawling
data_management_LLM
Sammlung von Erkundungen zur Verwaltung von Trainingsdaten für große Sprachmodelle
★ 343 · instruction-tuning
teiltpretrainingpre-training
crawlee-python
Crawlee—Eine Web-Scraping- und Browserautomatisierungsbibliothek für Python, um zuverlässige Cr…
★ 9.4k · apify
teiltweb-crawlingcrawling
awesome-self-supervised-gnn
Papiere über Pretraining und selbstüberwachtes Lernen auf Graph Neural Networks (GNN).
★ 1.7k · deep-learning
teiltpretrainingpre-training
firecrawl
Die API zum Suchen, Scrapen und Interagieren mit dem Web in großem Maßstab. 🔥
★ 157k · ai
Scrapling
🕷️ Ein adaptives Web-Scraping-Framework, das alles von einer einzelnen Anfrage bis zu einem umf…
★ 71.6k · ai
EasySpider
Ein visuelles No-Code/codefreies Web-Crawler/spider易采集：ein visuelles Browser-Automatisierungste…
★ 44.3k · batch-processing
Scrapegraph-ai
Python-Scraper basierend auf KI
★ 28.7k · ai-crawler
maxun
🔥 Die Open-Source-No-Code-Plattform für Web-Scraping, Crawling, Suche und AI-Datenextraktion •…
★ 16.9k · agents
autoscraper
Ein intelligenter, automatischer, schneller und leichter Web-Scraper für Python
★ 7.7k · ai

Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.