Craw4LLM
Offizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"
Richten Sie einen Web-Crawler ein, um Daten effizient für das Training großer Sprachmodelle zu sammeln.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarOffizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"
Craw4LLM hat 663 Sterne auf GitHub. Es wurde 60-mal geforkt. Craw4LLM ist hauptsächlich in Python geschrieben. Es wird seit 2025 aktiv entwickelt. Craw4LLM ist unter der MIT-Lizenz verfügbar. Die Hauptthemen sind: crawler, crawling, large-language-models, llm.
Was ist Craw4LLM?
Offizielles Repository für "Craw4LLM: Effizientes Web Crawling für LLM-Pretraining"
Ist Craw4LLM Open Source?
Craw4LLM ist ein Open-Source-Projekt. Es wird unter der MIT-Lizenz veröffentlicht.
Ist Craw4LLM kostenlos?
Ja. Craw4LLM ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht Craw4LLM?
Craw4LLM ist unter der MIT-Lizenz verfügbar.
In welcher Sprache ist Craw4LLM geschrieben?
Craw4LLM ist hauptsächlich in Python geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/cxcscmu-craw4llm.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.