Home› Progetti› Craw4LLM
Craw4LLM

Craw4LLM

di cxcscmu · GitHub

Repository ufficiale per "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

# crawler# crawling# large-language-models# llm# pre-training
Visualizza su GitHub
In parole semplici

Imposta un web crawler per raccogliere dati per addestrare modelli di linguaggio di grandi dimensioni in modo efficiente.

⭐ Stelle
660
🍴 Fork
60
📜 Licenza
MIT
Uso commerciale consentito
📅 Creato
2025
🔄 Ultimo commit
1 yr ago
🏷️ Categoria
crawler
💻 Lingua
Python
Mantieni questo progetto?

Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.

Rivendica questa pagina →
Craw4LLM — GitHub preview card
📈 Storia delle stelle
661660
2026-07-202026-07-29
📈 Segui Craw4LLM

Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.

Gratis · senza carta · disdici quando vuoi
Ricevi avvisi via email →
📄 Informazioni

Repository ufficiale per "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

Craw4LLM ha 660 stelle su GitHub. È stato forkato 60 volte. Craw4LLM è scritto principalmente in Python. È in sviluppo attivo dal 2025. Craw4LLM è disponibile con licenza MIT. I suoi temi principali sono: crawler, crawling, large-language-models, llm.

❓ Frequently asked questions

Che cos'è Craw4LLM?

Repository ufficiale per "Craw4LLM: Efficient Web Crawling for LLM Pretraining"

Craw4LLM è open source?

Craw4LLM è un progetto open source. È rilasciato con licenza MIT.

Craw4LLM è gratuito?

Sì. Craw4LLM è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.

Con quale licenza è Craw4LLM?

Craw4LLM è disponibile con licenza MIT.

In quale linguaggio è scritto Craw4LLM?

Craw4LLM è scritto principalmente in Python.

🏅 Manutentore di questo progetto?
OpenSourceAI badge — Craw4LLM

Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.

[![OpenSourceAI](https://opensourceai.tech/badge.php?tool=cxcscmu-craw4llm)](https://opensourceai.tech/project/cxcscmu-craw4llm.html)
Altre opzioni di badge →
🧬 Condivide il DNA con🧬 Vedi la mappa del DNA →
crawlee
Crawlee—Una libreria di web scraping e automazione del browser per Node.js per costruire crawle…
★ 25.1k · apify
condivideweb-crawlingcrawling
data_management_LLM
Collezione di esplorazioni sulla gestione dei dati di addestramento per modelli di linguaggio d…
★ 343 · instruction-tuning
condividepretrainingpre-training
crawlee-python
Crawlee—Una libreria di web scraping e automazione del browser per Python per costruire crawler…
★ 9.4k · apify
condivideweb-crawlingcrawling
awesome-self-supervised-gnn
Articoli sul pre-addestramento e sull'apprendimento auto-supervisionato su Reti Neurali Grafich…
★ 1.7k · deep-learning
condividepretrainingpre-training
firecrawl
L'API per cercare, estrarre e interagire con il web su larga scala. 🔥
★ 157k · ai
Scrapling
🕷️ Un framework di Web Scraping adattivo che gestisce tutto, da una singola richiesta a un craw…
★ 71.6k · ai
EasySpider
Un crawler/spider web visivo senza codice/senza codice: 易采集：un software di test automatizzato d…
★ 44.3k · batch-processing
Scrapegraph-ai
Scraper Python basato su IA
★ 28.7k · ai-crawler
maxun
🔥 La piattaforma open-source no-code per web scraping, crawling, ricerca e estrazione di dati A…
★ 16.9k · agents
autoscraper
Un web scraper intelligente, automatico, veloce e leggero per Python
★ 7.7k · ai

Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.