crawlee
Crawlee—Una libreria di web scraping e automazione del browser per Node.js per costruire crawler affidabili. In JavaScript e TypeScript. Estrai dati per AI, LLM, RAG o GPT. Scarica HTML, PDF, JPG, PNG e altri file dai siti web. Funziona con Puppeteer, Playwright,
Costruisci web scraper per raccogliere dati da siti web e automatizzare compiti del browser.
Dal README
npm install crawlee playwright
- Single interface for HTTP and headless browser crawling
- Persistent queue for URLs to crawl (breadth & depth first)
- Pluggable storage of both tabular data and files
- Automatic scaling with available system resources
- Integrated proxy rotation and session management
- Lifecycles customizable with hooks
Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.
Rivendica la sua pagina: indicizzata qualunque sia il rango, tradotta in sei lingue e arricchita con le tue parole.
Ricevi un avviso via email alla prossima release o quando decolla — non perderti nulla.
Gratis · senza carta · disdici quando vuoiCrawlee—Una libreria di web scraping e automazione del browser per Node.js per costruire crawler affidabili. In JavaScript e TypeScript. Estrai dati per AI, LLM, RAG o GPT. Scarica HTML, PDF, JPG, PNG e altri file dai siti web. Funziona con Puppeteer, Playwright,
crawlee ha 25.6k stelle su GitHub. È stato forkato 1.7k volte. crawlee è scritto principalmente in TypeScript. È in sviluppo attivo dal 2016. crawlee è disponibile con licenza Apache-2.0. I suoi temi principali sono: apify, automation, crawler, crawling.
Che cos'è crawlee?
Crawlee—Una libreria di web scraping e automazione del browser per Node.js per costruire crawler affidabili. In JavaScript e TypeScript. Estrai dati per AI, LLM, RAG o GPT. Scarica HTML, PDF, JPG, PNG e altri file dai siti web. Funziona con Puppeteer, Playwright,
crawlee è open source?
crawlee è un progetto open source. È rilasciato con licenza Apache-2.0.
crawlee è gratuito?
Sì. crawlee è gratuito e open source: puoi usarlo, modificarlo e ospitarlo autonomamente.
Con quale licenza è crawlee?
crawlee è disponibile con licenza Apache-2.0.
In quale linguaggio è scritto crawlee?
crawlee è scritto principalmente in TypeScript.
Aggiungi questo badge live al tuo README — le tue stelle GitHub e il ranking della directory, aggiornati quotidianamente.
[](https://olud.ai/project/apify-crawlee.html)
Misurato dai topic GitHub comuni a entrambi i progetti, ponderati per la loro rarita.