crawlee
Crawlee—Une bibliothèque de scraping web et d'automatisation de navigateur pour Node.js pour construire des crawlers fiables. En JavaScript et TypeScript. Extraire des données pour IA, LLMs, RAG, ou GPTs. Télécharger HTML, PDF, JPG, PNG et d'autres fichiers depuis des sites web. Fonctionne avec Puppeteer, Playwright,
Construisez des scrapers web pour collecter des données à partir de sites web et automatiser des tâches de navigateur.
Depuis le README
npm install crawlee playwright
- Single interface for HTTP and headless browser crawling
- Persistent queue for URLs to crawl (breadth & depth first)
- Pluggable storage of both tabular data and files
- Automatic scaling with available system resources
- Integrated proxy rotation and session management
- Lifecycles customizable with hooks
Extraits du README du projet sur GitHub. Le droit d'auteur et les licences restent la propriété des auteurs respectifs.
Revendiquez sa page : indexée quel que soit son rang, traduite en six langues, et enrichie de vos propres mots.
Recevez une alerte par e-mail à sa prochaine version ou quand il décolle — ne ratez plus rien.
Gratuit · sans carte · désinscription à tout momentCrawlee—Une bibliothèque de scraping web et d'automatisation de navigateur pour Node.js pour construire des crawlers fiables. En JavaScript et TypeScript. Extraire des données pour IA, LLMs, RAG, ou GPTs. Télécharger HTML, PDF, JPG, PNG et d'autres fichiers depuis des sites web. Fonctionne avec Puppeteer, Playwright,
crawlee compte 25.6k étoiles sur GitHub. Il a été forké 1.7k fois. crawlee est écrit principalement en TypeScript. Il est développé activement depuis 2016. crawlee est disponible sous licence Apache-2.0. Ses principaux thèmes sont : apify, automation, crawler, crawling.
Qu'est-ce que crawlee ?
Crawlee—Une bibliothèque de scraping web et d'automatisation de navigateur pour Node.js pour construire des crawlers fiables. En JavaScript et TypeScript. Extraire des données pour IA, LLMs, RAG, ou GPTs. Télécharger HTML, PDF, JPG, PNG et d'autres fichiers depuis des sites web. Fonctionne avec Puppeteer, Playwright,
crawlee est-il open source ?
crawlee est un projet open source. Il est distribué sous licence Apache-2.0.
crawlee est-il gratuit ?
Oui. crawlee est gratuit et open source — vous pouvez l'utiliser, le modifier et l'héberger vous-même.
Sous quelle licence est crawlee ?
crawlee est disponible sous licence Apache-2.0.
Dans quel langage crawlee est-il écrit ?
crawlee est écrit principalement en TypeScript.
Ajoutez ce badge en direct à votre README — vos étoiles GitHub et votre classement dans le répertoire, actualisés quotidiennement.
[](https://olud.ai/project/apify-crawlee.html)
Mesuré à partir des topics GitHub communs aux deux projets, pondérés par leur rareté.