crawlee
Crawlee—Una biblioteca de scraping web y automatización de navegador para Node.js para construir crawlers confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright.
Construye raspadores web para recopilar datos de sitios web y automatizar tareas del navegador.
Del README
npm install crawlee playwright
- Single interface for HTTP and headless browser crawling
- Persistent queue for URLs to crawl (breadth & depth first)
- Pluggable storage of both tabular data and files
- Automatic scaling with available system resources
- Integrated proxy rotation and session management
- Lifecycles customizable with hooks
Extractos del README del proyecto sobre GitHub. Los derechos de autor y las licencias permanecen con los respectivos autores.
Reivindica su pagina: indexada sea cual sea su posicion, traducida a seis idiomas y enriquecida con tus propias palabras.
Recibe una alerta por correo en su próximo lanzamiento o cuando despegue — no te pierdas nada.
Gratis · sin tarjeta · cancela cuando quierasCrawlee—Una biblioteca de scraping web y automatización de navegador para Node.js para construir crawlers confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright.
crawlee tiene 25.6k estrellas en GitHub. Se ha bifurcado 1.7k veces. crawlee está escrito principalmente en TypeScript. Se desarrolla activamente desde 2016. crawlee está disponible bajo la licencia Apache-2.0. Sus temas principales son: apify, automation, crawler, crawling.
¿Qué es crawlee?
Crawlee—Una biblioteca de scraping web y automatización de navegador para Node.js para construir crawlers confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright.
¿crawlee es de código abierto?
crawlee es un proyecto de código abierto. Se distribuye bajo la licencia Apache-2.0.
¿crawlee es gratis?
Sí. crawlee es gratuito y de código abierto: puedes usarlo, modificarlo y alojarlo tú mismo.
¿Bajo qué licencia está crawlee?
crawlee está disponible bajo la licencia Apache-2.0.
¿En qué lenguaje está escrito crawlee?
crawlee está escrito principalmente en TypeScript.
Agrega este distintivo en vivo a tu README — tus estrellas de GitHub y rango en el directorio, actualizados diariamente.
[](https://olud.ai/project/apify-crawlee.html)
Medido a partir de los topics de GitHub comunes a ambos proyectos, ponderados por su rareza.