crawlee
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe HTML, PDF, JPG, PNG e outros arquivos de sites. Funciona com Puppeteer, Playwright,
Construa raspadores da web para coletar dados de sites e automatizar tarefas de navegador.
Do README
npm install crawlee playwright
- Single interface for HTTP and headless browser crawling
- Persistent queue for URLs to crawl (breadth & depth first)
- Pluggable storage of both tabular data and files
- Automatic scaling with available system resources
- Integrated proxy rotation and session management
- Lifecycles customizable with hooks
Trechos do README do projeto em GitHub. Os direitos autorais e as licenças permanecem com os respectivos autores.
Reivindique a sua pagina: indexada seja qual for a posicao, traduzida em seis linguas e enriquecida com as suas palavras.
Receba um alerta por e-mail no próximo lançamento ou quando começar a bombar.
Grátis · sem cartão · cancele quando quiserCrawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe HTML, PDF, JPG, PNG e outros arquivos de sites. Funciona com Puppeteer, Playwright,
crawlee tem 25.6k estrelas no GitHub. Foi bifurcado 1.7k vezes. crawlee é escrito principalmente em TypeScript. Está em desenvolvimento ativo desde 2016. crawlee está disponível sob a licença Apache-2.0. Os seus principais temas são: apify, automation, crawler, crawling.
O que é crawlee?
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe HTML, PDF, JPG, PNG e outros arquivos de sites. Funciona com Puppeteer, Playwright,
crawlee é de código aberto?
crawlee é um projeto de código aberto. É distribuído sob a licença Apache-2.0.
crawlee é gratuito?
Sim. crawlee é gratuito e de código aberto — você pode usá-lo, modificá-lo e hospedá-lo por conta própria.
Sob que licença está crawlee?
crawlee está disponível sob a licença Apache-2.0.
Em que linguagem crawlee está escrito?
crawlee é escrito principalmente em TypeScript.
Adicione este badge ao vivo ao seu README — suas estrelas do GitHub e classificação no diretório, atualizadas diariamente.
[](https://olud.ai/project/apify-crawlee.html)
Medido a partir dos topics do GitHub comuns aos dois projetos, ponderados pela sua raridade.