crawlee
Crawlee—Eine Web-Scraping- und Browserautomatisierungsbibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright.
Erstellen Sie Web-Scraper, um Daten von Websites zu sammeln und Browseraufgaben zu automatisieren.
Aus der README
npm install crawlee playwright
- Single interface for HTTP and headless browser crawling
- Persistent queue for URLs to crawl (breadth & depth first)
- Pluggable storage of both tabular data and files
- Automatic scaling with available system resources
- Integrated proxy rotation and session management
- Lifecycles customizable with hooks
Auszüge aus der Projekt-README zu GitHub. Das Urheberrecht und die Lizenzen verbleiben bei den jeweiligen Autoren.
Beanspruchen Sie die Seite: indexiert unabhangig vom Rang, in sechs Sprachen ubersetzt und mit Ihren eigenen Worten erganzt.
Erhalten Sie eine E-Mail-Benachrichtigung beim nächsten Release oder wenn es durchstartet.
Kostenlos · ohne Karte · jederzeit abbestellbarCrawlee—Eine Web-Scraping- und Browserautomatisierungsbibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright.
crawlee hat 25.6k Sterne auf GitHub. Es wurde 1.7k-mal geforkt. crawlee ist hauptsächlich in TypeScript geschrieben. Es wird seit 2016 aktiv entwickelt. crawlee ist unter der Apache-2.0-Lizenz verfügbar. Die Hauptthemen sind: apify, automation, crawler, crawling.
Was ist crawlee?
Crawlee—Eine Web-Scraping- und Browserautomatisierungsbibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Daten für KI, LLMs, RAG oder GPTs extrahieren. HTML, PDF, JPG, PNG und andere Dateien von Websites herunterladen. Funktioniert mit Puppeteer, Playwright.
Ist crawlee Open Source?
crawlee ist ein Open-Source-Projekt. Es wird unter der Apache-2.0-Lizenz veröffentlicht.
Ist crawlee kostenlos?
Ja. crawlee ist kostenlos und Open Source — Sie können es nutzen, anpassen und selbst hosten.
Unter welcher Lizenz steht crawlee?
crawlee ist unter der Apache-2.0-Lizenz verfügbar.
In welcher Sprache ist crawlee geschrieben?
crawlee ist hauptsächlich in TypeScript geschrieben.
Fügen Sie dieses Live-Abzeichen zu Ihrem README hinzu — Ihre GitHub-Sterne und Verzeichnisrang, täglich aktualisiert.
[](https://olud.ai/project/apify-crawlee.html)
Ermittelt aus gemeinsamen GitHub-Topics beider Projekte, gewichtet nach ihrer Seltenheit.