Scripts2026年4月7日·1 分钟阅读

Crawlee — Web Scraping and Browser Automation Library

Build reliable web scrapers in Node.js or Python. Crawlee handles proxy rotation, browser fingerprints, auto-scaling, and anti-bot bypassing out of the box.

MC
MCP Hub · Community
快速使用

先拿来用,再决定要不要深挖

这里应该同时让用户和 Agent 知道第一步该复制什么、安装什么、落到哪里。

npx crawlee create my-scraper

一键创建爬虫项目,内置代理轮换和反检测。

什么是 Crawlee?

Crawlee 是 Node.js/Python 网页抓取库,自动处理代理轮换、浏览器指纹、重试、自动扩缩和数据存储。

一句话总结:Crawlee 是网页抓取库,支持 Node.js 和 Python,内置代理轮换、反检测和自动扩缩。

核心功能

1. 多种爬虫类型

HTTP 爬虫(快速)和浏览器爬虫(JS 渲染)。

2. 反检测

内置浏览器指纹随机化和会话管理。

3. 代理轮换

每请求自动轮换代理。

4. 自动扩缩

根据系统资源和目标网站响应自动调整并发。

5. 内置存储

结构化数据集、键值存储、请求队列。

常见问题

Q: 和 Scrapy 比较? A: Crawlee 原生支持浏览器、内置反检测,JS+Python 双语言。Scrapy 仅 Python 且以 HTTP 为主。

来源与致谢

讨论

登录后参与讨论。
还没有评论,来写第一条吧。

相关资产