什么是 Crawl4AI MCP?
Crawl4AI MCP 是基于 MCP 协议的网页爬取服务器,让 Claude Code、Cursor 等 AI Agent 通过工具调用抓取和提取网页内容。
一句话总结:MCP 网页爬取服务器,AI Agent 通过工具调用抓取网页、提取 Markdown 和结构化数据,支持 JS 渲染,基于 Crawl4AI(20k+ stars)。
适合人群:需要网页访问能力的 AI Agent 用户。
核心工具
1. crawl_url — 单页抓取
2. smart_crawl — AI 智能提取
3. batch_crawl — 批量爬取
常见问题
Q: 支持 JS 渲染? A: 支持,使用 Playwright/Chromium。
Q: 和 Puppeteer MCP 区别? A: Crawl4AI MCP 专注内容提取,Puppeteer MCP 偏底层 DOM 操作。
来源与致谢
基于 crawl4ai — 20k+ stars, Apache 2.0