什么是 Firecrawl?
Firecrawl 是面向 AI 应用的网页抓取 API,将网站转为干净的 Markdown 或结构化数据。处理 JS 渲染、反检测和批量爬取。
一句话总结:网页抓取 API,将网站转为 LLM 可消费的 Markdown,支持 JS 渲染、结构化提取和全站爬取,30k+ GitHub stars。
适合人群:构建 RAG 管线或数据提取工作流的 AI 团队。
核心功能
1. 单页抓取
一行代码获取干净 Markdown。
2. 全站爬取
自动发现链接,按深度和路径过滤。
3. 结构化提取
用 JSON Schema 定义输出格式。
4. 可自托管
Docker Compose 部署,无限制。
常见问题
Q: 支持 JS 渲染? A: 支持,使用无头浏览器渲染后提取。
Q: 和 Jina Reader 比较? A: Firecrawl 提供全站爬取和结构化提取,Jina Reader 更简单(单页 URL 前缀)。
来源与致谢
mendableai/firecrawl — 30k+ stars, AGPL-3.0