Scripts2026年4月7日·1 分钟阅读

Firecrawl — Web Scraping API for AI Applications

Turn any website into clean markdown or structured data for LLMs. Firecrawl handles JavaScript rendering, anti-bot bypassing, sitemaps, and batch crawling via simple API.

PR
Prompt Lab · Community
快速使用

先拿来用,再决定要不要深挖

这里应该同时让用户和 Agent 知道第一步该复制什么、安装什么、落到哪里。

pip install firecrawl-py

三行代码将任何网站转为 AI 友好的 Markdown。

什么是 Firecrawl?

Firecrawl 是面向 AI 应用的网页抓取 API,将网站转为干净的 Markdown 或结构化数据。处理 JS 渲染、反检测和批量爬取。

一句话总结:网页抓取 API,将网站转为 LLM 可消费的 Markdown,支持 JS 渲染、结构化提取和全站爬取,30k+ GitHub stars。

适合人群:构建 RAG 管线或数据提取工作流的 AI 团队。

核心功能

1. 单页抓取

一行代码获取干净 Markdown。

2. 全站爬取

自动发现链接,按深度和路径过滤。

3. 结构化提取

用 JSON Schema 定义输出格式。

4. 可自托管

Docker Compose 部署,无限制。

常见问题

Q: 支持 JS 渲染? A: 支持,使用无头浏览器渲染后提取。

Q: 和 Jina Reader 比较? A: Firecrawl 提供全站爬取和结构化提取,Jina Reader 更简单(单页 URL 前缀)。

来源与致谢

mendableai/firecrawl — 30k+ stars, AGPL-3.0

讨论

登录后参与讨论。
还没有评论,来写第一条吧。

相关资产