crw — Fast Web Scraping + Search MCP in Rust

Main

• 先用本地模式跑通输出质量与延迟，再把它接进更大的 agent 流水线里。

• 如果要兼容生态，客户端侧尽量保持 Firecrawl 风格的 endpoint 路径，未来切换成本更低。

• 把渲染策略当作运维变量：允许 failover，并把 warnings 明确写进日志供 agent/人排查。

• 生产环境建议加限流与 host allowlist，避免 web access 变成无边界爬虫。

README (excerpt)

The web scraper built for AI agents. Single binary. Zero config.

Works with: Claude Code · Cursor · Windsurf · Cline · Copilot · Continue.dev · Codex · Gemini CLI

Quick Start • AI Agents •

Source-backed notes

• README 的 Quick Start 使用 curl ... install.sh | CRW_BINARY=crw sh 安装，并通过 crw setup 初始化。
• README 说明提供 Firecrawl 兼容 API，并给出通过 npx crw-mcp 接入 Claude Code 的 MCP 示例。
• README 包含 benchmark/资源占用等声明；这些属于 README 语境信息，并非本脚本额外验证的性能结论。

FAQ

• 它只是 API server 吗？：README 同时提供 CLI 与 MCP 接入方式；建议先用 CLI 本地验证。
• 怎么接入 agent？：README 给出 claude mcp add ... -- npx crw-mcp 的示例用法。
• 如何更安全？：用 allowlist/限流，并从最小可用范围开始逐步扩展。