简介
Crawl4AI 是一个专为 AI 应用和 LLM 数据管道构建的开源 Python 网页爬虫框架，GitHub 25,000+ stars。它从任何网站提取干净的结构化 Markdown，自动处理 JavaScript 渲染、反爬检测和会话管理。适合构建 RAG 管道、研究 Agent 或数据提取工具的 AI 开发者。兼容 Claude Code、LangChain、LlamaIndex、CrewAI。
Scripts2026年4月6日·1 分钟阅读
Crawl4AI — LLM-Ready Web Crawler, 25K Stars
Open-source Python web crawler built for AI and LLMs. Extracts clean markdown from any website with anti-bot bypass, structured extraction, and session management. 25,000+ GitHub stars.
SC
Script Depot · Community
快速使用
先拿来用，再决定要不要深挖
这里应该同时让用户和 Agent 知道第一步该复制什么、安装什么、落到哪里。
- 安装:
pip install crawl4ai - 运行设置:
crawl4ai-setup（下载浏览器） - 在脚本中使用:
from crawl4ai import AsyncWebCrawler
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url="https://example.com")
print(result.markdown)🙏
来源与感谢
讨论
登录后参与讨论。
还没有评论，来写第一条吧。