简介
Crawl4AI 是一款专为大语言模型与 RAG 场景设计的开源网页爬虫框架。它能将抓取到的网页内容自动清洗、转换为结构化的 Markdown，省去繁琐的预处理步骤，是构建知识库与数据管道的利器。
核心功能
- 高速异步抓取：基于 Playwright 的异步架构，支持大规模并发
- LLM 友好输出：自动生成 Markdown 与干净正文，过滤广告与导航噪音
- 结构化提取：通过 CSS/XPath 或 LLM 抽取指定字段为 JSON
- 动态渲染：支持 JavaScript 渲染的 SPA 页面
- 无缝接入 RAG：输出可直接投喂向量数据库与 Agent
适用场景
- 为 RAG 知识库批量采集网页内容
- Agent 联网抓取与信息聚合
- 竞品与舆情数据采集
