web-scraping 开源项目合集

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务，提供搜索、抓取和交互功能，自动处理 JS 渲染、代理轮换和速率限制，输出清洁的 Markdown 或结构化 JSON，帮助开发者高效获取网页数据。

Scrapling 是一个自适应 Web Scraping 框架，通过智能解析和反爬虫绕过技术，简化从单页抓取到大规模爬虫的各种任务，显著降低开发与维护成本。

changedetection.io 是一个开源的网站变化检测与监控平台，可自动跟踪网页内容更新并通过多种渠道发送实时警报，适用于价格追踪、库存监控及内容更新监测等场景。

基于 AI 与图逻辑的 Python 网络爬虫库，利用大语言模型自动构建抓取流程，从网站及多种文档格式中提取指定信息，实现“只抓一次”的智能化数据采集。

camofox-browser 是基于 Camoufox 引擎的反检测浏览器自动化服务器，专为 AI 代理设计，通过 C++ 级指纹伪装绕过网站检测，提供 REST API 和 OpenClaw 插件支持，具有 token 效率高、内存占用低的特点。

httpcloak 是一个多语言 HTTP 客户端库，通过精确模拟 Chrome、Firefox、Safari 等浏览器的 TLS 握手、HTTP/2、HTTP/3 及头部指纹，绕过基于加密和协议层特征的机器人检测。

OpenClaw Ultra Scraping 是为 OpenClaw AI 代理设计的自适应网络爬虫技能，提供反爬虫绕过、动态渲染和并发爬取能力，帮助 AI 稳定高效地获取网页数据。