scraping 开源项目合集

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务，提供搜索、抓取和交互功能，自动处理 JS 渲染、代理轮换和速率限制，输出清洁的 Markdown 或结构化 JSON，帮助开发者高效获取网页数据。

Scrapling 是一个自适应 Web Scraping 框架，通过智能解析和反爬虫绕过技术，简化从单页抓取到大规模爬虫的各种任务，显著降低开发与维护成本。

基于 AI 与图逻辑的 Python 网络爬虫库，利用大语言模型自动构建抓取流程，从网站及多种文档格式中提取指定信息，实现“只抓一次”的智能化数据采集。

camofox-browser 是基于 Camoufox 引擎的反检测浏览器自动化服务器，专为 AI 代理设计，通过 C++ 级指纹伪装绕过网站检测，提供 REST API 和 OpenClaw 插件支持，具有 token 效率高、内存占用低的特点。