webscraping 开源项目合集

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务，提供搜索、抓取和交互功能，自动处理 JS 渲染、代理轮换和速率限制，输出清洁的 Markdown 或结构化 JSON，帮助开发者高效获取网页数据。

Scrapling 是一个自适应 Web Scraping 框架，通过智能解析和反爬虫绕过技术，简化从单页抓取到大规模爬虫的各种任务，显著降低开发与维护成本。

基于 AI 与图逻辑的 Python 网络爬虫库，利用大语言模型自动构建抓取流程，从网站及多种文档格式中提取指定信息，实现“只抓一次”的智能化数据采集。