跳到主要内容
技术标签共 4 个项目合计 ★ 432,900平均 ★ 108,225

web-scraper 开源项目合集

这里聚合了 4 个与 web-scraper 相关的开源项目,适合快速判断哪些工具值得继续深入。

语言构成Python · 3TypeScript · 1

高星代表

这个分组里最值得先看的 3 个

按 Star 数排序

项目列表按 stars 从高到低

firecrawl
firecrawl

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务,提供搜索、抓取和交互功能,自动处理 JS 渲染、代理轮换和速率限制,输出清洁的 Markdown 或结构化 JSON,帮助开发者高效获取网页数据。

198.2kTypeScript
Panniantong
Agent-Reach

Agent Reach 是一个为 AI Agent 提供免 API 费用互联网访问能力的开源 CLI 工具,支持读取和搜索 Twitter、Reddit、YouTube、GitHub、Bilibili、小红书等十多个平台。

108.3kPython
D4Vinci
Scrapling

Scrapling 是一个自适应 Web Scraping 框架,通过智能解析和反爬虫绕过技术,简化从单页抓取到大规模爬虫的各种任务,显著降低开发与维护成本。

93.9kPython
ScrapeGraphAI
Scrapegraph-ai

基于 AI 与图逻辑的 Python 网络爬虫库,利用大语言模型自动构建抓取流程,从网站及多种文档格式中提取指定信息,实现“只抓一次”的智能化数据采集。

32.5kPython