跳到主要内容
技术标签4 个项目合计 ★ 378,928平均 ★ 94,732

web-scraper 开源项目合集

这里聚合了 4 个与 web-scraper 相关的开源项目,适合快速判断哪些工具值得继续深入。

语言构成Python · 3TypeScript · 1

高星代表

这个分组里最值得先看的 3

按 Star 数排序

项目列表按 stars 从高到低

firecrawl
firecrawl

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务,提供搜索、抓取和交互功能,自动处理 JS 渲染、代理轮换和速率限制,输出清洁的 Markdown 或结构化 JSON,帮助开发者高效获取网页数据。

182.2kTypeScript
Panniantong
Agent-Reach

Agent Reach 是一个为 AI Agent 提供免 API 费用互联网访问能力的开源 CLI 工具,支持读取和搜索 Twitter、Reddit、YouTube、GitHub、Bilibili、小红书等十多个平台。

83.3kPython
D4Vinci
Scrapling

Scrapling 是一个自适应 Web Scraping 框架,通过智能解析和反爬虫绕过技术,简化从单页抓取到大规模爬虫的各种任务,显著降低开发与维护成本。

82.3kPython
ScrapeGraphAI
Scrapegraph-ai

基于 AI 与图逻辑的 Python 网络爬虫库,利用大语言模型自动构建抓取流程,从网站及多种文档格式中提取指定信息,实现“只抓一次”的智能化数据采集。

31.1kPython