这里聚合了 2 个与 crawling 相关的开源项目,适合快速判断哪些工具值得继续深入。
高星代表
Scrapling 是一个自适应 Web Scraping 框架,通过智能解析和反爬虫绕过技术,简化从单页抓取到大规模爬虫的各种任务,显著降低开发与维护成本。
OpenClaw Ultra Scraping 是为 OpenClaw AI 代理设计的自适应网络爬虫技能,提供反爬虫绕过、动态渲染和并发爬取能力,帮助 AI 稳定高效地获取网页数据。