web-search 开源项目合集

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务，提供搜索、抓取和交互功能，自动处理 JS 渲染、代理轮换和速率限制，输出清洁的 Markdown 或结构化 JSON，帮助开发者高效获取网页数据。

last30days-skill 是一个 AI 代理技能，可并行搜索 Reddit、X、YouTube 等平台近 30 天内容，根据用户参与度评分并生成基于证据的简明摘要，帮助快速获取实时社区洞察。

基于 AI 与图逻辑的 Python 网络爬虫库，利用大语言模型自动构建抓取流程，从网站及多种文档格式中提取指定信息，实现“只抓一次”的智能化数据采集。