scraper 开源项目合集

Firecrawl 是一个专为 AI 应用设计的 Web 数据 API 服务，提供搜索、抓取和交互功能，自动处理 JS 渲染、代理轮换和速率限制，输出清洁的 Markdown 或结构化 JSON，帮助开发者高效获取网页数据。

x-tweet-fetcher 是一个智能路由的 X/Twitter 内容获取 CLI 工具，无需 API 密钥，通过 Nitter 和 Playwright 双后端自动回退，为 AI 代理、自动化监控等场景提供稳定、高效的结构化数据获取方案。