1. 项目定位与用途
x-tweet-fetcher 是一个专为 X/Twitter 内容获取设计的智能路由 CLI 工具。其定位是提供一种无需官方 API 密钥、抗封锁、环境适应性强的数据获取方案。主要用途包括:为 AI 代理(如 Claude Code)提供结构化推文数据;支持自动化监控任务(如跟踪特定用户或关键词);辅助内容研究(如批量下载时间线、分析用户画像);并扩展至微信、微博、Bilibili 等中国平台内容的抓取。所有功能通过命令行脚本调用,输出 JSON 格式,便于集成到各类工作流中。
2. 解决的问题
项目直接针对 X/Twitter 生态的三大痛点:一是平台已取消免费 API,传统方式无法程序化访问;二是直接爬虫极易触发反爬机制导致 IP 封禁;三是基于浏览器的自动化方案(如 Selenium)在无头服务器环境(CI/CD、VPS)中配置复杂、稳定性差。x-tweet-fetcher 通过‘智能后端路由’架构,将 Nitter 实例(第三方无头客户端)作为首选高速零依赖通道,同时保留 Playwright 浏览器后端以覆盖 Lists、Articles 等高级功能,并实现自动故障转移,从而在速度、功能覆盖和稳定性之间取得平衡。
3. 适用场景
该工具适用于多种技术场景:AI 代理与智能体集成,为 LLM 提供实时 X 数据输入;自动化监控,如 cron 任务监控特定用户的 @mentions 或关键词搜索,利用退出码判断更新;内容研究与归档,批量获取用户时间线、搜索历史推文、分析用户兴趣标签;跨平台内容聚合,通过单一工具获取 X 的 Lists、Articles 以及微信公众号、微博、B站内容;无头环境部署,在服务器、Docker 容器、GitHub Actions 等无需图形界面的环境中稳定运行。
4. 安装方式
安装依赖基于所选后端:基础要求为 Python 3.7+ 环境。若仅使用 Nitter 后端(或 auto 模式),除标准库外无额外依赖,但需自备一个可用的 Nitter 实例,并设置环境变量 NITTER_URL 指向其地址(如 export NITTER_URL=http://127.0.0.1:8788)。若需使用浏览器后端以获取 Lists、Articles 或中国平台内容,则必须安装 Playwright 及其浏览器驱动(Playwright 安装后需运行 playwright install 安装 Chromium)。值得注意的是,在 OpenClaw 环境中,Playwright 与 Chromium 已预装配置完毕,可直接使用。