yuruotong1/autoMate：autoMate 是一个 MCP 服务器，赋予 AI 助手（如 Claude、GPT）操控任意桌面应用的能力，无需 API 支持，实现零配置、跨本页整理它解决什么问题、适用场景、安装方式和使用方法。
autoMate 是一个 MCP 服务器，赋予 AI 助手（如 Claude、GPT）操控任意桌面应用的能力，无需 API 支持，实现零配置、跨平台的桌面自动化。
autoMate 是一个 MCP 服务器应用，定位为 AI 原生的桌面自动化工具。其核心用途是赋予大型语言模型（如 Claude、GPT）直接操控桌面环境的能力，使 AI 助手不仅能处理文本和代码，还能像人类用户一样与图形界面交互。它通过提供一组标准化的自动化工具（如截图、点击、输入文本、按键等），让 AI 能够执行任何桌面应用的操作，从而将自然语言指令转化为实际的计算机操作。这使其成为传统 RPA（机器人流程自动化）方案的 AI 驱动替代品，特别适用于缺乏自动化接口的封闭软件。
autoMate 主要解决 AI 助手无法操作无 API 桌面应用的问题。传统 MCP 服务器（如 filesystem MCP、browser MCP、Windows MCP）的自动化范围受限于其设计目标，无法覆盖通用桌面软件。许多企业级或创意类应用（如剪映、Photoshop、SAP、微信）没有开放自动化接口，导致 AI 无法协助用户完成这些软件内的任务。autoMate 通过底层屏幕坐标操作和可选视觉元素识别，绕过了对应用 API 的依赖，使 AI 能够‘看到’屏幕并‘模拟’用户操作，从而填补了桌面自动化的关键空白。
根据仓库信息，autoMate 适用于以下场景：自动化无 API 的桌面软件，例如视频编辑软件（剪映）、设计工具（Photoshop、AutoCAD）、通讯工具（微信）、企业系统（SAP）及各类内部工具；通过自然语言描述执行复杂桌面工作流，如‘导出剪映项目为 9:16 视频’；保存和复用自动化脚本，将重复性任务固化为可共享的 .md 文件；跨平台桌面自动化，支持 Windows、macOS、Linux，区别于仅支持 Windows 的 Quicker 等工具。用户可以是开发者、设计师、数据分析师或任何需要将桌面操作交给 AI 完成的个人或团队。
安装 autoMate 需要先安装 uv 工具（pip install uv）。然后在支持 MCP 的 AI 客户端中配置服务器：对于 Claude Desktop，进入设置 → 开发者 → 编辑配置，在 mcpServers 中添加命令 'uvx' 和参数 ['automate-mcp@latest']；对于 OpenClaw，编辑 ~/.openclaw/openclaw.json 并添加相同配置后重启网关；对于 Cursor、Windsurf、Cline 等，在 MCP 服务器设置中添加上述命令和参数。配置完成后重启客户端，autoMate 会自动从 PyPI 拉取最新版本并运行。仓库中未明确给出离线安装或手动指定版本的方法。
使用 autoMate 时，用户通过 AI 助手（如 Claude）用自然语言描述自动化任务，AI 会自动选择调用合适的 MCP 工具。工具分为两类：脚本库工具（list_scripts、run_script、save_script、show_script、delete_script、install_script）用于管理持久化工作流；底层控制工具（screenshot、click、double_click、type_text、press_key、scroll、mouse_move、drag）用于实时操作桌面。自动化脚本保存为 ~/.automate/scripts/ 目录下的 Markdown 文件，使用内联提示语法（如 [click:coord=320,240]、[type:文本]、[key:ctrl+s]）描述步骤，支持共享和社区安装。AI 在构建脚本时会结合视觉模型解析屏幕内容。
autoMate 的实现特点包括：零配置设计，无需 API Key 或环境变量，依赖宿主 LLM 进行决策；跨平台能力，通过 pyautogui 等库在三大操作系统上运行；模块化架构，mcp_server.py 作为入口注册工具，auto_control 包实现底层操作，core 包管理脚本与引擎，util 提供辅助函数；可选视觉堆栈（torch、ultralytics 等）支持 OmniParser 元素检测，但非必需；脚本以人类可读的 .md 格式存储，便于版本控制与协作；通过 uvx 命令实现自动更新，每次客户端重启时拉取最新版本。仓库中未明确给出性能指标、安全机制或企业级部署方案。
autoMate 是一个 MCP 服务器，它为 AI 助手（如 Claude、GPT）提供桌面自动化能力，使 AI 能够通过自然语言控制任意图形界面应用，即使该应用没有 API 或自动化接口。
首先安装 uv（pip install uv）。然后在支持 MCP 的客户端（如 Claude Desktop、OpenClaw、Cursor）的配置文件中添加 MCP 服务器：命令使用 'uvx'，参数为 ['automate-mcp@latest']。重启客户端即可自动加载最新版本。
autoMate 理论上支持任何有图形用户界面的桌面应用，包括但不限于剪映、Photoshop、AutoCAD、微信、SAP 以及各类企业内部工具。只要应用能在屏幕上显示，autoMate 就能通过坐标操作或视觉识别与其交互。
自动化脚本以 Markdown 格式保存在 ~/.automate/scripts/ 目录下，使用内联提示语法描述操作步骤（如 [click:coord=x,y]）。这些脚本是人类可读的，可以版本控制、分享给他人，或通过 install_script 工具从 URL 或社区库一键安装。
autoMate 采用 MIT 开源许可证，可免费使用。其核心功能依赖本地库（如 pyautogui），无需网络连接即可执行自动化。但 AI 助手的推理通常需要联网调用 LLM API；视觉元素检测功能如需 OmniParser 模型，首次使用可能需下载权重，之后可离线运行。