跳到主要内容
项目档案应用项目

TuriX CUA 开源计算机使用代理:让 AI 直接操控桌面 GUI 自动化任务(支持 macOS/Windows/Linux)

TuriX CUA 是一个开源免费的计算机使用代理,允许 AI 模型直接操控桌面图形界面执行自动化任务。在 OSWorld 基准测试中达到 60%-80% 成功率,支持多模型配置(OpenAI、Anthropic、Ollama 等)。适用于办公自动化、代码编写、网页操作等场景。本页提供项目介绍、安装指南、使用方法和常见问题解答。

3,164PythonStar 于 2026年3月2日2026年9月19日 更新

AI 总结

TuriX CUA 是一个开源计算机使用代理,让 AI 模型能直接操控桌面 GUI 执行实际任务,在 OSWorld 基准测试中达到 60%-80% 成功率,支持多模型后端配置。

中文项目介绍

TuriX CUA 是 TuriX 公司推出的官方计算机使用代理(Computer-use Agent),旨在让强大的 AI 模型能够直接在桌面环境中执行实际操作。它提供最先进的自动化能力,在 OSWorld 风格 Mac 基准测试中达到 80% 成功率,在标准 OSWorld 基准测试中达到 60% 成功率,同时保持 100% 开源且对个人和研究使用完全免费。 该项目解决了 AI 模型无法直接与操作系统图形界面交互的核心问题,使 AI 能够像人类用户一样点击、输入、导航和操作桌面应用程序,从而自动化复杂的多步骤任务。传统解决方案往往依赖 brittle 的脚本或有限的 API,而 TuriX CUA 实现了端到端的 GUI 自动化。 适用场景广泛,包括旅行预订自动化(同时处理航班、酒店、打车等)、日常办公任务执行、代码编写与工程自动化、以及网页交互操作。最新发布的 TuriX SuperPower 3.0.0-alpha 进一步整合 CLI 和 GUI 工作流,新增 TuriX-work(办公执行)和 TuriX-code(编码工程)两大模式,覆盖从日常办公到软件开发的全面需求。 技术特征上,项目采用多模型架构,通过 config.json 灵活配置 LLM 后端,支持 OpenAI、Anthropic、Ollama、Qwen3-VL 等多种模型。核心代码基于 Python,依赖 pyautogui、pynput、playwright 等库实现 GUI 操作。平台支持 macOS 15+(提供独立 dmg 应用)、Windows(multi-agent-windows 分支)和 Linux(multi-agent-linux 分支)。此外,还提供 OpenClaw 技能包,便于与 OpenClaw 生态系统集成,并通过 skills/ 目录扩展自定义技能。

详细信息与使用说明

1. 项目定位与用途

TuriX CUA 是一个开源的计算机使用代理(CUA),核心定位是让 AI 模型能够直接操控桌面图形用户界面(GUI)执行实际任务。它提供 state-of-the-art 的自动化能力,将 AI 的决策与桌面操作结合,实现端到端的任务自动化。项目由 TuriX 公司维护,包含两种主要形式:一是桌面应用 TuriX SuperPower(macOS 平台),二是 Python 库(通过源码安装)。项目对个人和使用研究完全免费,旨在降低 AI 自动化的门槛。

2. 解决的问题

传统 AI 系统通常通过 API 调用或文本交互与外界通信,无法直接操作图形界面。这导致需要 GUI 操作的复杂任务(如填写网页表单、操作桌面软件、跨应用协调)必须依赖人工或编写 brittle 的自动化脚本。TuriX CUA 填补了这一鸿沟,使 AI 能够像人类用户一样与操作系统交互,通过视觉感知、推理规划和动作执行完成端到端任务,显著提升自动化鲁棒性和适用范围。

3. 适用场景

根据项目文档和演示,典型适用场景包括:旅行预订自动化(同时预订航班、酒店、打车等,如 booking_demo.gif 所示)、日常办公任务(文档处理、邮件管理、数据录入)、代码编写与工程自动化(通过 TuriX-code 模式)、以及网页交互操作(如自动搜索、表单填写)。TuriX SuperPower 3.0 进一步整合工作流,支持 CLI 精度与 GUI 动作的闭环执行,适合需要频繁进行桌面操作的 productivity 场景。

4. 安装方式

安装方式因平台而异:对于 macOS 用户(15+),可直接下载 TuriX SuperPower dmg 应用安装。对于开发者或其它平台,需执行以下步骤:1) 创建 Python 3.12 虚拟环境;2) 安装 requirements.txt 中的依赖;3) 授予操作系统权限(macOS 需在系统设置中开启 Accessibility 和 Safari Automation);4) 修改 examples/config.json 配置 AI 模型参数。Windows 和 Linux 用户需先切换至对应分支(multi-agent-windows 或 multi-agent-linux)再进行构建。详细步骤参考 README.md 的 Quick-Start 部分。

5. 使用方式

使用 TuriX CUA 主要有三种方式:1) 配置模型:编辑 config.json 设置 brain、actor、planner、memory 等组件的 LLM 后端(支持 OpenAI、Anthropic、Ollama 等)。2) 通过 OpenClaw 运行:按照 OpenCLaw_TuriX_skill/README.md 安装技能,使用 run_turix.sh(macOS)或 run_turix.ps1(Windows)启动。3) 编程式 API:参考 examples/main.py 加载配置并初始化 Agent 进行集成。此外,macOS 用户可直接启动 TuriX SuperPower 应用进行交互式使用。

6. 补充说明或实现特点

项目实现特点包括:多模型架构,支持动态切换 LLM 后端;核心模块划分为 agent(规划、提示、输出处理)、controller(控制注册)、平台适配层(如 src/mac)、utils 工具集;技能系统(skills/ 目录)允许扩展自定义操作;OpenClaw 集成提供标准化技能包。项目持续迭代,最新版本 3.0.0-alpha 引入工作流整合能力。所有功能对个人和研究免费开源,商业使用需遵守 LICENSE 条款。注意:Linux 和 Windows 支持目前位于独立分支,主分支以 macOS 为主。

思维导图

TuriX CUA
核心代理 (src/agent)
消息管理 (message_manager)
规划服务 (planner_service)
提示与输出 (prompts, output_schemas)
代理服务 (service)
结构化 LLM (structured_llm)
视图 (views)
控制器 (src/controller)
注册表 (registry)
服务 (service)
视图 (views)
平台适配 (src/mac)
操作 (actions)
元素 (element)
树 (tree)
工具集 (src/utils)
脑搜索 (brain_search)
记录存储 (record_store)
技能管理 (skills)
令牌计数 (token_counter)
技能系统 (skills/)
GitHub 网页操作示例
OpenClaw 集成 (OpenCLaw_TuriX_skill/)
技能定义 (SKILL.md)
运行脚本 (scripts/)
代理配置 (agents/openai.yaml)
示例与配置 (examples/)
配置模板 (config.json)
使用示例 (main.py)
文档与资源 (doc/, README.md)
演示动画 (booking_demo.gif 等)
项目说明 (README.md, README.zh-CN.md)

常见问题

TuriX CUA 支持哪些操作系统?

根据 README,官方支持 macOS 15+(提供独立 dmg 应用),Windows 和 Linux 支持通过切换至 multi-agent-windows 和 multi-agent-linux 分支获得。

如何配置 AI 模型?

通过编辑 examples/config.json 文件,可配置 brain、actor、planner、memory 等组件使用不同的 LLM 后端,如 OpenAI、Anthropic、Ollama、Qwen3-VL 等,实现多模型灵活切换。

TuriX CUA 的性能表现如何?

项目文档显示,在 OSWorld-style Mac 基准测试中达到 80% 成功率,在标准 OSWorld 基准测试中达到 60% 成功率,属于 state-of-the-art 水平。

如何通过 OpenClaw 使用 TuriX?

项目提供 OpenClaw 技能包于 OpenCLaw_TuriX_skill/ 目录,包含 macOS 和 Windows 的安装脚本(run_turix.sh/run_turix.ps1)和配置,需遵循该目录下的 README.md 进行安装和权限配置。

TuriX CUA 是否免费?

是的,项目 100% 开源,对个人和使用研究完全免费,无需任何费用。商业使用需遵守 LICENSE 条款。