1. 项目定位与用途
UI-TARS-desktop 是字节跳动开源的桌面 GUI 代理应用，属于 TARS 多模态 AI Agent 栈的桌面端实现。它基于 UI-TARS 视觉语言模型，允许用户通过自然语言描述任务，由 AI 自动操作计算机或浏览器的图形界面，实现自动化工作流。项目定位为降低 GUI 自动化门槛，将多模态 AI 能力（视觉理解、推理）与现实工具（本地/远程桌面、浏览器）无缝结合，提供类人任务完成体验。
项目档案应用项目
UI-TARS-desktop 开源桌面应用：基于视觉语言模型的自然语言 GUI 自动化控制工具
UI-TARS-desktop 是字节跳动开源的跨平台桌面应用，允许用户通过自然语言指令自动化操作本地或远程计算机及浏览器。基于 UI-TARS 视觉语言模型，支持多模态 AI 驱动，降低 GUI 自动化门槛。本页提供项目介绍、安装指南、使用教程和技术架构。
AI 总结
UI-TARS-desktop 是字节跳动开源的跨平台桌面应用，基于 UI-TARS 视觉语言模型，通过自然语言指令自动化控制本地/远程计算机及浏览器，实现多模态 AI 驱动的 GUI 操作。
中文项目介绍
UI-TARS-desktop 是一款由字节跳动开发的开源桌面应用程序，作为 TARS 多模态 AI Agent 栈的重要组成部分，它赋予用户通过自然语言指令自动化操控图形界面的能力。
该项目旨在解决传统 GUI 自动化门槛高、流程复杂的问题，将先进的视觉语言模型与现实世界工具无缝集成，使 AI 能够像人类一样观察屏幕、理解意图并执行点击、输入等操作，从而完成复杂任务。
其适用场景广泛：在本地计算机上自动化日常办公、文件管理等任务；远程控制其他计算机的桌面环境；以及自动化网页浏览、表单填写、数据提取等浏览器操作。尤其适合需要将多模态感知与执行能力结合的工作流。
技术层面，项目采用 Electron 构建跨平台桌面应用，核心为视觉语言模型（VLM）代理，通过 OpenAI 兼容 API 进行多模态推理。支持本地（基于 nut-js）、远程计算机及浏览器三种操作器，配置驱动，环境变量管理模型连接，并配套提供 SDK 供开发者扩展。
详细信息与使用说明
2. 解决的问题
传统 GUI 自动化依赖脚本或宏录制，灵活性差且难以应对动态界面。UI-TARS-desktop 利用多模态大模型理解屏幕内容与用户意图，动态生成操作步骤，解决以下问题：1）非技术用户难以编写自动化脚本；2）图形界面元素多变导致规则引擎失效；3）跨平台、跨设备（本地/远程/浏览器）的统一自动化方案缺失；4）将 AI 感知能力转化为实际执行动作的闭环缺失。
3. 适用场景
主要适用场景包括：本地计算机操作自动化，如通过指令“打开 Chrome 并搜索天气”自动完成应用启动、输入、点击；远程计算机控制，远程操作另一台机器的桌面环境执行任务；浏览器自动化，自动完成网页表单填写、数据抓取、多步骤导航；以及复杂多模态工作流，例如结合视觉反馈调整操作策略。适合办公自动化、软件测试、数据采集、远程协助等需要自然语言驱动 GUI 交互的领域。
4. 安装方式
开发环境安装：确保 Node.js >=20.x，使用 pnpm 安装依赖（pnpm i），复制 .env.example 为 .env 并配置 VLM_PROVIDER、VLM_BASE_URL、VLM_API_KEY、VLM_MODEL_NAME 等环境变量，运行 pnpm dev:ui-tars 启动开发服务器。最终用户安装：从 GitHub Releases 或 Homebrew 下载对应平台（macOS/Windows）的安装包，macOS 为 .dmg 拖拽安装，Windows 运行 .exe 安装程序，安装后需在系统设置中授予辅助功能与屏幕录制权限。
5. 使用方式
使用前需先部署视觉语言模型服务：推荐本地使用 vLLM 部署（需 GPU），或使用 HuggingFace Inference Endpoints 云部署，并确保服务提供 OpenAI 兼容 API。启动桌面应用后，在界面中选择操作器类型（本地计算机、远程计算机或浏览器）。在输入框中用自然语言描述任务（如“帮我整理桌面文件”），AI 代理将自动截屏、分析、规划并执行操作，实时反馈执行状态与结果。设置界面可调整语言、模型端点、模型名称等参数。
6. 补充说明与实现特点
项目采用 monorepo 结构，使用 pnpm workspace 和 turbo 构建管理。核心为 Electron 应用，分离主进程、预加载脚本和渲染进程 UI。VLM 接口封装与模型的 API 通信，处理多模态输入（截图+指令）并解析操作指令。操作器实现：本地基于 nut-js 库进行跨平台鼠标键盘控制；远程计算机通过远程桌面协议连接；浏览器操作器自动化网页交互。应用注重隐私，支持完全本地处理。额外提供 @ui-tars/sdk 供开发者在 Node.js 或浏览器中构建自定义 GUI 自动化代理。
思维导图
UI-TARS-desktop
项目概述
字节跳动开源
基于 UI-TARS 视觉语言模型
自然语言驱动 GUI 自动化
技术架构
Electron 跨平台框架
Monorepo + pnpm + turbo
VLM 通过 OpenAI 兼容 API 集成
环境变量配置模型连接
操作器类型
本地计算机操作器（nut-js）
远程计算机操作器
浏览器操作器
部署与运行
模型部署：vLLM 本地或 HuggingFace 云
开发：pnpm dev:ui-tars
用户安装：Releases 下载安装包
开发支持
@ui-tars/sdk 供扩展开发
TypeScript + Vite + Playwright 测试
常见问题
UI-TARS-desktop 是什么？
UI-TARS-desktop 是字节跳动开源的桌面应用程序，基于 UI-TARS 视觉语言模型，允许用户通过自然语言指令自动化操控图形界面。