UI-TARS Desktop 快速上手指南5 分钟跑通桌面 GUI 自动化【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS Desktop 是一款开源的桌面 GUI 自动化应用你输入一句自然语言它就截图、看懂屏幕并完成鼠标与键盘操作。本文面向零基础用户带你在 5 分钟内完成安装、连上模型并跑通第一个真实任务。先跑一个真实任务看 UI-TARS Desktop 实际能做什么以仓库 README 里的官方演示为例。你输入的指令是Please help me open the autosave feature of VS Code and delay AutoSave operations for 500 milliseconds in the VS Code setting.接下来的每一步都发生在你的屏幕上全程可回看UI-TARS Desktop 先截一张全屏截图交给视觉语言模型识别界面元素模型输出第一个动作点击 VS Code 的菜单入口执行器把动作落到真实界面上再截一张图确认结果依次展开设置面板、定位到 Auto Save 选项、选中延迟 500 毫秒对应的档位核对无误后模型发出结束信号任务终止。你最终拿到两样东西对话流里逐步展示的思考—动作—结果记录以及一份可下载的 HTML 报告。像打开设置改参数这类每天重复的机械操作以后都可以直接交给它你只负责下指令。效果看明白了接下来把应用装到自己的电脑上。5 分钟装好 UI-TARS Desktop 并连上模型整条最短可用链路是下载安装包 → 授予系统权限 → 填三个模型参数 → 新建对话。macOS 安装与权限授权从 Release 页面下载 macOS 安装包已装 Homebrew 的话也可以直接brew install --cask ui-tars。把UI TARS图标拖进 Applications 文件夹完成安装。进入系统设置 → 隐私与安全性为 UI TARS 同时勾选Accessibility辅助功能和Screen Recording屏幕录制两项权限——少一项它要么点不动、要么截不到画面。Windows 安装双击UI.TARS-0.1.0-preview.Setup.exe开始安装。弹出 SmartScreen 安全提示时点仍要运行即可继续。装完打开应用界面分三块记住位置后面都用得上左侧是新建对话和历史任务列表中间是任务输入框右侧面板放设置入口。填对三个模型参数点右侧设置面板把模型服务接上VLM Provider选火山引擎 ArkDoubao-1.5-UI-TARS或 Hugging FaceUI-TARS-1.5二选一VLM Base URL / API Key / Model Name从对应平台的模型接入页复制Base URL 必须以/v1/结尾填完点Check Model Availability绿色通过说明连通了。两个前置条件浏览器操作模式需要本机装好 Chrome、Edge 或 Firefox当前版本只稳定支持单显示器多屏环境可能让坐标错位。参数填对后新建对话并选择操作模式任务就能发出去了。端到端跑一个浏览器任务报告在哪里看选Use Local Browser模式输入这条指令打开 GitHub 趋势页记录前 10 个项目的名称和星标数整理成表格存成本地文件。任务跑起来后三处地方分别承担不同反馈对话流每一步都按截图 → 模型想法 → 动作 → 结果的顺序追加你能实时看到它点在哪里、输了什么实时画面浏览器被自动打开并导航鼠标移动和输入与对话流同步任务报告结束后点Export as HTML生成一份图文对照的执行报告逐步展示每个动作对应的屏幕截图方便复查或分享给同事。报告之外还有一条观测链路应用事件、你发送的指令、报告分享动作都会推送到 UTIO 观测服务端整个流程见下图。任务本身跑通了再把你还没用到的其他能力一次讲清。本地、浏览器、远程三种执行环境怎么对照选执行环境能力适合的任务注意本地计算机模式直接操控本机桌面应用与文件文件整理、软件设置修改数据不离开设备需要 macOS 权限本地浏览器模式驱动 Chrome / Edge / Firefox 执行网页操作表单填写、页面导航、信息采集先装好受支持的浏览器远程模式在云端虚拟环境中执行不想占用本机资源、跨设备访问在隔离环境运行保护本地数据架构上不用深究UI-TARS 视觉模型负责读屏动作解析器把模型输出转成结构化的点击、输入指令执行器负责落地三者循环到模型发出结束信号为止。想自己动手组装可以看 packages/ui-tars/sdk/ 和 packages/ui-tars/operators/ 里的模块划分。能力边界清楚了下面这些卡点是大多数人第一次使用时真正会碰到的。装完用不了对照这张避坑速查表问题现象可能原因解决方式应用拿不到画面、点不动macOS 权限未勾选系统设置里开启辅助功能 屏幕录制后重启应用模型连不上、动作解析报错Base URL 未以/v1/结尾或 Provider 与模型不匹配对照平台接入页核对三项参数再点 Check Model Availability浏览器模式起不来缺 Chrome / Edge / Firefox或版本过旧安装并升级到受支持的最新版本多屏任务点错位置目前只支持单显示器换回单显示器环境再执行任务任务过慢或反复循环网络延迟、Max Loop 过大调小 Max Loop、增大 Loop Wait Time复杂任务拆短句三条实操建议单条指令只描述一个目标动作长流程拆成多轮对话开始任务前确认目标应用窗口已在前台减少模型找路的时间浏览器任务先关掉无关标签页画面越干净识别越稳。问题清掉之后同样的玩法可以铺到更长的流程里。从个人效率到团队自动化个人场景固定一条指令让浏览器模式每天抓取你关注的技术博客与 GitHub 动态把标题、摘要整理进表格或笔记工具并自动补上分类标签周五再生成一份阅读摘要。执行链路就是抓取 → 归类 → 成文三步全部按同一套提示词跑。团队场景以每日销售报表为例——自动登录 CRM 系统、导出昨日数据、生成 Excel 报表、发送给团队群。过去占用 2–3 小时的手工链路压缩到几分钟且每份任务的 HTML 报告可以存档出问题时按图回溯到具体哪一步。配置统一靠预设管理把模型端点、Key、报告上传地址写进 YAML本地用文件导入远程用 URL 拉取且每次启动自动同步团队配置始终一致。以上流程都可以从仓库文档和示例继续深入。接下来读什么UI-TARS Desktop 把截屏—模型决策—执行器落地这个循环装进了一个桌面应用本地、浏览器、远程三种执行环境加上可复核的 HTML 报告覆盖了日常自动化的大部分场景。快速开始docs/quick-start.md设置配置docs/setting.md预设管理docs/preset.mdSDK 指南docs/sdk.md示例预设examples/presets/default.yaml【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考