UI-TARS Desktop 使用指南如何用自然语言让 AI GUI Agent 操作电脑从零跑通第一个自动化任务【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS Desktop 是一款开源的桌面 GUI 自动化工具。它接入 UI-TARS 视觉语言模型通过截屏与视觉识别驱动鼠标和键盘用一句自然语言指令即可操控本地电脑与浏览器完成表单填写、文件整理、网页图片批量下载等任务。️ 它能做什么先看三个可执行的指令在装环境之前先明确它解决什么问题。下面三条指令难度相当覆盖浏览器与桌面应用两类场景批量下载网页图片输入“打开 Chrome 访问指定商品页把前 20 张主图按顺序保存到桌面 product-images 文件夹”Browser Operator 会打开页面、逐张识别图片并带序号命名保存。自动填报一张表单输入“在招聘网站注册页填写姓名张三、手机号、最近一份工作经历最后停在确认页不要提交”它会逐个定位输入框并键入内容最终停在确认页等人工核对。修改桌面应用设置输入“打开 VS Code在设置中开启自动保存延迟设为 500 毫秒”Computer Operator 直接进入应用设置页完成点击。三条示例的共同点是不写选择器、不写脚本只给一句指令。下面走一遍从零到跑通的路径。开始之前系统要求与安装系统最低版本说明macOS10.15仅支持单显示器环境多显示器可能导致任务失败WindowsWindows 10同上单显示器浏览器Chrome / Edge / FirefoxBrowser Operator 必需稳定版即可macOS 安装与权限设置从项目 Releases 页面下载最新安装包已装 Homebrew 的机器可直接运行brew install --cask ui-tars这是官方提供的安装命令。把 UI TARS 图标拖入 Applications 文件夹。窗口左侧是应用图标右侧是 Applications 文件夹拖过去即完成安装。打开两项权限这是最容易被漏掉的一步系统设置 → 隐私与安全性分别开启“辅助功能”和“屏幕录制”中的 UI TARS 开关。截图中两处开关都要打开缺任何一项模型都看不到屏幕或点不动鼠标。启动应用进入模型配置环节。Windows 安装步骤双击安装包UI.TARS-0.1.0-preview.Setup.exe执行安装。遇到 SmartScreen“此应用已删除”的安全提示时点击“更多信息”再点“仍要运行”。这是未签名安装包的常见提示选择“仍要运行”即可正常进入应用。接入视觉语言模型Base URL 格式与校验桌面端本身不带模型它通过 API 调用视觉语言模型VLM由模型读取每张截图并决定下一步动作。两种常见来源自部署在 Hugging Face Inference Endpoints 部署 UI-TARS-1.5-7B从 endpoint 页面拿到 Base URL、API Key、Model Name 三项。托管服务使用火山引擎 Ark 的 Doubao-1.5-UI-TARS在“API 接入”页拿到同样的三项。在 Settings 页面依次填写 Language、VLM Provider、VLM Base URL、VLM API KEY、VLM Model Name。其中 VLM Provider 必须与模型来源匹配例如 Hugging Face 部署要选“Hugging Face for UI-TARS-1.5”选错会导致动作解析异常。Base URL 格式坑Hugging Face 自部署时Base URL 必须以/v1/结尾例如https://your-endpoint.huggingface.cloud/v1/少了末尾的/v1/或写成其他路径请求会直接 404。火山引擎 Ark 的地址则不同使用接入页给出的 OpenAI 兼容端点例如以/api/v3结尾照抄即可。截图中是 Hugging Face 的 endpoint 页面Base URL 字段就在一目了然的位置复制整串地址后检查结尾再填入 Settings。验证模型是否可用填完不要急着开任务先点设置页的 Check Model Availability。通过说明网络、密钥、模型名三样都没问题失败时按“Base URL 格式 → API Key → Model Name”的顺序逐项对照部署页排查。跑通第一个任务写指令、看执行、取报告配置完成后首次启动会看到两张卡片Computer OperatorUse Local Computer操作桌面应用与文件和 Browser OperatorUse Local Browser自动化网页。红框标出的就是两个入口按钮本文选“Use Local Computer”。进入后的界面是典型的三栏结构左侧边栏放历史会话与设置中间是对话区、底部是指令输入框右侧是截图区。整个任务分三步。第一步写指令。在输入框输入“打开 VS Code在设置中开启自动保存延迟设为 500 毫秒”回车开始。截图中指令已填入输入框右侧截图区此时为空执行后会被逐张屏幕截图填满。第二步观察执行过程。模型每一步都会输出思考与动作动作形如Action: click(start_box: [0.109,0.186; 0.109,0.186])含义是点击该相对坐标每步跟一张截图点右侧面板可放大查看点击落在屏幕哪里。中途想接管直接动鼠标键盘即可。第三步取结果报告。任务结束后可把全过程导出为 HTML 报告Share / Export as HTML未配置报告存储地址时文件直接下载到本地配置后则上传并把链接复制到剪贴板。截图右上角的“Report link copied to clipboard”表示上传成功打开链接能看到指令、每步截图与动作的完整记录。两个影响体验的参数也在这里顺带说明Max Loop 默认 100表示单轮任务最多执行的步数Loop Wait Time 默认 1000ms是每步之间的等待时间用来等页面状态稳定。长任务可上调前者画面变化快的任务可下调后者。进阶能力远程执行与会话终止除本地操作器外桌面端还提供 Remote Computer 与 Remote Browser 两个远程操作器任务在云端环境执行本机不必预装目标应用或浏览器每个新会话带 30 分钟免费额度倒计时显示在右上角。官方文档注明内置免费远程服务将于 2025 年 8 月 20 日停止提供之后可在火山引擎自行部署远程 Computer / Browser Agent 继续使用。截图是远程计算机会话界面“30-minute free credit”倒计时在右上角点击红框中的 Terminate 即可结束会话并释放远程资源。 常见坑5 个高频问题与处理办法现象原因处理办法macOS 上点击无反应、画面静止辅助功能或屏幕录制权限未开启在隐私与安全性中打开两个开关重启应用Check Model Availability 失败或报 404Base URL 缺少/v1/后缀或模型名与 endpoint 不一致回到部署页复制完整地址核对结尾与 Model NameBrowser Operator 打不开浏览器机器上未安装 Chrome / Edge / Firefox安装任意一款稳定版即可多显示器下部分任务反复失败目前仅支持单显示器环境切到单显示器运行任务执行偏慢每步都要与模型往返一次推理叠加 Loop Wait Time 等待使用稳定网络适当调低 Loop Wait Time默认 1000ms下一步先用 Browser 模式跑一条单步指令例如“打开某网站并读出首条标题”熟悉右侧截图与左侧对话的联动。尝试导入本地预设一键恢复模型参数参考 docs/preset.md 与 examples/presets/ 里的示例文件。按任务复杂度调整 Max Loop 与 Loop Wait Time其余参数详见 docs/setting.md。安装细节与模型部署方式可查 docs/quick-start.md 和 docs/deployment.md。第一个任务跑通之后再尝试把多步操作合并成一条指令导出的 HTML 报告会是最可靠的验收依据。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考