ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

把点鼠标和跑流水线的活交给 AI:Agent-S 自动化,一条命令跑通

把点鼠标和跑流水线的活交给 AI:Agent-S 自动化,一条命令跑通 把点鼠标和跑流水线的活交给 AIAgent-S 自动化一条命令跑通【免费下载链接】Agent-SAgent S: an open agentic framework that uses computers like a human项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-SAgent-S 是开源的计算机代理框架。它把自然语言指令变成 Windows、macOS 和 Linux 上的实际操作省掉手写 GUI 自动化脚本的活。Agent-S 自动化的核心是一条 ACIAgent-Computer Interface把要做什么翻译成可执行的 pyautogui 代码。一规划、一执行、一记笔记ACI 怎么把指令变成动作把它当成一个三人小组。Manager 看任务、拆计划Worker 按步执行Grounding 负责盯着屏幕说出点 (x, y)。ACI 层是手接收描述性动作落成鼠标点击、键盘输入或脚本调用。Memory 是笔记本每次执行的经验都写进去下次遇到相似任务先翻笔记少踩重复的坑。pip 一行装完一条命令跑通第一个任务环境两行装好 pip install gui-agents brew install tesseract模型支持 OpenAI、Anthropic、Gemini、vLLM 等把对应 key 设成环境变量即可。然后跑agent_s \ --provider openai \ --model gpt-5-2025-08-07 \ --ground_provider huggingface \ --ground_url http://localhost:8080 \ --ground_model ui-tars-1.5-7b \ --grounding_width 1920 \ --grounding_height 1080grounding 模型推荐 UI-TARS-1.5-7B分辨率参数要对齐它的坐标输出。跑起来后循环就转起来了截图、模型出动作、执行、再截图。把关闭 VS Code敲进去agent 会自己跑完整个闭环。要改逻辑就 clone 仓库https://gitcode.com/GitHub_Trending/ag/Agent-S后pip install -e .完整推理循环在 CLI 入口。场景一回归测试跑 N 遍裁判挑出最好的一次GUI 任务天然带随机性单次失败不代表流程坏了。仓库里的 bBoNBehavior Best-of-N流程专门解这个问题同一任务跑多次先用 generate_facts.py 从截图对里提取行为事实再让裁判模型逐条对比选出最贴合任务目标的那条轨迹。OSWorld 上单次跑 66%加上 Best-of-N 到 72.6%超过约 72% 的人类基线。裁判入口在 Best-of-N 评判脚本。场景二一套指令验证三套系统跨平台部署验证同一套验收流程要在 Windows、macOS、Linux 上各跑一遍时逐系统重写脚本很痛苦。Agent-S 把系统差异收在 ACI 层agent 层逻辑不动只换适配层。Windows 适配层源码 能看到同一套动作在 Windows 上如何翻译。做 Agent-S CI/CD 集成前记得评估环境限定单显示器CI 机器的分辨率要和 grounding 模型参数一致。场景三本地代码沙箱Agent-S 本地部署的安全开关 批量文件处理、CSV 清洗这类活靠鼠标点又慢又容易错。启动参数加--enable_local_envagent 就能调 code agent 直接执行 Python 和 Bash每个子任务自己选走界面还是走脚本。Bash 执行带 30 秒超时防止挂起进程拖死整个流程实现在 本地代码执行环境。踩坑四条权限、平台、开销⚠️ 权限开本地环境后agent 以当前用户权限执行任意 Python/Bash只在受信任环境开启。平台单显示器前提Linux 与 macOS 依赖/bin/bashWindows 走独立适配路径。首步失败先核对系统类型和分辨率参数。OCR没装 tesseract 时文字识别静默失效表象是agent 看不见屏幕上。开销每步一次截图加一次模型调用轨迹默认保留 8 帧截图步数即成本Best-of-N 还会把开销乘 N 倍。适用边界不难判断纯 API 调用或文件级批处理写脚本更快。Agent-S 适合GUI 密集、重复度高、可验证的场景建议先拿 evaluation_sets/ 里的小集合跑一轮感受能力边界再决定放进流水线 【免费下载链接】Agent-SAgent S: an open agentic framework that uses computers like a human项目地址: https://gitcode.com/GitHub_Trending/ag/Agent-S创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进