给AI一个自己的浏览器Super Agent Party的CDP浏览器自动化与智能控制详解【免费下载链接】super-agent-party⭐全能型AI伴侣AI桌面女友 AI虚拟主播 AI即时通讯机器人 AI浏览器 AI智能家居 AI游戏 等你能想到的一切功能项目地址: https://gitcode.com/heshengtao/super-agent-partySuper Agent Party 是一款全能型 AI 伴侣它内置的AI 浏览器控制功能可以让你的 AI 智能体真正拥有一个属于自己的浏览器通过 CDPChrome DevTools Protocol协议AI 能像人一样打开网页、点击按钮、填写表单、截图观察页面全程支持自然语言指令驱动实现真正的浏览器自动化与智能控制。为什么 AI 需要一个自己的浏览器传统聊天 AI 只能纸上谈兵——它知道怎么操作却无法真正碰到网页。Super Agent Party 的 AI 浏览器功能解决了这个问题自然语言驱动你说帮我打开 YouTube 看个视频AI 就真的打开浏览器并导航过去️所见即所得AI 可以截图、读取页面可交互元素看懂页面后再动手️拟人化操作随机点击坐标、逐字输入、随机延迟行为接近真人多标签页管理新建、切换、关闭标签页像熟练用户一样操作如上图所示AI 收到指令后自动打开浏览器新标签页导航到目标网站并向你汇报结果整个过程无需人工干预。核心原理CDP 协议如何让 AI握住鼠标整个浏览器自动化的核心逻辑集中在 py/cdp_tool.py 中它的工作方式非常直观建立连接应用主进程启动时会开启远程调试端口见 main.jsAI 通过http://127.0.0.1:{端口}/json/list获取所有浏览器窗口的 WebSocket 地址识别目标程序会自动区分主窗口和网页标签webview排除 VRM 虚拟形象窗口和开发者工具等干扰项下发指令通过 WebSocket 发送 CDP 命令如Runtime.evaluate把操作注入到页面执行# cdp_tool.py 中的通用指令通道示意 message {id: 1, method: Runtime.evaluate, params: params} await ws.send(json.dumps(message))这种架构的妙处在于AI 不直接操控鼠标键盘而是与浏览器内核对话因此操作稳定、精确且不依赖屏幕坐标。快照 UIDAI 如何看懂页面如果 AI 只能看到一堆 HTML 源码它很难理解页面结构。Super Agent Party 采用了更聪明的办法——可交互元素快照实现在 static/js/vue_methods.js 的getWebviewSnapshot中扫描页面所有可交互元素按钮、链接、输入框、下拉框等为每个可见元素分配一个稳定的UID如ai-12输出一棵简洁的元素树AI 只需记住 UID 即可操作[ai-3] button 订阅 [ai-7] input Value: 搜索关键词 [ai-12] link 更多视频之后 AI 说点击 ai-3或在 ai-7 里填入内容就能精准定位到目标元素——这正是浏览器自动化中最关键的感知-行动闭环。完整的浏览器工具集从导航到拖拽py/cdp_tool.py 中定义了完整的工具清单all_cdp_tools覆盖了日常浏览几乎全部场景工具作用典型指令list_pages/new_page/close_page多标签页管理再开一个标签页navigate_page前进、后退、刷新、跳转 URL回到上一页take_snapshot获取页面元素快照看看页面上有什么按钮click/dblclick单击、双击元素点击订阅按钮fill/fill_form填写单个或批量表单把注册表单填好drag/hover/press_key拖拽、悬停、按键按回车提交wait_for等待某段文字出现等页面加载出结果take_screenshot截图支持整页截个图给我看看handle_dialog处理弹窗alert/confirm点掉那个确认框evaluate_script在页面执行自定义 JS应对各种特殊网页拟人化细节让 AI 的操作像真人浏览器自动化最怕被网站识破Super Agent Party 在细节上下了不少功夫随机点击坐标点击位置在元素中心 80% 区域内随机偏移而不是永远点死中心点⌨️逐字输入模拟真实的 keydown/keyup 事件链配合 30~150ms 的随机打字延迟⏱️人类化延迟每次操作间插入 100ms~1s 的随机思考时间容错重试遇到浏览器内部错误如 Electron 的Illegal invocation会自动重试 3 次这些逻辑分布在 static/js/vue_methods.js点击、输入与 py/cdp_tool.py重试机制中让 AI 的浏览节奏严格低于人类手动操作的上限对目标网站没有额外压力。视觉模式让 AI看着网页操作除了元素快照项目还支持浏览器视觉模式browserVision开关配置项见 config/settings_template.json。开启后 AI 会直接看屏幕截图来理解页面——这对没有标准标签结构的网页如 Canvas 渲染的游戏、复杂图表特别有效。例如上图中的场景AI 通过视觉识别 Wordle 猜词游戏的当前局面推理出候选单词再模拟按键逐字输入——看图、思考、动手一气呵成。两种浏览器类型内部浏览器 vs 外部浏览器在设置界面中浏览器控制功能提供两种模式相关配置界面代码位于 static/index.html内部浏览器internalAI 直接使用 Super Agent Party 内置的浏览器窗口开箱即用无需额外安装任何东西外部浏览器external通过 browser-mcp 或 playwright-mcp 控制你日常使用的 Chrome 等外部浏览器适合需要复用已有登录态的场景开启路径很简单进入设置 → 浏览器控制打开开关选择浏览器类型即可。相关说明见 README_ZH.md 中AI浏览器一节。写在最后Super Agent Party 的浏览器自动化方案本质上是为 AI 搭了一条眼睛 → 大脑 → 双手的完整通路眼睛元素快照 页面截图视觉模式大脑大语言模型的推理与决策双手基于 CDP 协议的点击、输入、拖拽、导航对新手来说你不需要理解 CDP 的细节——打开浏览器控制开关用一句话下达指令剩下的交给 AI。想深入了解实现原理的话推荐阅读 py/cdp_tool.py 和 static/js/vue_methods.js 两个文件它们分别代表了AI 端与页面端的核心逻辑。【免费下载链接】super-agent-party⭐全能型AI伴侣AI桌面女友 AI虚拟主播 AI即时通讯机器人 AI浏览器 AI智能家居 AI游戏 等你能想到的一切功能项目地址: https://gitcode.com/heshengtao/super-agent-party创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考