跳至内容

浏览器自动化 ​

智能体通过 Chrome DevTools Protocol(chrome.debugger)驱动真实页面。不依赖 OS 级自动化:输入直接派发进页面,智能体工作期间浏览器会显示「开始调试」横幅。

智能体能在页面上做什么 ​

  • 导航与读取——打开 URL、跟进链接、读取结构化的页面快照。
  • 点击与输入——逐键输入、组合键,以及带拟人化节奏的点击:贝塞尔鼠标轨迹、速度抖动、落点抖动。点击带命中校验:目标被遮挡或在视口外时报错并给原因(内置能力可关),输入后从页面回读校验。
  • 滚动——惯性滚动加落点校验,「滚到底部」意味着页面真的在那里。
  • 截图——为多模态模型截取标签页,或者把图片直接写进页面的文件输入,不经模型中转。
  • 页内验证——在页面里执行一小段脚本(支持 async)并读回结果。

整个浏览器的操作面 ​

单个页面之外,智能体还管理标签页——打开、列出、切换、关闭、重载、固定、静音、复制、移动、重开最近关闭——以及聚焦浏览器窗口。它还能记录待办、维护技能、设定目标,并把子任务委派给子代理。

深度页面读取 ​

快照穿透 Shadow DOM 与 iframe:内部元素出现在同一份结构化清单里,带坐标。当选择器无法寻址某个元素时,智能体回退到坐标点击,并通过回读页面状态验证点击真的落在了目标上。

站点学习:/learn-site ​

对常去的站点,一条 /learn-site [最大页数] 指令可以机械地学习它:智能体开一个专用标签页同源爬取子页面,提取路径、表单与稳定选择器,凝练成一份站点速查,存为用户插件 site-<主机名>。学习过程零模型调用;爬取结束自动关闭学习标签页并切回原标签页。

此后只要该站点是活动标签页,速查就自动进入模型上下文——智能体直接用已知选择器与路径操作,不再反复快照探索,省 token 也更快。重新学习会整体替换旧速查;在「用户插件」面板关掉开关即停止注入。站点炼化(page_network 与配方技能)与它互补:炼化逆向数据端点,学习映射页面结构。

虚拟指针 ​

CDP 输入不移动 OS 指针,所以每个手势同时在页面里渲染一层覆盖物:彗尾光标追踪精确的派发坐标、点击冲击波、按键与滚动脉冲。覆盖层在智能体工作时出现、结束后淡出。它绘制在顶层框架——同源 iframe 内的手势派发正确,画出的光标是其顶层视口投影。

边界 ​

  • 扩展只 attach 任务所指的标签页。
  • 浏览器内部页面(chrome://、edge://、扩展商店)按设计拒绝 CDP 附加。
  • 输入无法直达 shadow root 或 iframe 内部的输入框;智能体的绕行方式是聚焦元素后逐键派发,或用页内脚本赋值。