把「不打扰」做成硬指标

Cua Driver Bench 把评判拆成三条:任务真的完成(由检查器读应用最终状态,不让模型打分)、全程只用 GUI(碰到终端或文件系统就算失败)、用户不被打断。第三条列了八种干扰:前台窗口失去键盘焦点、有窗口被抬到它上面、输入被吞或改道、真实指针移动、剪贴板变化、桌面或 Space 切换、用户的应用上弹出对话框、应用被切到后台。任何一项发生,这次试验就不算全通过。模型固定为 Claude Sonnet 5.5,提示和限制(360 秒、45 轮)对所有驱动一致,唯一的变量是驱动层。

58% 与 3% 的差距

macOS 上,cua-driver 在 Scale AI 的 AgentEnv 里 40 次试验过 23 次,58%;Codex Computer Use 33%(Cua 自己跑),Vercel 的 agent-desktop 20%,browser-use 只有 3%。Windows 上 cua-driver 28%。Cua 提醒,macOS 上 cua-driver 与 Codex 的区间在边缘重叠,这个差距是方向性的,不算统计上坐实。

失败多半不是任务不会做

报告说,差距很大一部分来自「干扰」而不是任务失败:macOS 上后台拖拽还做不到,弹出的菜单会在用户窗口上闪约 50 毫秒;Windows 上四个驱动里有三个在回答对话框时仍会把应用拉到前台;Linux XFCE 下窗口管理器会把键盘直接交给新弹出的模态框。悬停是三个系统共同的缺口——没有驱动能在不移动真实指针的情况下悬停后台窗口,这要等操作系统层面的接口。

电脑操作 agent 的下一步不是「更会点」,而是「点的时候别碰我的窗口」。

上线前先测这一项

如果团队准备把电脑操作 agent 放进员工机器,任务成功率不是唯一指标,后台通过率才是。先在真实用户机器上跑一组多应用任务,记录焦点、剪贴板和弹窗三类干扰;再看 GUI-only 守卫有没有抓到 agent 绕去 shell。基准的代码、任务和逐次试验数据都公开,可以按自己的应用组合复跑。