为什么要混合

只靠像素的 computer-use agent 有一个结构性成本：一张截图就是几千 token，而改一个表格、重命名一批文件这类结构化操作，用命令行本来一步就能完成。反过来，只给模型“GUI + 终端”两套工具也不等于它会用：没有好的执行脚手架，连前沿模型也会形成低效的通道习惯，蒸馏到小模型后问题会被放大。

Mage-VL-Cowork 的做法是从一个中间的 4B Mage-VL checkpoint 出发，用五阶段“先专精、再统一”的课程，把截图定位、GUI 操作、代码/终端能力分别练出来，再用混合 SFT 和在线混合强化学习合成一个策略。模型自己决定什么时候用 computer_use，什么时候用 bash。

训练管线省在哪

  • 先进化教师脚手架：剪掉重叠的工具（如 xdotool 和无障碍树），预装领域 Python 库，让 GPT-5.4 教师在 92.0% 的成功率下少用 29.2% 的步骤。
  • Mage-CUA-Forge 按“工作流”合成任务，而不是每个任务都跑开放式 agent 循环：293,806 个任务、6,915 个原子技能，单任务 token 从 127.6 万降到 8.5 万，成本从 0.906 美元降到 0.158 美元。
  • 在线混合 RL 比混合 SFT 再提 10.16 个百分点，同时把平均模型调用次数压 13.0%、输出 token 压 25.4%。

成绩与边界

在 OSWorld-Verified 的 50 步预算下，4B 模型拿到 66.0%，其中操作系统类任务 87.5%，多应用工作流 62.7%。这些数字说明“小模型也能做端到端电脑操作”，但要注意评测条件：50 步预算、特定 harness、特定应用集。换到你自己的软件上，成功率可能差很多，尤其是没有无障碍树、界面频繁变化、需要登录态的场景。

适合谁

最适合的是“流程相对固定、但界面会变”的自动化：批量填表、跨应用搬数据、软件回归测试、桌面运维。它不适合直接做无人值守的高权限操作——模型会写 bash，意味着它也能删文件、改配置、装依赖。真要用，先把执行环境放进容器或虚拟机，给命令加白名单和审计日志，再谈自动化率。