它解决了什么问题

常规 AI 编程工具能读代码、改代码、跑单测,但 VR 应用的关键问题在“运行时表现”:场景加载对不对、手柄交互灵不灵、UI 在头显里看得清吗——这些过去只能靠人戴上头显去试。Meta XR Operator 把这一环交给 AI:Agent 可以查看模拟器截图、读取房间几何、模拟按钮与摇杆操作,还能调整头部位置观察不同视角。

怎么跑起来

  • 环境要求:Unity Editor 6000.0.66f2 LTS 及以上、Meta XR SDK v205、Meta XR Simulator
  • 搭配支持 MCP 的 AI 编程助手(如 Claude Code、Cursor 等)连接 Operator
  • 无需修改应用代码:Operator 位于应用与 OpenXR 运行时之间,通过拦截运行时调用拿到状态

体验路径大致是:让 AI 读取项目代码 → 在模拟器中启动应用 → AI 通过截图确认画面 → 执行点击、移动等操作 → 比对预期效果并截图留证。对回归测试来说,这套流程可以重复跑,省下大量人工验证时间。

需要留意的限制:当前是实验组件,只覆盖 Meta XR 生态(Quest/Simulator);复杂手势与物理交互的覆盖还在完善,正式项目接入前建议先用小场景验证稳定性。

给 Agent 装上“眼睛”和“手”,VR 开发里最耗人的回归验证环节第一次有了自动化可能。