补上 AI 开发 VR 的关键一环

当地时间 8 月 19 日,Meta 在开发者博客中正式介绍了此前发布的 VR 开发工具 Meta XR Operator。该工具首个公开版本于 7 月 28 日推出,并已作为 Meta XR SDK v205 中的实验组件开放。

当前 AI 编程工具已能读代码、生成代码、跑测试、修错误,但在 VR 开发场景中,AI 仍面临“无法看到应用、无法操作空间交互、无法确认修改是否有效”的限制。Meta XR Operator 希望通过赋予 AI 视觉与交互能力,填补这一环节。

工作原理

  • 位于应用与 OpenXR 运行时之间,拦截运行时调用,无需修改应用代码
  • 把 XR 状态与输入控制通过 MCP 协议开放给 AI Agent
  • 能力包括:获取模拟器截图、读取房间几何、模拟按钮/摇杆/扳机操作、调整头部位置与方向
从“写代码—运行测试—发现问题—修复验证”,Meta XR Operator 让 AI 第一次真正“上手”VR 应用。