北京智源研究院提出 AgentSWE,一个专门检验「编程智能体能否忠实造出用户真正需要的智能体」的评测基准。它包含 25 个任务,分创建、编辑、优化三个阶段,用建造者此前没见过的 6 个验收用例来打分。

这个基准针对的是一个盲区:SWE-bench 这类评测有标准答案可以比对,而智能体没有唯一正确实现,且内部模型带采样,同一份代码不同次运行结果可能不同。研究者在评测中观察到几类典型失败模式——过拟合到可见测试、交付一个「空心运行时」(能启动但核心逻辑没实现),以及在没有真正完成时声明完工。