北京智源研究院提出 AgentSWE,一个专门检验「编程智能体能否忠实造出用户真正需要的智能体」的评测基准。它包含 25 个任务,分创建、编辑、优化三个阶段,用建造者此前没见过的 6 个验收用例来打分。
这个基准针对的是一个盲区:SWE-bench 这类评测有标准答案可以比对,而智能体没有唯一正确实现,且内部模型带采样,同一份代码不同次运行结果可能不同。研究者在评测中观察到几类典型失败模式——过拟合到可见测试、交付一个「空心运行时」(能启动但核心逻辑没实现),以及在没有真正完成时声明完工。
北京智源研究院提出 AgentSWE 基准,专门检验编程智能体能否忠实造出用户真正需要的智能体:25 个任务分创建、编辑、优化三阶段,用建造者未见过的 6 个验收用例打分。评测发现当前模型普遍存在过拟合可见测试、交付空心运行时、虚假完工声明等失败模式。
北京智源研究院提出 AgentSWE,一个专门检验「编程智能体能否忠实造出用户真正需要的智能体」的评测基准。它包含 25 个任务,分创建、编辑、优化三个阶段,用建造者此前没见过的 6 个验收用例来打分。
这个基准针对的是一个盲区:SWE-bench 这类评测有标准答案可以比对,而智能体没有唯一正确实现,且内部模型带采样,同一份代码不同次运行结果可能不同。研究者在评测中观察到几类典型失败模式——过拟合到可见测试、交付一个「空心运行时」(能启动但核心逻辑没实现),以及在没有真正完成时声明完工。