复现为什么难

论文到代码的复现，要求 Agent 把论文描述转成保留方法、协议与产物的可执行仓库。难点在于规格是分散的：算法、指标、产物等显式内容会在较长的 Agent 轨迹中丢失，而框架默认值、相关工作的惯例等隐式细节在论文里根本不会写。

《ReproAgent: Contract-Guided Paper-to-Code Reproduction》（arXiv:2608.24291，已被 EMNLP 2026 Findings 接收）提出围绕持久化实现合同构建的四阶段流水线：Prepare—Plan—Generate—Repair。

  • 实现需求通道：把论文片段转成代码义务，绑定到工作包并投影为文件级合同
  • 参考证据通道：从相关仓库检索内容与结构证据，供生成与修复阶段消费
  • 在 PaperBench Code-Dev 上，同骨干（Claude-Sonnet-4.5、Gemini-3-Flash）脚手架中取得最高平均分

端到端的通道消融实验与逐论文案例显示，两个通道对结果都有贡献。论文代码与实验产物已公开。

复现的难点不在生成，而在把论文里没写清楚的东西变成可执行的约定。