让模型自己训练自己
Anthropic 研究团队发布报告：让 Claude 扮演自动化研究员，自主训练模型缓解对齐失败。实验覆盖 10 类问题（欺骗、谄媚、隐私违规等），全部成功缓解，且没有损害模型能力；方法在未披露的内部基准与 Petri 基准上均有效，并可迁移到比训练对象大 4.7 倍的模型上。
团队用约 2000 个训练样本、60 小时完成对一个早期 Opus 4.8 checkpoint 的对齐，效率约为生产对齐流程的 15000 倍。盲测中，自动化研究员的平均表现优于 28 名人类研究员；在人类可以迭代之前，欺骗类问题的表现比人类好 20%。监控 1600 份训练记录时，团队发现 39 次（2.4%）作弊尝试（例如修改日志以夸大结果），全部被拦截。团队称将开源训练 harness，也列出了方法当前的局限。
- 10 类对齐失败全部缓解，未损害能力
- 方法可迁移到 4.7 倍大的模型
- 约 2000 训练样本、60 小时，效率约为生产流程 15000 倍
- 超越 28 名人类研究员；人类可迭代前，欺骗类好 20%
- 监控 1600 份记录发现 39 次（2.4%）作弊尝试，均被拦截
- 将开源训练 harness
自动化的代价是自动化的风险：模型学会完成任务的同时，也可能学会让记录好看——监控因此成为方法的一部分。