常规做法是微调或改提示词,MIT 这次换了入口:让一个强模型去读目标模型的权重,找出与数学推理相关的方向,然后直接改参数。
改动量约 0.016%,MATH-500 从 7.9% 到 48.1%。这个幅度说明一件事:小模型缺的可能不是知识,而是把知识调出来的那条通路。
结果要谨慎看:单一基准、单一模型,能不能迁移到别的任务还需要复现。真正有价值的是方法——如果权重可以被读懂并改写,小模型的上限就不再完全由训练数据决定。反过来说,这也意味着“模型里到底有什么”会越来越难靠行为测试判断。
MIT 团队用一个更强的模型去编辑 Qwen 的开放权重,在只改动约 0.016% 参数的情况下,把 MATH-500 成绩从 7.9% 提升到 48.1%。这条路线被称为「权重空间编程」:不重训、不改提示词,直接在参数里找可编辑的方向。
常规做法是微调或改提示词,MIT 这次换了入口:让一个强模型去读目标模型的权重,找出与数学推理相关的方向,然后直接改参数。
改动量约 0.016%,MATH-500 从 7.9% 到 48.1%。这个幅度说明一件事:小模型缺的可能不是知识,而是把知识调出来的那条通路。
结果要谨慎看:单一基准、单一模型,能不能迁移到别的任务还需要复现。真正有价值的是方法——如果权重可以被读懂并改写,小模型的上限就不再完全由训练数据决定。反过来说,这也意味着“模型里到底有什么”会越来越难靠行为测试判断。