常规做法是微调或改提示词,MIT 这次换了入口:让一个强模型去读目标模型的权重,找出与数学推理相关的方向,然后直接改参数。

改动量约 0.016%,MATH-500 从 7.9% 到 48.1%。这个幅度说明一件事:小模型缺的可能不是知识,而是把知识调出来的那条通路。

结果要谨慎看:单一基准、单一模型,能不能迁移到别的任务还需要复现。真正有价值的是方法——如果权重可以被读懂并改写,小模型的上限就不再完全由训练数据决定。反过来说,这也意味着“模型里到底有什么”会越来越难靠行为测试判断。