它想解决什么

部署后的模型通常是静态的：知识停在截止日期，靠上下文临时学习，会话一结束就忘。直接拿新数据继续训练又会触发灾难性遗忘——学新任务，旧任务掉分。Google Research 的 sleep framework 把这件事拆成两段：清醒时正常交互，睡眠时离线固化。目标不是让模型永远在线学习，而是给它一个周期性的、可控的记忆整理过程。

睡眠阶段做了什么

  • 参数扩容：在睡眠时解锁预先分配的 MoE 低秩专家，把新知识放进低频记忆块，避免覆盖旧参数。
  • 知识播种：用 on-policy 蒸馏加基于强化学习的模仿学习（LTI），把高频短期记忆迁到长期参数。
  • 突触修剪：固化完成后重置高频临时参数，为下一轮清醒腾出容量。
  • 做梦：随机激活非标准专家生成合成样本，用梯度筛选后做强化学习，专门练推理。

官方给出的效果

博客称这套流程能让模型持续吸收新事实、保留最长 1000 万 token 的上下文知识，并提升复杂推理；整个框架在固定模型架构内运行，不改变代码库和设计。论文还给了理论解释：知识播种可以看成一个结构化的低秩压缩问题，目标是保留模型自己的 on-policy 行为和语义奖励都认可的方向。

复现时先量两个数

这套方法涉及 MoE 扩容、蒸馏和强化学习，完整复现成本不低。更现实的做法是先拿一个 7B 级模型做小规模验证：写入一批新知识后，旧任务掉多少分；发现问题时，回滚到上一版权重要多久。前者决定它能不能用，后者决定它敢不敢上生产。两个数都过关，再谈「睡眠」带来的长上下文收益。

持续学习的门槛不是学得快，而是忘得少、退得回。