IQuest-Q1：320B 总参、15B 激活，专门为 CLI agent 训练的 MoE

IQuest 10 月 22 日公开 IQuest-Q1 技术报告与模型：稀疏 MoE，总参数 320B，每 token 激活约 15B，88 层，256 个专家中激活 8 个，上下文 524,288 token。训练分三段：预训练用 Stable SplitNorm、Muon、muP 和两阶段课程；中训练扩展数据混合并逐步拉长上下文；后训练用 SFT、领域 RL 和跨 scaffold 的 MOPD，再做模型合并。官方推荐搭配 Claude Code 2.1.140 或 Codex 0.142 使用，模型卡明确写了文本输入、可能重复失败、需要人工监督等限制。

架构

IQuest-Q1 是一个稀疏 MoE：总参数约 320B，每 token 激活约 15B；88 层，隐藏维度 3,072，48 个 Q 头、8 个 KV 头，头维度 128；注意力采用 3 层滑动窗口 + 1 层全注意力的混合模式，滑动窗口 4,096；256 个专家里激活 8 个；上下文 524,288 token。

它还用了 2 层独立 MTP 做训练、1 层递归 MTP 做推理，推测解码的滑动窗口为 512。整体设计明显是冲着“高吞吐、低单 token 成本”的 agent 服务去的。

三段训练

预训练：Stable SplitNorm + Muon + muP，两阶段课程，第二阶段提高代码数据比例，目标是保持安全与最优学习率之间的稳定边距；
中训练：扩展跨领域、跨格式的数据混合，并逐步延长上下文；
后训练：SFT + 领域专用 RL + 跨 scaffold 的 MOPD，再把不同专家和阶段的检查点做模型合并。

评测与部署

官方建议用 Claude Code 2.1.140 或 Codex 0.142 作为 harness，温度 1.0、top_p 0.95、top_k 20。模型卡给了 Claude Code 的环境变量示例，也支持 OpenAI 兼容接口；推荐用支持 Anthropic Messages 或 OpenAI Responses 的网关来跑工具调用。

限制写得很直接：只支持文本输入；生成的解释和代码可能错误；工具调用使用 IQuest 自己的格式，需要兼容的 serving parser；真实 CLI 任务里可能忽略约束、重复失败或留下未解决的问题，必须有人工监督。

判断

这类模型的价值不在“又一个 300B”，而在训练目标非常具体：终端里的多步执行、工具调用、长任务。它是否好用，取决于你的 agent 框架和它的 tool parser 是否对齐，以及它在你的仓库结构上能不能保持约束。先用 20 到 30 个真实工单做对照，再决定是否替换现有底模。

为 CLI 训练的模型，最后还是要回到 CLI 里验。