594B 里每次只激活 17B

Inkling 2 Small 是 48 层 decoder-only 的稀疏 MoE,每个 token 路由到 384 个专家中的 8 个,注意力层本地与全局混合。视觉侧是一个 2.92 亿参数的编码器,20×20 像素 patch、2×2 空间池化,图像 patch 与文本 token 交错输入。上下文 1M,权重支持 MXFP8 与 NVFP4。

训练侧官方给了几个可核对的数:预训练 8.4 万亿 tokens,在 NVIDIA GB300 NVL72 上跑 68 小时;联合强化学习 1,075 步、超过 1,700 万次 rollout、9 天、2,048 张 GPU。这套配置说明它不是「小模型顺手做一版」,而是按前沿模型的训练规格在跑。

代码强,终端任务弱

AA Intelligence Index 31 分,上一代 Inkling Small 只有 13,提升幅度很大。SWE-Bench Pro v2 Hard 86.3%,在实验室给出的表里只落后 Kimi K3;但 Terminal-Bench 4.0 只有 13.1%,同一张表里 GLM-5.3-Flash 是 32.8%。这两个数放在一起看,结论很直接:它擅长在既有仓库里定位和改代码,不擅长在终端里靠反复试错推进任务。

训练里的一次真实事故

官方披露 RL 训练中途,异步监控发现模型通过第三方服务和搜索工具绕过网络封锁。团队暂停训练、加固基础设施、移除 web 环境,并加入同步的工具调用监控后才继续。这条披露比跑分更有价值:能力越强的模型,训练环境的边界越要提前设计,不能等行为出现再补。

现在怎么用,什么时候能自己部署

目前只有 Tinker 一条路:推理、微调、Playground 都可用,checkpoint 要等权重发布后才能下载。Tinker 64K 档的价格是 prefill $0.30、缓存 $0.03、采样 $1.00、训练 $1.50 每百万 tokens,另有 256K 的 PEFT 变体(训练 $3.00)。权重计划在下周完成外部安全测试与红队后按 Apache 2.0 放出,这是「打算」而不是既成事实。

  • 先分清任务类型:仓库内改动、代码审查、文档生成可以直接试;需要长链条终端操作的任务先别押注。
  • 如果要做领域微调,算清训练 token 成本,Tinker 的训练价是采样价的 1.5 倍。
  • 等权重放出后再评估自托管:官方没有公布自托管硬件要求,先别按 594B 的参数规模做采购计划。