规格

Nemotron 3.5 Bolt E4B 4GB 是从 Gemma-4-E4B-it 后训练而来的小语言模型，8B 总参数、4B 有效参数，采用 Q4_K_M 量化，目标是在约 4GB 内存的设备上运行。输入和输出上下文都支持到 64K token，纯文本输入输出，面向本地语音助手、互动角色和嵌入式界面。

英伟达说它在关键对话 agent 基准上，比上一代平均质量高约 40%，输出 token 比同类模型少最多约 80%；支持 35 种语言，底层基座预训练覆盖 140 多种语言。推理模式可以通过聊天模板开关，也能在运行时限制思考预算，用延迟换质量。

跑在哪里

官方列出的硬件包括 GeForce RTX、Jetson、RTX Spark 和 DGX Spark，也就是从桌面显卡到边缘模组再到小型工作站。部署方式写的是 llama.cpp，但截至发布日，官方 recipe 还标着 pending；真正落地前要等量化文件和运行配方更新。

为什么 4GB 值得单独说

云端模型的能力上限高，但每一轮对话都要联网、传数据、等往返。端侧 4GB 模型的意义不是「替代 GPT-6」，而是把唤醒、意图判断、短对话、工具路由这些高频小步骤留在本地：断网可用、延迟低、敏感内容不出设备。它和云端大模型是分工，不是二选一。

英伟达的重点也在这里：多轮工具调用、指令跟随和输入 grounding，都是 agent 在设备上真正要用到的能力，而不是单纯刷知识问答分数。对机器人来说，模型要能把「把音量调低」翻译成正确的函数调用，而不是生成一段听起来合理的解释。

许可与限制

模型卡写的许可是 OpenMDW-1.1，官方说可商用也可非商用。注意它不等于 OSI 认可的开源许可证；如果你要把权重嵌进产品、再分发或改许可，先让法务读一遍条款。另一个限制是纯文本：没有视觉输入，机器人要「看懂」画面仍需单独的视觉模型。

谁该试

  • Jetson / RTX 边缘设备上的离线语音助手；
  • 游戏或陪伴产品里的本地角色对话；
  • 机器人、IoT 设备的意图识别和工具路由；
  • 需要多语言、但不想把语音内容传到云端的场景。

测试时别只看闲聊质量。准备一组真实的工具调用任务，记录成功率、参数错误率、多轮之后是否忘记约束，以及目标语言下的口音/混合语言表现；这些比通用 benchmark 更能决定它能不能上线。