它解决的不是“能不能转写”

NVIDIA 在技术页里给了一个很实用的判断：不存在唯一正确的转写。数字要写成阿拉伯数字还是口语原样、要不要保留口头语、专业术语用哪种记法、代码切换的语言用哪种文字——传统 ASR 在训练时就被迫选定一种约定。Nemotron 3.5 Transcribe 的做法是把这些约定变成每次请求的自然语言指令，模型按指令输出，不需要重新训练。

  • 逐字转写：保留停顿、重复和口头语。
  • 书面转写：清理口语，补标点，数字按书面形式。
  • 上下文转写：给一份预期实体列表，减少专名错误。
  • 说话人归属：最多 8 个说话人，支持重叠语音。
  • 翻译与语种识别：40 种语言转写，31 种可与英文互译。
  • 音频问答：直接对录音提问。

架构与指标

模型由三部分组成：Transformer 语音编码器、冻结的 Nemotron 3 Diarization 说话人模型，以及 Nemotron 3.5 Lightning 30B-A3B 混合 Mamba-Transformer MoE 语言模型，合计约 4.3B 激活参数。官方给出的成绩是：英文 Open ASR Leaderboard 9 个公开测试集平均 WER 4.71%，多语种榜 4.62%；在重叠多人语音的说话人归属转写上达到 SOTA；给实体列表后，ContextASR-Bench 的命名实体错误降到原来的六分之一。

部署与限制

  • 权重：BF16、FP8、NVFP4、GGUF 四种，许可证 OpenMDW-1.1。
  • 硬件：BF16 参考配置为单张 H100 80GB；NVFP4 + DFlash2 在 RTX PRO 6000 Blackwell 上可达每秒 2,238 秒音频的转写吞吐。
  • 长度：单次最长 1 小时，65,536 token 上下文。
  • 限制：面向已录制音频，不支持实时流式；说话人分离覆盖 13 种语言。

怎么选

如果你的场景是会议、访谈、口述病历、客服录音回放，这类“先录完再转”的任务正好匹配，而且可以按行业术语做微调。如果要做实时字幕、电话机器人，得继续用流式 ASR，或者自己做分段+低延迟拼接。另一个实际问题是显存：1 小时音频加长上下文并不轻，先按峰值并发算清楚，再决定是单卡常驻还是批处理。