淘宝 TaoMate-H3 开源:基于 MiniMax H3 的三步 LoRA,把音视频联合生成做成能分钟级续写的流式运行
阿里巴巴 TaoLive AIGC 团队把 TaoMate-H3 的推理代码与 LoRA 权重开放出来(GitHub 与 Hugging Face 均可下载)。它是构建在 MiniMax H3 之上的低延迟流式音视频生成运行时:用三步 LoRA 加自回归生成,按小块(chunk)持续产出画面与同步音频,支持人物对白、歌声与环境音,能够分钟级续写,并给出 480p、768p、1080p 的横竖屏输出。官方的几个要点很具体:每个小块只用三段去噪区间,达到最终潜状态远早于整段 MiniMax H3 请求跑完;靠干净的 KV 缓存加音频引导,在提示词边界之间保持人物外观、音色与动作连续;单机可以 4 卡或 8 卡推理,配合张量并行与 Ulysses 序列并行。当前放出的是第 3000 步的生成器 EMA 适配器(rank 128),另一路 FL2AV 权重预告在此之前发布。