它做了什么
Block 的 Dessa 团队把 Dessa 定义为一个「对话模型」:音频输入、音频输出,知识全部来自人类说话的录音,不从文本、也不从预训练模型里借。它是全双工模型,听和说可以同时进行,因此能插话、能回应「嗯」「懂了」这类 backchannel,也能在句子中间笑出来。
按官方说明,Dessa 的推理速度快于实时,可运行在一台 M4 Max 或更强的 MacBook Pro 上;目前是研究预览,需要加入 waitlist,团队还在邀请一小批 AI 安全研究者提前找风险。
训练方式
Dessa 从零训练,只用人类对话的音频。团队称它学语言用的词量比大语言模型少数百倍,但除了词,还要学口音、停顿、呼吸、讽刺、幽默、重音和插话时机——这些都会改变一句话的意思。训练只用了 1 台 NVIDIA GB200 NVL72,团队把这件事本身当成结果的一部分。
Dessa 团队是 Block 内部一个很小的研究组,成员来自多伦多深度学习公司 Dessa,做生成式语音已超过八年,直接向 Jack Dorsey 汇报。
演示里真实的样子
The Verge 听了公开的几段录音:来回节奏大体自然,但偶尔会露出「陌生朋友」式的尴尬——有一次把说话人误认成叫「Ronaldo」的人;聊到 Christopher Nolan 的电影时会突然拐去 Bryan Singer 的《超人》;听到有人要带它去巴黎,会用听起来像哭腔的感激回应。官方强调这些是真人对话的现场录音,没有人操控,字幕是后加的。
其中一段是 Dessa 与 OpenAI 的 GPT-Live-1 对话。两边都是 AI 声音,Dessa 听起来更自然,但这只是演示,不是系统评测;GPT-Live-1 的开发方也没有参与或背书。
限制与判断
- 研究预览,不是可直接商用的 API;waitlist 之外拿不到稳定服务。
- 只从语音学知识,事实准确性和可纠正性还没有公开评测,demo 里的自然语气不能替代知识测试。
- 本地运行需要 M4 Max 或更强硬件,部署成本与并发能力仍是问题。
- 团队主动邀请安全研究者,说明风险边界尚未摸清。
真正有价值的地方在数据模态:如果语音-only 模型能有效学会语言、事实和推理,语音数据的价值会被重新定价,交互也不必先转写成文字再理解。但这也带来新的评估难题——没有文本中间层,错误更难定位,纠错和审计都需要新工具。
把语音先转成文字再理解,等于先把情绪、停顿和插话丢掉;Dessa 想证明还有另一条路。