Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒
API Demo
同声传译不仅关乎翻译速度——它还必须听得清楚、译得准确。Qwen3.8-LiveTranslate 以 Interleave 架构重构实时同声传译,全面提升忠实度、流畅度与简洁度,同时平均延迟(LAAL)从 2.8 秒降至 2.3 秒。我们希望同声传译不仅传递语言,也传递对话背后的人与语境。在支持 60 种语言的基础上,Qwen3.8-LiveTranslate 新增三项能力,将同声传译带入更广泛的真实场景:实时说话人分离,为每一句话提供清晰的归属,并实现更稳定的声音克隆;在同一个双语屏幕上同步输出原文与译文;以及长上下文消歧,结合前文理解当下,让姓名和术语更加精准。
核心亮点 #
· Interleave 架构:音频与文本交织融合,质量更高、延迟更低。 这一代将同声传译重构为单一的音频-文本交织流;已经听到的音频和已经产出的译文都可以被缓存并复用,因此翻译质量较上一代显著提升,同时平均延迟(LAAL)从上一代的 2.8 秒降至 2.3 秒。
· 实时说话人分离:内容归属更清晰,声音克隆更稳定。 当多人轮流发言时,模型能够区分不同的说话人以及各自所说的内容,并帮助翻译后的语音更准确、更稳定地保留每位说话人的音色。
· 原文与译文同步。 同传过程中的双语对齐既支持即时理解,也支持原文核对,为字幕显示、内容整理和检索等后续功能奠定基础——拥有更广阔的应用空间。
· 长上下文消歧:跨轮次关联历史,翻译更精准。 通过借助前文和历史上下文,模型缓解了复杂场景中专有名词、指代等的歧义,保持表达一致。
模型架构 #
Qwen3.8-LiveTranslate 采用基于 Hybrid-MoE 的 Thinker–Talker 双模块设计,通过交错方式连接流式理解、文本输出和语音生成。其中,Thinker 将视频、音频、源文本和译文编排为单一因果序列——按时间顺序交错并以端到端方式生成——使理解和翻译在同一序列内完成;Talker 随后将译文与源音频结合,把译文合成为保留原说话人音色的语音。
性能 #
多说话人长音频 #
在 Omnilingua-MSpeaker 这一覆盖 14 个语言方向的多说话人长音频评测集上,Qwen3.8-LiveTranslate 在四个维度上均优于当今主流的实时同传系统:翻译忠实度、流畅度、简洁度,以及说话人分离错误率(DER)。
多语言性能 #
我们在公开的 FLEURS 音频测试集上评估了 70 个语言方向的实时同传性能。Qwen3.8-LiveTranslate 在四个维度上均领先于上一代及当前主流的实时同传系统:翻译质量、平均延迟、语音识别准确率和语音合成质量。
🎬 实际效果演示 #
以下演示使用了 《西游记》 中的两段对话以及一组同音词示例,展示了说话人归属与声音克隆、同步双语输出,以及上下文和视觉信息如何帮助翻译消歧。
支持的语言 #
通过 DashScope API 使用 Qwen3.8-LiveTranslate #
下面是一个完整的实时同传客户端示例:它采集麦克风音频,将其流式传输到服务器,并接收和播放回传的译文。这一代新增的 说话人分离 和 源语言与译文同步输出 能力均可通过会话配置启用;服务器会在返回译文的同时返回说话人标识和源语言文本,无需再单独调用 ASR 接口。
未来方向 #
同声传译远未到达它的终点。在“听得更完整、传得更忠实、用得更广泛”的指引下,我们正朝着以下方向努力:
· 逼近同声传译的延迟极限 :持续压缩端到端延迟,把“听到”与“译出”之间的间隔推向极限。
· 跨会话的长期记忆 :将记忆跨会话带入同一项目、同一群人的下一次对话中,越用越好用。
· 覆盖更多语言 :持续将覆盖范围扩展到更多长尾语言和地区方言,让实时传译能够服务世界上的每一个人。
引用 #
如果你觉得 Qwen3.8-LiveTranslate 有帮助,欢迎引用以下文章:
