MOSS-TTS-Realtime

我们正式推出 MOSS-TTS-Realtime,一个情境感知的多轮流式文本转语音（TTS）基座模型,专为语音交互场景设计:用户通过语音输入与系统交互,系统实时生成连续、自然的语音回复。传统的 TTS 系统往往孤立地生成每一句助手回复,忽略了之前的对话轮次和用户的语音输入,这会导致上下文丢失和韵律不连贯。相比之下,我们的方法在生成助手语音时,会原生地对多轮对话历史进行建模,将用户之前话语的文本表示和声学表示都纳入条件。通过将情境感知与流式合成紧密结合,系统可以生成低延迟、渐进式的音频回复,同时保持音色一致性和对话连贯性,从而实现高度自然、类人的语音合成。

MOSS-TTS-Realtime 是一个低延迟语音合成系统,构建在可扩展的两阶段架构之上,包含 1.7B 参数的主干网络（backbone）和 200M 参数的局部 Transformer。主干网络对丰富的语言和上下文表示进行建模,并将中间隐藏状态暴露给局部 Transformer,后者以自回归方式生成基于 RVQ 的音频 token。高保真波形通过 MOSS-Audio-Tokenizer 进行高效重建。

该模型在大规模数据上进行训练,使用了超过 250 万小时的单说话人语音数据,以及超过 100 万小时的双说话人和多说话人对话数据,显著提升了音色一致性和多轮对话连贯性。MOSS-TTS-Realtime 支持除中文和英文之外的 10 多种语言,展现出强大的多语言泛化能力。该模型支持最大上下文长度达 32K tokens。