豆包语音大模型优化小说演播 大咖音色媲美真人

近日，字节跳动的豆包语音大模型在小说演播场景取得突破，无需对话旁白、情感、角色等额外标签，也能实现高表现力、高自然度、高语义理解的小说演播效果，声音合成质量媲美真人。据了解，市面上的语音模型想要媲美一流主播细腻的演播效果，要做好旁白和角色的区分演绎、角色情感的精确表达、不同角色的区分度等。传统的小说TTS合成链路，需要提前给内容打标签。豆包语音大模型基于Seed-TTS架构优化，则可以端到端直接合成出具有韵律、情感等细节的声音。

图：传统语音模型和豆包语音大模型合成链路的区别 Seed-TTS是字节跳动于2024年6月发布的语音生成基座模型。为提升语音表现力和长文本的理解能力，豆包语音大模型团队在Seed-TTS的数据、特征、上下文等结构上做了改进。比如数据上，音频做章节级别处理，保证了长文下的语音一致性和连贯性；语音韵律和准确性上，融合原始文本和前端信息，保证语气词、副语言、强调、弱读等内容自然流畅；额外加入的上下文理解能力，使得模型能够感知更大范围的语义信息，旁白和角色音表现更精准到位。优化后的豆包语音模型，能端到端演绎更多元的情感，在人物不同情绪上表现自然，而且可实现连续多轮对话，保证角色区分鲜明。豆包语音模型团队以王明军、李满超两位演播圈大咖的声音为基础，采用新技术合成的有声书，已上线番茄小说，受到用户的广泛欢迎。