“听见”更好的世界,StyleTTS端到端合成框架再创搜狗语音新突破


随着社会进步和技术创新的日益加快 , “黑科技”的产业运用持续加速 , 对人们生活的影响与改变也不断加深 。
近期 , 业内领先的搜狗AI语音合成再突破 , 创新提出“StyleTTS端到端合成框架” , 将语音合成技术再次向前推进一步 , 在准确传递信息之外 , 更重视个性化及情感表达 , 让合成的语音更具表现力 , 更“逼真” 。 搜狗联合****客户端于5月推出的演员柳岩同款明星“数字人”就是基于该技术的支持 , 实现了无缝切换河南、湖南、四川、陕西、东北等多种方言的能力 。 目前 , 该技术也为腾讯QQ浏览器“小说AI听书”功能提供支持 , 助力其实现了听书、听小说的全新升级 。
搜狗语音AI业内领先 , 帮助“听见”更好世界
作为机器的“嘴巴” , 语音合成已经被广泛应用于新闻播报、小说阅读、地图导航、人机交互等诸多场景中 。 从2010年以前经典的统计机器学习方法 , 到DNN/LSTM为代表的深度神经网络 , 再到Tacotron/FastSpeech/Durian等具有更强建模能力的端到端模型 , 结合神经声码器的突破 , 语音合成技术的发展正在从“稳定可懂”迭代到“更高表现力和逼真度 , 甚至媲美真人录音的水平” 。
搜狗AI语音合成有着雄厚的技术积累 , 2018年曾获得Blizzard Challenge语音合成挑战赛停顿和可懂两项子任务第一名 , 2019年推出首个真人变声功能实现“任意说话人声音(源)向指定说话人声音(目标)的实时变换” , 展现了搜狗在语音表征学习、语音合成等领域的多个关键性技术突破 。 此外 , 以新华社AI合成主播“新小浩”和自有形象合成主播“雅妮”为代表的搜狗数字人也已升级至“第七代” , 这些AI数字人的声音真实度、表现力已可媲美真人 , 展现了在多模态合成领域的行业领先性 。
在此基础上 , 搜狗又提出了StyleTTS端到端合成框架 , 该框架主要包含Encoder文本特征编码、Prosody Extractor/Predictor韵律特征编码与建模、Decoder音色建模三大模块 , 通过不同人(声)的韵律模型和音色模型重组搭配 , 能够实现跨发音人的风格控制合成 , 并拥有抑扬顿挫的韵律节奏和丰富立体的情感表达 。 此外 , 模型还加入说话人特征编码、语种特征编码以及GAN对抗学习等经典方法 , 进一步提升建模能力 。 相较而言 , 传统语音合成技术的重点在于“信息的正确传递” , 而搜狗AI语音合成技术除了正确传递信息 , 更重视个性化与情感共鸣 , 合成效果也具有更高的自然度、辨识度 , 同时还能实现对语音转换的风格、口音、情感等进行灵活选择与控制 , 从而满足不同场景的需求 。
“听见”更好的世界,StyleTTS端到端合成框架再创搜狗语音新突破
本文插图