“听见”更好的世界,StyleTTS端到端合成框架再创搜狗语音新突破
随着社会进步和技术创新的日益加快 , “黑科技”的产业运用持续加速 , 对人们生活的影响与改变也不断加深 。
近期 , 业内领先的搜狗AI语音合成再突破 , 创新提出“StyleTTS端到端合成框架” , 将语音合成技术再次向前推进一步 , 在准确传递信息之外 , 更重视个性化及情感表达 , 让合成的语音更具表现力 , 更“逼真” 。 搜狗联合****客户端于5月推出的演员柳岩同款明星“数字人”就是基于该技术的支持 , 实现了无缝切换河南、湖南、四川、陕西、东北等多种方言的能力 。 目前 , 该技术也为腾讯QQ浏览器“小说AI听书”功能提供支持 , 助力其实现了听书、听小说的全新升级 。
搜狗语音AI业内领先 , 帮助“听见”更好世界
作为机器的“嘴巴” , 语音合成已经被广泛应用于新闻播报、小说阅读、地图导航、人机交互等诸多场景中 。 从2010年以前经典的统计机器学习方法 , 到DNN/LSTM为代表的深度神经网络 , 再到Tacotron/FastSpeech/Durian等具有更强建模能力的端到端模型 , 结合神经声码器的突破 , 语音合成技术的发展正在从“稳定可懂”迭代到“更高表现力和逼真度 , 甚至媲美真人录音的水平” 。
搜狗AI语音合成有着雄厚的技术积累 , 2018年曾获得Blizzard Challenge语音合成挑战赛停顿和可懂两项子任务第一名 , 2019年推出首个真人变声功能实现“任意说话人声音(源)向指定说话人声音(目标)的实时变换” , 展现了搜狗在语音表征学习、语音合成等领域的多个关键性技术突破 。 此外 , 以新华社AI合成主播“新小浩”和自有形象合成主播“雅妮”为代表的搜狗数字人也已升级至“第七代” , 这些AI数字人的声音真实度、表现力已可媲美真人 , 展现了在多模态合成领域的行业领先性 。
在此基础上 , 搜狗又提出了StyleTTS端到端合成框架 , 该框架主要包含Encoder文本特征编码、Prosody Extractor/Predictor韵律特征编码与建模、Decoder音色建模三大模块 , 通过不同人(声)的韵律模型和音色模型重组搭配 , 能够实现跨发音人的风格控制合成 , 并拥有抑扬顿挫的韵律节奏和丰富立体的情感表达 。 此外 , 模型还加入说话人特征编码、语种特征编码以及GAN对抗学习等经典方法 , 进一步提升建模能力 。 相较而言 , 传统语音合成技术的重点在于“信息的正确传递” , 而搜狗AI语音合成技术除了正确传递信息 , 更重视个性化与情感共鸣 , 合成效果也具有更高的自然度、辨识度 , 同时还能实现对语音转换的风格、口音、情感等进行灵活选择与控制 , 从而满足不同场景的需求 。
本文插图
- 航天器|由于气候变暖,越来越多的信天翁“离婚”了
- |每小时收费500元?“女陪玩”出现天价,“灰色生意”该叫停了
- 量子计算机|我国已经实现“量子霸权”?比起超级计算机,速度快100万亿倍
- 科学家|科学家预言:“未来人类将培育出所有人体器官。”
- 外星人|外星人一定是“人”吗?他们的存在形式或超乎想象!
- 火山喷发|西班牙火山喷发60天不停歇,生成千顷土地,地球“小冰期”来了?
- |“撒哈拉之眼”是亚特兰蒂斯遗迹?这些细节之处太相似了
- 科学家|中国跨越式发展!“人造粮食”研发大获成功,有望解决粮食危机?
- 亚马孙热带雨林|“地球之肺”亚马逊雨林,为什么是人类禁区?到底有多恐怖?
- 德尔塔|新冠病毒“最厉害变种”来袭,或从艾滋病患者体内进化而来
