语音小管家引子
有没有厌烦了你的语音助手声音？语气太过生硬或者一成不变语音表达？是不是期待一个真正具有人性化的助手声音，就像是电影《HER》里的萨曼莎一样，拥有迷人的声线，温柔体贴而又幽默风趣，陪伴在你左右？
图1：电影《Her》：与语音助手谈一场恋爱
音频语音与语言处理研究组（ASLP@NPU）近期在发力打造一个拟人化的声音。在介绍这个技术之前，先卖个关子，做个铺垫。下面是去年和美团共同打造的基于真实客服数据建模的拟人化语音合成技术的效果演示。合成效果是不是已经可以以假乱真了呢？是不是觉得就是一个客服在说话呢？这个技术已经上线到了美团客服，大家可以打电话亲自体验一下哈！
这个客服声音是通过电话信道采集的，电话信道音频采样率局限在8KHz，因此音质受限。为了改善声音质量，同时为了将这样一个客服声音应用在对音质要求更高的场景，我们做了基于深度学习的语音频带扩展技术（Band Expansion），通俗的讲就是“语音AI修复”技术的一种，将低质量的音频“修复”成高质量的音频。比如，可以将8KHz采样率的窄带声音扩展到16KHz的宽带声音。下面的样例是不是听上去声音更“脆”一些，且音质变得更好了呢？
图2：语音频带扩展前后的语谱图（左：8K原始合成音；右：频带扩展后的16K音）
从语谱图上看，高频部分被较好的补了回来。一些老电影、老视频里讲话就可以通过类似的技术进行修复，提升听感。
可控对话合成技术
下面就是重点了。去年的时候，郭浩瀚同学实现了一个对话语音合成技术。
论文连接如下：https://arxiv.org/abs/2005.10438
今年从坚同学更进一步，实现了一种上下文感知的可控对话合成技术（Controllable Conversational TTS），也就是可以根据输入的两人之间对话文本，有效利用对话上下文，合成出逼真的自然口语对话（双方语音都是合成出来的），同时可以控制口语化语音的流利程度。
图3：被Interspeech2021录用的可控对话合成技术论文
效果怎么样呢？听听下面的对话吧！
是不是觉得真的是两个人在对话呢？然而这完全是合成的。下面介绍一下这背后的关键技术。
在口语对话中总是会发生诸如填充停顿(filled pause)和延音(prolongation)之类的自发行为。同时对话双方倾向于将他（她）们的讲话的风格和方式与彼此对齐，也就是随着对话的进展两个人说话方式或风格会越来越像，这被称语言上的夹带（entrainment）现象。为了合成更加拟人的对话，我们提出了一个统一可控的自发对话语音合成框架来建模上述两种现象。
图3：可控对话语音合成框架
口语化事件预测
我们使用显式标签来表示声学模型中两种典型的自发行为——填充停顿和延音，并利用基于神经网络的预测器来从文本中预测这两种行为。
图4：口语化事件预测
同时我们提出了一种基于自发行为预测算法来控制文本中自发行为的发生频率，控制合成语音的不流利程度。而且论文的实验表明，插入这种预测的口语化事件要比随机插入合成的语音要自然的多。
图5：口语化事件出现频度控制算法
下面是针对上面的对话样例，第一个说话人（A）的阈值不变，第二个说话人（B）的流利阈值分别为0.0和0.3的样例，怎么样？能听出从流利到不流利的变化吧。
论文中实验结果也表明，随着频度阈值设置的增加，合成语音的时长也会变长，这从侧面反映了语音从流利到不流利的变化。
图6：随着口语化事件出现频度的加大，合成语音相对时长也会变长
语音entrainment建模
为了对语音夹带（entrainment）进行建模，我们利用上下文声学编码器从先前语音中提取全局风格嵌入。此外，由于当前和先前的话语属于对话中的不同说话者，我们添加了一个域对抗训练模块，以消除声学编码器中和说话人相关的信息，同时保留风格相关信息。实验表明，本文方法可以有效建模entrainment现象，保持各自说话人人的音色，同时合成逼真的对话，并自然地控制自发行为的发生频度。
图7 域对抗训练构建说话人无关的韵律表征
论文下载
论文可以从这里下载：https://arxiv.org/abs/2106.10828
或者扫描下面的二维码直接看论文。
同时论文里展示的更多样例可以从这里获取：https://syang1993.github.io/spon_tts/
让机器合成拟人化的语音是一个非常有价值的研究方向，同时也充满了挑战，因为人类的语音除了传达语言（linguistics）信息外，还有各种丰富、细腻的副语言（Paralinguistics）信息，包括身份、情绪和情感、各种讲话风格等。同时随着语音合成技术的突破，如何鉴别合成音（deepfake）也是一个很有价值的方向。一矛一盾都是值得研究的。
感谢腾讯AI Lab的支持，感谢起源智能提供建模数据，数据是好效果的基础。
是不是期待和你的“萨曼莎”谈一场恋爱？
敬请期待更多酷炫技术的推介。
注：本文样例仅供科研技术展示。
