作者 | 李梅来源丨AI科技评论机器翻译是现今人类消除语言障碍、重建巴别塔的新工具。然而，在世界现存的 7000 多种已知语言中，许多低资源语言还未得到足够的关注，尤其是有近一半的语言没有标准的书面系统，这是构建机器翻译工具的一大障碍，所以目前 AI 翻译主要集中在书面语言上。在利用 AI 推动自然语言翻译这件事上，Meta 一直致力于“No Language Left Behind”（没有一种语言被落下）的目标。比如汉语方言之一闽南话，现在也有了专属的机器翻译系统，讲闽南话的人可以与讲英语的人进行无障碍对话了。这是由 Meta 开源的第一个由 AI 驱动的非书面的、语音到语音的翻译系统。来听听这项工作的负责人、Meta AI 研究员 Peng-Jen Chen 与小扎的对话，Chen 出生于中国台湾。该系统可以将闽南话的语音翻译成英语语音，反之亦可。会讲闽南话的读者可以来检验一下，是不是翻译效果还挺不错？据了解，这个开源翻译系统是 Meta 的通用语音翻译(UST) 项目的一部分，该项目致力于开发新的人工智能方法，帮助实现所有现存语言的实时语音到语音的翻译。目前，Meta 已经开源了该翻译模型和评估数据集，研究论文如下： 论文地址：https://research.facebook.com/file/799432337944526/Speech-to-speech-translation-for-a-real-world-unwritten-language.pdf
1、克服训练数据的挑战闽南话是汉语方言之一，是一种低资源语言，没有标准的书写系统，人工的英语到闽南话翻译人员也相对很少，所以为模型收集和标注训练数据就变得更加困难。 图注：讲闽南话（Hokkien）的人的数量为此，来自 Meta AI 的研究团队采用了一种特殊放方案，利用汉语普通话（属于高资源语言）作为中间语言来构建伪标签和人工翻译。他们首先将英语（或闽南话）语音翻译成普通话文本，然后再翻译成闽南话（或英语）并将其添加到训练数据中。这种方法通过利用来自类似高资源语言的数据，极大地提高了模型性能。语音挖掘是训练数据生成的另一种方法。使用预训练的语音编码器，能够将闽南话语音嵌入编码到与其他语言相同的语义空间中，所以闽南话没有书面形式也不造成问题。闽南话语音可以与语义嵌入相似的英语语音和文本对齐，然后从文本中合成英语语音，产生并行的闽南话和英语语音。 图注：无需人类标注的语音翻译模型
2、新的建模方法：语音到语音许多语音翻译系统都依赖转录或者是语音到文本的系统。但是，闽南话的形式主要是口语，缺乏标准的书面文字系统，无法转录成文本作。所以，Meta 所构建的是一个语音到语音的翻译系统。研究人员使用语音到单元（speech-to-unit，S2UT）翻译，将输入语音直接翻译成一系列的声学单元，这也是 Meta 先前最早开创的一种路径。然后，从这些声学单元中生成波形。此外，研究人员还采用了 UnitY 作为双通道解码机制，第一通道解码器生成相关语言（即汉语普通话）的文本，第二通道解码器创建单元。 图注：UnitY 模型架构
语音小管家
