文章来源于音频语音与语言处理研究组，作者魏坤

语音到语音翻译（Speech-to-speech Translation, S2ST）[1,2,3]是指将一种语言的语音转换成另一种语言的语音的一类技术。和传统的文本到文本的机器翻译不同，S2ST任务的输入和输出均为语音，这项技术在全球化趋势下越来越重要，尤其是在跨境交流、旅游、商务等领域提供更为直接的便利。典型的S2ST系统通常由三个任务组成：语音识别（ASR）、机器翻译（MT）和文语转换（TTS）。这类级联系统分别将输入的源语言的语音信号转换成文本，再将文本翻译成目标语言的文本、最后将目标语言的文本转换成相应目标语言的语音。这种级联的系统存在一些问题。首先，每个任务都可能产生误差，这些误差可能会在后续任务中逐渐累积，导致结果的不准确性。其次，级联系统可能无法准确地捕捉说话者的情感和韵律等重要的副语言信息，影响交流质量。此外，级联系统的推理速度可能会受到各个任务加和的限制。为了解决这些问题，研究人员开始探索直接语音到语音的直接翻译系统，将ASR、MT和TTS任务整合到一个单一的端到端模型中，直接将一种语言的语音翻译成另一种语言的语音。

语音到语音翻译是西工大音频语音与语言处理研究组（ASLP@NPU）的重要研究方向之一。近期，实验室和微软亚洲研究院合作论文“Joint Pre-Training with  Speech and Bilingual Text for Direct Speech to Speech Translation”被语音研究顶级会议ICASSP 2023接收。当前，源语言到目标语言的成对语音语料非常稀缺。为了解决这个问题，本文提出了一个名为Speech2S的模型，将非成对语音和双语文本数据一起进行联合预训练，用于语音到语音直接翻译任务。通过有效地利用成对文本数据，Speech2S模型能够模拟从源语言到目标语言的跨语言语音翻译。在Europarl-ST和VoxPopuli数据集上的实验表明，Speech2S相比仅编码器进行预训练的模型获得了约5个BLEU分数的提高，实现了与现有最先进模型相当或甚至更好的性能。

开源代码和模型可以从下面的网址获取：

https://github.com/microsoft/SpeechT5/tree/main/Speech2S

论文题目：Joint Pre-Training with  Speech and Bilingual Text for Direct Speech to Speech Translation
作者列表：魏坤，周龙，张自强，陈丽萍， 刘树杰，何磊，李锦宇，韦福如

论文原文：https://arxiv.org/abs/2210.17027


图1 发表论文截图


图2 扫码直达论文
1. 背景动机
本文提出了一个名为Speech2S的语音翻译模型，旨在通过联合使用无配对语音和双语翻译文本进行预训练，为直接语音到语音翻译任务建模跨语言信息并缓解数据稀缺问题。具体而言，Speech2S包括语音编码器、单元编码器和单元解码器。我们提出了两个预训练任务，通过单元编码器将源语音和目标单元连接起来，对这三个模块进行预训练。像HuBERT一样，第一个预训练目标是基于语音编码器和单元编码器的输出来预测聚类单元，使用无标签的语音数据。为了利用双语机器翻译语料库，我们首先使用两个文本到单元模型将源/目标文本转换为源/目标单元，基于这种方式，通过交叉熵损失预训练跨语言单元编码器和解码器。
我们在Europarl-ST [4]和Vox-Populi [5] S2ST数据集上评估了所提出的模型，实验表明该模型带来了显著的性能提升。本文的贡献总结如下：（1）提出了一个联合预训练的Speech2S模型，该模型可以利用双语文本数据来提高双语语音翻译的性能。（2）与没有使用机器翻译的成对文本数据的预训练模型相比，所提出的模型在BLEU评分上实现了约5个百分点的显著改进。（3）此外，我们对并行数据大小、不同领域的数据增广以及主观评价进行了详细分析。
2. 技术方案

我们的目标是针对双语语音数据对语料稀缺的的问题，利用配对的机器翻译语料来弥合源语音和目标语音之间的语义差距。本节介绍Speech2S的模型架构以及模型预训练和微调方法的细节。

2.1 模型结构



图3 模型结构

2.2 模型预训练

在预训练之前，我们首先使用两个离散化模块将语音和文本聚类为共享的离散标记。然后通过两个预训练目标优化模型，即使用语音编码器和单元编码器的语音到单元任务，以及使用单元编码器和单元解码器的源单元映射到目标单元的任务。



2.3 Speech2S 微调
在微调阶段，我们可以将 Speech2S 的语音编码器、单元编码器和单元解码器微调为直接的语音到语音翻译模型。利用交叉熵损失，我们只需使用小规模语音到语音翻译的语料库作为微调数据集来优化模型，其中目标语音需要使用语音离散化模块转换为目标单元。最后，我们使用基于单元的 HiFi-GAN [6] 从目标单元生成目标语音。
3. 实验

3.1 数据集

我们在同一语言对的两个方向上进行实验：西班牙语-英语（es-en）和英语-西班牙语（en-es）。在预训练阶段，我们使用 VoxPopuli 数据集，这是一个大规模的多语言语料库，提供了 23 种语言中 100K 小时的未标记语音作为语音预训练数据。我们使用每种语言的 Voxpopuli-ASR 子集来训练基于序列到序列的文本到单元模型的文本离散化模块。我们使用来自 Europarl v10的英西机器翻译数据作为双语文本数据，以生成文本单元预训练的配对文本单元。同时，语音到语音配对数据 VoxPopuli-S2S 用于 S2ST 微调阶段。
我们使用从 VoxPopuli 挑选出的开发集和 Europarl-ST 数据集的开发/测试集来验证语音到语音翻译模型的效果。为避免与测试集语料重复，我们删除了 VoxPopuli 训练集中 2012 年及更早的数据。为避免音频本身引起的错误，所有音频都统一为 16 KHz 的 ogg 格式。此外，我们使用 CoVoST-2 和 Europarl-ST 数据集的训练集文本进行额外的数据增广分析实验，以探讨在不同领域的数据增广效果。

3.2 实验结果

表1显示了 S2UT 系统 [3] 和我们的 Speech2S 系统的 BLEU 分数。通过对比基于 HuBERT 微调的模型和我们提出的模型，可以发现我们的模型在两个方向的 S2ST 任务上获得了超过 4 个 BLEU 值的增益（#5 与 #3）。与从 HuBERT 编码器和 mBART 解码器微调的 S2UT 基线模型相比，我们所提出的 Speech2S 模型仍然有超过 3 个 BLEU 分数的提升（#5 与 #4）。这个结果证明了我们的模型可以通过预训练更好地将文本信息融入语言模型，并通过共享单元编码器学习源语言语音和目标语言单元之间的相应关系。此外，将我们的模型与论文中的 S2UT Large 模型进行比较（#5 与 #2），可以发现，我们的方案在参数较少的情况下，在英语-西班牙语任务上实现了与 S2UT Large 几乎相同的结果，而在西班牙语-英语测试集上，我们的模型超越了Large模型的结果，这也验证了本文提出方案的优越性。

表1 翻译实验BLEU结果

3.3 微调数据大小的影响

一个有趣的问题是，如果我们只有很少的微调数据，模型的表现会如何发生变化。在这里，我们验证了 Speech2S 和基线模型在不同大小的语音到语音（S2S）数据集上的效果。我们分别在 10 小时、50 小时和 100 小时有监督数据集上评估了所提出的 Speech2S 和基于HuBERT 的基线模型。这些训练数据是从 VoxPopuli-S2S 的所有数据中随机采样得到的。
从表2中，我们可以发现即使只有 10 小时的有监督数据，通过我们的语音和双语文本联合预训练，BLEU 分数也可以达到 10 以上。在 100 小时有监督数据集上，微调结果接近于数百小时有监督数据微调的结果。从弱监督的结果来看，Speech2S 模型可以通过预训练很好地学习语音和单元的统一映射，从而降低对有监督 S2ST 数据的依赖。
表2 数据规模的影响

3.4 数据增广

在本节中，我们探讨了不同领域数据集的数据增广效果。如表3所示，我们首先使用 VoxPoluli 训练集训练的模型评估 CoVoST-2 开发/测试集的性能。在绝对性能方面，CoVoST-2 的 BLEU 分数明显低于 Europarl-ST（#3 vs. #1）。一个可能的原因是，对于 Europarl-ST 测试集，预训练和微调时数据领域是一致的，但 VoxPopuli 和 CoVoST-2 之间存在领域不匹配问题。
我们通过添加来自 Europral-ST 和 CoVoST-2 语音到文本翻译数据集的配对源语音和目标单元数据进行数据增广实验。基于包含源语音和目标文本的训练数据，我们使用在 VoxPopuli-ASR 数据上训练的文本到单元模型将目标语言的文本转换为单元，然后将语音和生成的目标单元扩充训练集。如表3第 2 行和第 4 行所示，通过数据增广，Speech2S 在 CoVoST-2 上的收益比 Europarl-ST 更大，这个结果证实了我们的猜测。实验结果还表明，这种数据增广方法对领域适应是非常有效的。
表3 数据扩充结果

3.5 主观评测

为了进一步比较不同模型生成语音的质量，我们从 Europarl-ST 开发集中选取了 50 个语音样本，对这些样本的自然度进行打分。表4列出了不同模型的自然度分数，包括 S2UT 模型、没有数据增广和有数据增广的 Speech2S 模型。结果显示，我们提出的 Speech2S 模型在自然度得分上达到了 4.1，优于从 HuBERT 和 mBART 微调的 S2UT 模型。使用数据增广后，Speech2S 模型获得了最佳的自然度分数 4.3。实验表明，我们提出的方法不仅显著提高了 S2ST 任务的翻译质量，还提高了生成语音的自然度。此外我们还发现，更准确的单元也有助于提高最终合成语音的音质。
表4   主观评测打分（MOS）

参考文献

[1] Ye Jia, Ron J Weiss, Fadi Biadsy, Wolfgang Macherey, Melvin Johnson, Zhifeng Chen, and Yonghui Wu,“Direct speech-to-speech translation with a sequence-to-sequence model,” arXiv preprint arXiv:1904.06037, 2019.

[2] Ann Lee, Peng-Jen Chen, Changhan Wang, Jiatao Gu, Xutai Ma, Adam Polyak, Yossi Adi, Qing He, Yun Tang, Juan Pino, et al., “Direct speech-to-speech translation with discrete units,” arXiv preprint arXiv:2107.05604, 2021.

[3] Sravya Popuri, Peng-Jen Chen, Changhan Wang, Juan Pino, Yossi Adi, Jiatao Gu, Wei-Ning Hsu, and Ann Lee, “Enhanced direct speech-to-speech translation using self-supervised pre-training and data augmentation,” arXiv preprint arXiv:2204.02967, 2022.

[4] Javier Iranzo-S ́anchez, Joan Albert Silvestre-Cerda, Javier Jorge, Nahuel Rosell ́o, Adria Gim ́enez, Albert Sanchis, Jorge Civera, and Alfons Juan, “Europarl-st: A multilingual corpus for speech translation of parliamentary debates,” in ICASSP. IEEE, 2020, pp. 8229–8233.

[5] Changhan Wang, Morgane Riviere, Ann Lee, Anne Wu, Chaitanya Talnikar, Daniel Haziza, et al., “VoxPopuli: A large-scale multilingual speech corpus for representation learning, semi-supervised learning and interpretation,” in ACL, Aug. 2021, pp. 993–1003.

[6] Ann Lee, Hongyu Gong, Paul-Ambroise Duquenne, Holger Schwenk, Peng-Jen Chen, Changhan Wang, Sravya Popuri, Juan Pino, Jiatao Gu, and Wei-Ning Hsu, “Textless speech-to-speech translation on real data,” arXiv preprint arXiv:2112.08352, 2021.

[7] Ziqiang Zhang, Long Zhou, Junyi Ao, Shujie Liu, Lirong Dai, Jinyu Li, and Furu Wei, “Speechut: Bridging speech and text with hidden-unit for encoder-decoder based speech-text pre-training,” arXiv preprint arXiv:2210.03730, 2022.