文章来源于智能语音新青年，作者ttslr

本次分享国立台湾大学李宏毅教授团队与JHU、CMU、MIT、Meta等机构联合发表于ACL2022会议的论文《SUPERB-SG: Enhanced Speech processing Universal PERformanceBenchmark for Semantic and Generative Capabilities》。该论文主要介绍了SUPERB-SG这一个语音处理通用性能的新基准，其侧重通过增加任务的多样性和难度来评估预训练模型的语义和生成能力。

论文作者：

Hsiang-Sheng1*, Tsai, Heng-Jui Chang1*, Wen-Chin Huang2*,  Zili Huang3*,Kushal Lakhotia4*, Shu-wen Yang1, Shuyan Dong4, Andy T. Liu1, Cheng-I Jeff Lai5,Jiatong Shi6, Xuankai Chang6, Phil Hall7, Hsuan-Jui Chen1,Shang-Wen Li4, Shinji Watanabe6, Abdelrahman Mohamed4, Hung-yi Lee1

1National Taiwan University, Taiwan

2Nagoya University, Japan

3Johns Hopkins University, USA

4Meta AI, USA

5Massachusetts Institute of Technology, USA

6Carnegie Mellon University, USA

7LXT

论文地址：
https://arxiv.org/abs/2203.06849
代码仓库：
https://github.com/s3prl/s3prl


0 Abstract

近年来，迁移学习（transfer learning）已被证明是推动语音和自然语言处理研究的关键。在语音方面，通过自监督预训练的模型在多个任务上有很好的效果。然而，由于缺乏一致的评估方法，限制了对此类模型功效的整体理解。因此SUPERB是朝着引入一个共同的基准来评估各种语音任务的预训练模型迈出了的一步。在本文中，我们介绍了SUPERB-SG，这是一个新的基准，侧重于通过增加任务的多样性和难度来评估预训练模型的语义和生成能力。使用一种轻量级的方法来测试预训练模型在不同类型任务的数据域和质量变化下所学到的表征的稳健性。它需要冻结预训练的模型参数，只使用简单的特定任务的可训练头。希望鼓励所有研究人员有效利用计算资源。论文还通过实验表明，SUPERB-SG的任务多样性加上有限的任务监督，是评估模型表示的通用性的有效秘诀。


1 Introduction

迁移学习是机器学习中的一种范式，对自然语言处理（NLP）以及语音处理（Speech Processing）非常有效。自监督学习（SSL）是这一范式的主要驱动力，它是一种有效的、可扩展的学习语言高级表征的方式，并可将其迁移到各种任务中。自监督学习从输入或某些扰动中学习表征，而不需要标记数据，这使得大量廉价的无标签数据的得以使用。因此它很适用于神经网络模型，由于这些模型已被证明具有不错的扩展特性，所以通常只需增加模型和数据大小就能提高下游性能。
语音信号由声学（acoustic）、语言学（linguistic）、韵律（prosodic）和说话人（speaker）的特征组成。语音中的自监督学习算法提出时，必须评估它们得到的表征的能力，这些表征要求对像理解口语的语音、理解说话人和韵律元素以及理解高级语音这样的任务是有效的。研究人员已经使用自回归（auto-regressive）、对比（contrastive）、判别（discriminative）以及多任务（multi-task）作为目标进行预训练，并在音素识别（phoneme recognition）、自动语音识别（automatic speech recognition）、说话人确认（speaker verification）、说话人识别（speaker identification）、情感识别（emotion recognition）、语音翻译（speech translation）、语音转换（voice conversion）、口语理解（spoken language understanding）以及TTS（text-to-speech）任务上研究它们的能力。然而，这类研究的方法在数据集的使用、微调策略和特定任务的模型架构方面有所不同。为了弥补这一差距，SUPERB引入了10个语音任务的标准化基准，比较13个预训练模型和一个对数Mel-Filterbank基线。它研究了模型在任务中的表现，并将重点放在语言学（音素识别、自动语音识别、关键词检测和按例查找的口语术语检测）、浅层语义（意图分类和槽位填充）、说话人（说话人识别、说话人确认和声纹聚类分割）和韵律（情感识别）等特征上。
在本文中，我们介绍了SUPERB-SG，它是一个包括5个新任务的基准，分别是语音翻译（speech translation）、域外ASR（out-of-domain ASR）、语音转换（voice conversion）、语音分离（speech separation）和语音增强（speech enhancement），重点是评估预训练模型的语义和生成能力，这使得模型需要高级表征来捕捉语言、语义和说话人的特征。这些任务不仅关注语音识别方面，还关注对构建智能语音接口至关重要的其他各个方面。此外，虽然SSL模型在许多任务上都有着最佳表现，但没有一个模型能胜过所有其他的模型，而且即使是一个简单的对数Mel-Filterbank特征在一些任务上也能取得具有竞争力的结果。我们还通过对不同任务的模型架构和数据规模进行消融分析，证明了该方法的鲁棒性。
引入这些难度不同的新任务，使SUPERB-SG更接近于一个全面的统一的标准语音基准。我们希望这能激励研究人员开发更强大的、可通用的、可重复使用的预训练模型，以推动语音研究的进程。为了促进这项工作，我们公布了代码，并将这些任务与SUPERB基准相结合。


2 Related work

随着越来越多在各种任务中都能表现出良好的性能且强大的SSL模型被提出，研究人员不断尝试寻找覆盖任务广泛的评估方法来评估模型的性能，并且希望能够全面了解这些预训练模型中学习到的表征的能力。
由于研究人员的需求，SUPERB应运而生。SUPERB是一个框架，它通过在固定的共享SSL模型参数的基础上学习特定任务的预测头，从而对10个语音任务的SSL模型进行基准测试。虽然SUPERB中的任务跨越了不同的领域，但其中大部分要么是简单的分类问题，要么是只需要浅层语义的任务。相比之下，我们专注于更难的语义和生成任务。
最近提出的另一个基准是LeBenchmark，探究了在法语数据上训练的SSL模型的性能，共包括三个语义任务。然而，这个基准只考虑了wav2vec 2.0的多种架构作为上游模型。相比之下，我们评估了一组不同的SSL模型，提供了更为全面的分析。
零资源语音基准2021（The Zero Resource Speech Benchmark 2021）介绍了无监督的语音处理任务，尤其关注口语建模问题。他们通过在四个语言层面上的零样本探测（zero-shot probing）来评估SSL模型。但他们的基准任务是针对某些特定领域的，而我们使用了各种不同的任务来评估SSL模型的不同方面。
HEAR2021挑战赛旨在通过关注语音以外的音频任务，包括声音事件检测（sound event detection）、语音命令（speech commands）和基频及色度分类（pitch & chroma classification），开发通用的音频表示法。我们特别关注语音处理的各个方面，从而提供各种各样的口语任务。


3 SUPERB-SG

3.1Tasks and Datasets

本节介绍了SUPERB-SG中的任务，还介绍了我们选择这些任务的原因，以及我们如何设计针对特定任务的预测头，和如何对这些预测头进行微调。按照SUPERB的方法，我们采用了一种轻量级的微调方法，即冻结预训练的模型参数，只训练特定任务头的参数。这种设置具有双重目的，一是评估语音表征的鲁棒性和通用性，二是它还可以提高微调模型的效率。我们把预训练的模型称为上游模型，把特定任务头称为下游模型。现在，我们将在以下几个小节中讨论SUPERB-SG中新增加的任务。

3.1.1 Speech Translation

语音翻译（ST）是将源语言的声学语音信号翻译成目标语言的词汇。我们用它来评估SSL模型的语义能力，并且研究它们如何提升翻译任务的能力。我们使用CoVoST En → De作为训练集，并按照官方的切分方法分为训练集、测试集和验证集，同时删除所有含有"REMOVE"的样本，其训练集、验证集和测试集分别包括425.8小时、25.9小时和24.5小时的数据。对于文本，我们保持原始的大小写、规范化标点符号，并建立具有100%训练集覆盖率的字符语料库。我们使用sacreBLEU作为评价标准，它是一个大小写敏感且去符号化的BLEU。我们的下游模型使用一个三层Transformer的编码器-解码器架构，每层的隐藏维度为512。并且还使用了一个卷积子采样器（convolutional subsampler）来减少输入的序列长度，然后再将其送入编码器。我们使用0.1的概率对我们的模型进行标签平滑的训练。推理时的束大小为20。

3.1.2 Out-of-Domain ASR

虽然SUPERB中包含了ASR，但它只在英语语料库LibriSpeech上检验了SSL模型。因此，我们引入了域外ASR（OOD-ASR），旨在评估模型的跨语言能力，以及域外场景。OOD-ASR任务被分为跨语言任务（cross-lingual task）和自发语音任务（spontaneous speech task）。对于跨语言任务，我们从Common Voice 7.0中选取墨西哥西班牙语（es）、普通话（zh）和阿拉伯语（ar）子集，其分别包含21.5、31.2和30.7小时的训练数据，1.2小时、14.4小时和12.24小时大小的验证数据，0.6小时、15.3小时和12.5小时大小的测试数据。对于自发语音任务（spon），我们使用了Santa Barbara Corpus of Spoken American English (SBCSAE) ，其中包括60个不同主题的对话，16.7小时的数据。验证和测试集的大小分别为1.6小时和2.2小时。除普通话使用字符错误率（CER）作为标准之外，其余任务我们使用单词错误率（WER）作为衡量标准。错误率是所有子任务错误率的平均数。ASR模型是一个2层的BLSTM，其隐藏状态维度为1024。训练目标是CTC（Connectionist Temporal Classification）损失。在推理过程中，我们使用CTC贪婪解码，不对语言模型进行重新评分，来简化过程并突出所学到的声学表征的影响。

3.1.3 Voice Conversion

对于语音转换（VC），我们考虑在任意对一（A2O）设置下的VCC2020的内语言VC任务。A2O VC的目的是将任意说话人的语音转换成预定的目标说话人的语音。我们用这个任务来评估说话人的可转移性以及SSL模型的可推广性。我们使用目标说话人的60个时间跨度为5分钟的语料用于训练，25个时间跨度为2分钟的语料用于测试，没有使用验证集。我们使用常用的MCD（mel-cepstrum distortion）、单词错误率（WER）和来自现成的ASR和ASV模型的声纹识别（ASV）接受率作为评价指标。下游模型依赖目标说话人的方式从上游表征中重构声学特征。在转换阶段，将上游提取的表征作为输入，由模型生成转换后的声学特征，然后将其发送到神经声码器合成转换后的波形。我们采用Tacotron2作为下游模型，Tacotron2是一个由卷积层和LSTM层组成的自回归网络。使用Hifi-GAN作为神经声码器。

3.1.4 Speech Separation

语音分离（SS）是将目标语音从背景干扰中分离出来。它是语音处理中的一个重要步骤，尤其是对于嘈杂和多语者的场景十分重要。我们在一个由LibriSpeech和WHAM!噪声模拟的数据集上研究语音分离问题。我们使用包含2个发言人的16kHz版本的数据集，并专注于mix_clean条件。训练和评估集包含43.3和4.2小时的模拟语音，这些语音来自LibriSpeech的train-clean-100和test-clean。这个任务是用来评估SSL模型在输入为混合声学信号时的生成能力。我们使用标度不变的信号失真率改善情况（SI-SDRi）作为评价指标。对于下游模型，我们了使用3层的BLSTM模型，每个方向的维度为896，来预测每个说话人的短时傅里叶变换（STFT）掩码，并使用反短时傅里叶变换（iSTFT）将预测结果转换回时域。并且进行了PIT（Permutation invariant training），以优化预测掩码和理想非负相位敏感掩码（INPSM）之间的均方误差。由于跨度大小的限制和计算成本，我们选择了频域方法而不是基于时域的方法。

3.1.5 Speech Enhancement

语音增强（SE）是指从退化的语音信号中去除背景噪声的任务，其目的是提高信号的感知质量和可懂度。我们使用这个任务评估模型在嘈杂条件下的生成能力。在SUPERB-SG中，我们讨论了Voicebank-DEMAND（V eaux et al, 2013）语料库的语音增强问题。训练、验证和测试集分别包含8.8、0.6和0.6小时的语音。评估指标为语音质量感知评估（PESQ）和短时客观可懂度（STOI）。一个类似于语音分离任务的3层BLSTM模型被训练来预测干净信号的光谱掩码。预测的掩码和INPSM之间的均方误差被作为目标。

3.2 Self-supervised Models

我们在15个上游模型上评估任务，它们是PASE+、APC、VQ-APC、NPC、Mockingjay、TERA、DeCoAR 2.0、Modifile CPC、wav2vec的不同架构以及HuBERT。它们有着不同的架构、规模和学习目标。一些模型还使用了矢量量化，这有一个额外的好处，就是信号压缩。我们还使用Log Mel Filterbank作为基线。表1展示了上游模型的详细属性。


4 Experimental Setup

与SUBERP相同，我们为所有下游任务的训练而固定了上游模型的参数。我们从原始波形中提取上游模型每个隐藏层的帧级表征，并使用可训练的特定任务加权机制，将所有层的表征加和为一连串的向量。总结后的表征作为下游模型的输入。图1展示了训练过程的概况。每个实验都使用了相同的种子单次运行完成。所有的实验环境均相同，为所有的上游模型提供一个公平和简单的评估策略。


5 Results and Discussion

5.1 Main result

表2展示了在SUPERB-SG上评估的上游模型的结果。我们只报告了OOD-ASR的平均WER，完整的结果可以在附录A中找到。对于语音到文本任务（ST和OOD-ASR），wav2vec 2.0和HuBERT得出了非常有竞争力的结果，DeCoAR 2.0的结果也有一些提升。在语音生成任务（VC、SS和SE）中，特别是需要考虑输出信号质量的指标来说，FBANK的效果和一些SSL模型持平甚至更高。对于VC，3个指标在模型上具有相同的趋势，其中vq-wav2vec在MCD和ASV上取得了最好的性能，而HuBERT在WER上表现最好。对于SS，Hubert-Large取得了最好的性能，其次是Modified CPC。用去噪任务预训练的PASE+比一半的SSL模型表现得更好，但这样的结果并没有出现在其他任务中。对于SE来说，所有的上游模型都表现得比较好。最大的差距只有PESQ的0.17和STOI的1.1。

总的来说，没有一个模型在所有的任务上都优于其他所有的模型。但是，HuBERT-Large在所有下游任务中的表现最具竞争力，尤其是对于那些需要语言和语义信号的任务。

5.2 Correlation between tasks

我们分析了SUPERB-SG中任务之间的相关性（correlation），以了解任务之间的相似性（similarity），并验证实验结果是否与这些任务所需要的共享表征的理解一致。
为了计算相关性，我们首先将所有的指标改为higher-better的方式。然后，我们计算所有任务对之间的Spearman等级相关系数（Spearman's ρ）。对于一个任务中包含的多个指标，如VC中的MCD/WER/ASV以及SE中的PESQ/STOI，我们分别计算每个指标与其他任务的Spearman等级相关系数。
为了使我们的分析更有代表性，并且能推广到所有的语音领域，我们选取了SUPERB中的六个任务，这些任务被认为是以下四个领域的代表。(i) 内容识别任务，包括音素识别（PR）、自动语音识别（ASR）；(ii) 说话人身份识别任务，包括身份识别（SID）、声纹识别（ASV）；(iii) 语义任务，即意图分类（IC）；(iv) 韵律任务，即情感识别（ER）。加上本文介绍的5个任务，我们在图2中展示了总共11个下游任务的结果和14个相应的评价标准。


总的来说，结果表明：除了SS和SE所有的任务之间都有很强的正相关关系。SS和SE没有表现出强烈的相关性，一个可能的解释是：音频信号需要的是low-level信息，原因是SS和SE需要通过STFT掩码从有干扰的说话人和背景噪音中重建干净的语音。因此，从SSL模型中提取的高层次信息对这两个人物没有什么好处。如前所述，FBANK和SSL模型之间的性能只有很小的差距。如果我们不考虑SS和SE，所有的相关系数都大于0.58，表明SSL模型提取的表征对多个领域是起作用的。
虽然图2中的Spearman's ρ一般都很大，但任务之间的差异是可以观察到的。在这里，我们重点讨论任务的相关性和相似性之间的关系。我们列出了与ST、OOD-ASR、VC、SS和SE最相关和最不相关的两个任务。由于SS和SE与其他任务有可能是负相关的，所以不作为最不相关任务的选择对象。对于VC，我们对三个指标的相关系数进行平均。
结果显示在表3中。ST和OOD-ASR与ASR高度相关，因为它们都将语音信号转化为离散的文本标记。IC也与ST相关，因为执行这两项任务都需要语义信息。此外，ASV和VC是ST相关性最低的两个任务，因为它们主要关注说话人信息，而较少考虑语义内容。但是它们的绝对相关值仍然大于0.7。对于VC来说，说话人信息需要被删除，而内容则需要被保留，这与PR和ASR相似，但与SID不同。SS和SE是具有一定相关性的，与说话人身份相关的人物和语义任务的相关性则要低得多，这验证了我们的猜想。总的来说，我们发现经验上高度相关的任务需要类似的知识或理解能力。


为了更广泛地了解我们的相关性结果，我们使用K-means将下游任务按其相互间的相关性进一步分组。这种方式同时考虑所有的人物，并且是由经验性的相关结果来自动分组的。如果一个下游任务使用了一个以上的评价指标，我们对不同的评价指标都进行独立分组。聚类结果显示在表4中，重新排列的相关图显示在图3中。



结果显示，任务的聚类与我们的经验知识一致。聚类A包括需要内容信息的任务，而聚类B的任务对说话人和语调特征更敏感。C组包含VC的MCD和ASV指标，它们被用来评估信号质量和说话人的转移率。值得注意的是，VC的WER属于集群A，表明它与内容相关的任务更相似。此外，聚类D、E和F分别包含SS和SE中的一个指标，这与我们的假设一致，即这些任务与其他任务相比利用不同类型的信息。


通过对任务之间相关性的分析，我们从经验上证实了结果的可靠性，并表明我们比SUPERB增加了语音任务之间的异质性。我们进一步用聚类的方法发现了任务之间的共同属性，结果与我们对相关任务的常识理解是一致的。

5.3 Robustness of SUPERB-SG

为了研究下游模型架构和SUPERB-SG使用的数据规模对结果的影响，我们评估了SUPERB-SG在下游模型以及训练数据规模变化下的鲁棒性。
我们选择了ST、OOD-ASR和SS作为下游任务进行评估，目的是为了涵盖语义、内容识别和生成性任务类型。对于上游模型，我们使用FBANK、TERA、CPC、wav2vec 2.0 Base和HuBERT Base来覆盖不同的SSL算法。

5.3.1 Downstream model

对于每个任务，我们通过修改层数和隐藏维度的方式创建了两个额外的下游架构。与我们的默认设置相比，我们创建的small模型和large模型在可训练参数的数量上大约是默认值的一半和两倍。下游架构的详细比较见表5。结果显示在表6中。



从表中可以看出，当模型大小不同时，上游模型的排名几乎是固定的。与预期相同，小型架构的性能比默认的差，而大型的则更好。此外，导致排名变化的分数可以忽略不计，例如，large架构下SS中的TERA/CPC和OOD-ASR中的wav2vec 2.0 Base/HuBERT Base。结果表明，不同的上游模型所取得的相对性能与下游架构无关，证实了SUPERB-SG中使用的框架的稳健性。

5.3.2 Training data size

为了研究数据规模的影响，我们在固定验证集和测试集的同时，为每个任务创建3个伪数据集，其大小分别为原始训练集的10%、5%和1%。数据集的统计数据见表7，结果见表8。



在10%的训练数据下，上游模型的排名几乎保持不变。当进一步减少到5%时，由于Modified CPC的性能下降，SS的排名发生了变化。如果不包括Modified CPC，排名仍然是固定的，这表明上游模型的相对性能与数据大小是无关的。此外，当只使用1%的训练数据时，大多数SSL模型在3个下游任务表现不如基线。这种现象是由有限的训练数据规模导致的特定任务知识获取不足造成的。尽管SSL模型从无标签的语音信号中学习了高水平的表征，但获得特定任务的知识，如ST中的翻译能力、OOD-ASR中的文本级标记映射和SS中的掩码预测，仍然需要非实质性的监督。

我们注意到，较少的训练实例虽然加快了训练速度，但是牺牲了评估质量。总的来说，SUPERB-SG对数据大小变化具有鲁棒性，即使训练数据减少到5%，该基准仍然是可靠的。

6 Conclusion

我们介绍了SUPERB-SG，这是一套包括语音翻译、域外ASR、语音转换、语音分离和语音增强在内的5个新任务，用来评估SSL模型的深度语义和生成能力。我们评估了15个SSL模型，并对任务的相关性做了全面分析，以证明我们方法的可靠性。测试并确认了SUPERB-SG在下游模型架构以及训练数据规模方面的鲁棒性。最新引入的语义和生成任务增加了SUPERB的多样性和难度，可以帮助了解各种SSL模型的表示能力，并帮助研究人员发现SSL技术在发展中的隐藏属性。

论文翻译：内蒙古大学计算机学院2022级硕士研究生马泽宁（导师 刘瑞）