INTERSPEECH是由国际语音通讯协会创办的顶级语音信号处理领域的国际会议，备受全球各地语音语言领域人士的广泛关注。此次会议的主题是：INCLUSIVE SPOKEN LANGUAGE SCIENCE AND TECHNOLOGY – BREAKING DOWN BARRIERS。

来源丨中科院自动化所智能交互团队


作者：王成龙1,2，易江燕2,3，陶建华3,4，章楚源2,3，张帅4，陈勋1

论文链接：https://arxiv.org/abs/2305.13700

摘要
现有的伪造语音检测系统在同域测试中表现良好，但在异域测试中仍面临许多挑战。这是由于训练和测试数据之间的不匹配，以及从有限视角提取的特征的不良泛化能力所致。为了解决这个问题，我们提出了多视角特征用于伪造语音检测，旨在从韵律、发音和wav2vec维度捕捉更广泛的特征。具体而言，从大量语音数据的预训练模型中提取音素持续时间特征。对于发音特征，首先训练一个基于Conformer的音素识别模型，将声学编码器部分作为深度嵌入特征提取器。此外，基于注意力机制将韵律和发音特征与wav2vec特征融合，以改善伪造语音检测模型的泛化能力。结果表明，所提出的方法在多个跨数据集实验中实现了显著的性能提升。
背景动机
目前，用于伪造语音检测的前端特征有几种类型。这些特征包括短时频谱特征、原始音频、基频特征和自监督特征。Todisco通过使用常数Q变换处理语音信号，证明了Constant Q Cepstral Coefficients (CQCC)比Mel Frequency Cepstral Coefficients (MFCC)具有更好的性能。Sahidullah提出了Linear Frequency Cepstrum Coefficients (LFCC)，用线性滤波器替换Mel频率滤波器，更加关注高频带特征，与MFCC相比。Das提出了Extended Constant-Q Cepstral Coeffficients (eCQCC)特征和Constant-Q Statistics-Plus-Principal Information Coefficient (CQSPIC)特征，改进了CQCC特征。这些方法在同域测试中表现出了有希望的结果，在ASVspoof2019逻辑访问（LA）场景中实现了小于1％的等误差率（EERs）。此外，Tak等人主张直接使用原始音频作为输入，因为他们认为依赖于经验设计的前端特征会失去大量语音信息。
对于韵律特征，基频已经被多位学者研究。韵律特征从更长的语音片段中提取，如音素和音节，以捕捉语音的风格和语调。Patel通过将F0轮廓和36-D MFCC在分数级别进行融合，显著提高了伪造语音检测的准确性。Pal提出了基频变化特征，以捕捉真实和伪造语音之间的韵律差异。Xue提出了F0子带，完全利用F0信息，并为频带分割提供了一种新的有效基础。另一种用于伪造语音检测的流行特征提取器是wav2vec，它基于自监督方法。在大量未标记数据的训练后，wav2vec特征已经在许多竞赛中获得了第一名。
在实际应用中，检测伪造语音可能会面临挑战，因为现有系统对未知类型的欺骗攻击的泛化能力较差。这主要归因于从单个维度提取特征时缺乏泛化能力。例如，从20-30毫秒的短帧提取短时频谱特征时容易受到通道效应的影响。此外，当前用于提取韵律特征的方法只考虑F0特征，而忽略了关键音素持续时间特征。值得注意的是，在不同的真实音频环境中，同一音素的持续时间可能会有显著差异，而伪造语音中的音素持续时间通常更加均匀。此外，很难确定wav2vec自监督特征中包含的语音信息。因此，我们提出使用多视角特征来增强伪造语音检测的能力，可以提高跨数据集的检测泛化能力。我们的方法包括三个维度的特征：韵律、发音和wav2vec。我们提出了音素持续时间提取器和发音特征提取器来实现这一点。为了获得类似音素持续时间的特征，我们使用预训练模型HuBERT编码语音，而不使用转录文本。对于发音特征，我们首先训练一个基于Conformer的音素识别模型。然后将声学编码器部分作为深度嵌入特征提取器。我们进一步通过注意力机制将韵律和发音特征与基于离散聚类的wav2vec特征融合在一起，以提高伪造语音检测的性能。我们的结果表明，这些辅助特征可以在不同的数据集内和外提高检测性能。本研究的主要贡献总结如下：
  1. 首次提出了发音特征和音素持续时间特征用于伪造语音检测。
  2. 采用了注意力机制方法，有效地将韵律特征和发音特征与wav2vec特征融合在一起。
所提方法

我们的模型由三个主要模块组成。首先，我们使用特征提取器提取三种类型的特征，包括wav2vec特征、音素持续时间特征和发音特征。需要注意的是，我们认为音素的持续时间可以反映韵律信息，因此在本文中，“韵律特征”指的是音素的持续时间。其次，注意力模块将韵律和发音特征与不同的权重融合到wav2vec特征中。最后，后端学习语音的深度表示。我们的方法的架构如图1(a)所示，我们在接下来的内容中提供更多细节。

特征：

持续时间：由于现有的公开可用的伪造语音数据集（如ASVspoof、ADD2022等）没有提供音频对应的转录，因此我们无法通过强制对齐来提取伪造语音的持续时间信息。受到启发，我们使用预训练模型HuBERT编码语音，并得到的编码向量类似于语音音素。如图1(b)所示，第一步是使用在LibriSpeech语料库上预训练的HuBERT模型将原始音频编码为编码向量。我们选择k-means作为量化操作，将编码器的输出从连续值转换为离散值。形式上，Di = Q(Ci)，其中Q是量化函数k-means，Ci是一个向量序列，Di = [d1, d2, . . ., dT]，其中di ∈ {1, 2, . . ., K}，K是音素词汇表的大小，我们将K设置为100。我们将最终获得的Di（例如[1, 1, 3, 3, 3, 4]）称为音素持续时间向量。


发音特征：由于Conformer模型在语音识别中被广泛使用，因此我们采用基于Conformer结构的发音特征提取器，如图2所示。首先，我们从原始音频中提取80维对数梅尔频谱。然后，我们在时间尺度上使用卷积下采样。下采样后的对数梅尔频谱被输入到Conformer模块中。然后通过CTC解码器和注意力解码器获得预测的音素序列。CTC解码器具有全连接层。注意力解码器是位置敏感的，具有320个隐藏单元的解码LSTM层。训练损失是CTC和注意力损失的线性组合：


其中L_CTC和L_ATT分别表示CTC和注意力的损失。α∈[0,1]是超参数，我们将其设置为0.5。训练完成后，我们将声学编码器部分作为深度嵌入特征提取器保留。从原始音频中编码的发音特征被视为语音的发音表示。
Wav2vec 2.0是一种自监督学习语音表示的方法，可以直接从原始音频信号中学习表示，而无需注释。其创新在于使用Transformer架构，可以捕捉长程依赖关系。该模型使用掩码对比预测编码（CPC）目标进行训练，以预测语音信号。使用大规模数据集和训练过程可以提高表示的质量。
特征融合策略：
我们使用Transformer将wav2vec特征与其他两个特征进行融合。我们只使用Transformer的编码器部分。它基于多头注意力机制。多头注意力在并行操作多个自注意力操作。
后端分类器：
关于后端架构，当前端预训练特征固定时，需要深层次的后端。我们的后端架构包括一个轻量级卷积神经网络（LCNN），然后是两个双向循环层，每个层都有长短时记忆（LSTM）单元，接着是全局平均池化层和完全连接（FC）输出层。
实验设置

数据集：

我们使用了五个伪造语音数据集。所有模型都在ASVspoof2019 LA训练集上进行了训练。ASVspoof2015与ASVspoof2019 LA最相似，因为它们的音频来自相同的数据集或转换算法。VCC2020数据集是多语言的。In-the-Wild数据集来自真实世界。ADD2022 track2数据集是中文的，并且部分是伪造的。


实验结果与讨论：

基线结果：

表2的前几行展示了各种数据集上单个特征的结果。值得注意的是，本文讨论的所有模型仅在ASVspoof2019 LA数据集上进行了训练，然后在不同的数据集上进行了测试。根据我们的观察，跨数据集测试是一项具有挑战性的任务。例如，在评估LFCC时，在ASVspoof2019 LA集合上的EER为4.86％，但在所有其他四个数据集上的表现都有所下降。相比之下，Wav2vec表现出比LFCC更好的泛化能力，在ASVspoof2015 LA测试集上的EER为6.59％，但在VCC2020、In-the-Wild和ADD2022数据集上表现不佳。这是因为不同数据集的虚假语音生成和真实语音录制环境的差异。这些发现支持我们论文的动机，即增强检测模型在不同数据集上的泛化能力。第二个观察是，单个韵律或发音特征在域内和域外测试中表现不佳。这可能是因为韵律特征是一维的，而wav2vec特征是128维的，LFCC特征是60维的。由于它们的维度有限，韵律特征相较于短时频谱特征和wav2vec特征包含的信息较少，导致语音中的声学相关信息丢失。此外，发音特征的表现不佳可能是由于发音提取器的训练数据较小，仅包含960小时的数据，而wav2vec的训练数据为436k小时。

所提方法结果：

表2的最后几行展示了所提出方法在各种数据集上的结果。我们可以得出以下结论：首先，对于内域和外域测试，将韵律特征和发音特征与wav2vec特征相结合的性能优于仅使用wav2vec特征的性能。这表明将韵律和发音特征作为辅助特征使用具有积极影响。具体而言，将这两个特征与wav2vec特征连接起来，可以获得最显著的性能改进，在ASVspoof2015测试集上，EER从6.59%降至3.96%。这是由于从韵律和发音维度添加了wav2vec信息。其次，使用注意力机制的融合方法比直接连接方法具有更好的性能。例如，当前端输入为“duration + pron+ wav2vec”时，在VCC2020测试集上，注意力机制方法的性能比直接连接方法好1.69%。这是因为注意力机制分配韵律特征和发音特征的权重，使模型更加关注能够区分真实和伪造语音的特征，从而提高模型的泛化能力。第三，在跨数据集测试中，所提出的方法比其他三个数据集改进了ASVspoof2015。例如，当前端输入为“duration + pron+ wav2vec”时，与WAV2VEC特征相比，ASVspoof2015的相对改进率为53.26%，而VCC2020、in the wild和ADD2022的相对改进率分别为23.64%、15.90%和15.76%。这是因为ASVspoof2015数据集的组成与ASVspoof2019相似。此外，对于LFCC，可以得出与wav2vec类似的结论。首先，对于内域和外域测试，将韵律特征和发音特征与LFCC特征相结合的性能优于仅使用LFCC特征的性能。其次，使用注意力机制的融合方法比直接连接方法具有更好的性能。第三，在跨数据集测试中，所提出的方法比其他三个数据集改进了ASVspoof2015。

表3将所提出的方法与最近提出的跨数据集测试系统进行了比较。当使用“duration + pron + wav2vec”作为前端特征时，本文中的系统在内域和外域性能方面都优于其他系统。当使用“duration + pron + LFCC”作为前端特征时，虽然性能改进不如“duration + pron + wav2vec”，但考虑到内域和外域结果，其性能仍然具有竞争力。此外，我们注意到，仅使用wav2vec特征时，在跨数据集测试中存在显著的改进。这是因为wav2vec特征仅使用真实语音数据进行训练，没有接触到任何伪造语音，从理论上适合泛化到所有类型的伪造语音。然而，实验结果表明，wav2vec特征的泛化仍受测试集和训练集匹配度的影响。我们的实验结果表明，将韵律和发音特征与wav2vec特征融合可以进一步提高跨数据集检测的泛化能力。



结语
在本文中，我们观察到现有的伪造语音检测系统在跨数据集测试中表现出显著的性能下降。本文提出了多视角特征用于伪造语音检测，旨在从韵律特征、发音特征和wav2vec特征的视角捕捉更广泛的特征。结果表明，韵律特征和发音特征可以作为辅助特征来提高域内和域外的检测性能。通过使用注意力机制将韵律特征和发音特征与wav2vec特征进行融合，效果更佳。在未来，我们将探索不同的融合策略。