语境偏置（Contextual biasing）旨在将语境知识集成到语音识别（ASR）系统中，以提高在相关领域词汇（俗称“热词”）上的识别准确率。在许多ASR场景中，待识别语音中可能会包含训练数据中数量很少或完全没出现的短语，例如一些领域专有名词、用户通讯录中的人名等，这些短语的识别准确程度对用户体验或下游任务的影响很大，但对于在通用数据上训练ASR系统来说又难以完全正确识别。因此语境偏置方法具有重要价值，旨在提升在这些“热词”（hot words）上的识别准确率。
西工大音频与语音处理研究组（ASLP@NPU）近年来致力于语音识别领域定制和语境偏置相关的研究。近期，实验室发表的论文“Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network”被语音研究顶级会议INTERSPEECH2023接收。该论文提出了一种基于热词短语预测网络的深度语境偏置方法，该网络利用热词嵌入来预测语音中的热词，并通过计算偏置损失来辅助深度偏置模型的训练。所提出的方法能够应用在多种主流端到端ASR模型上，显著改进模型在热词数据上的识别准确率。现对该论文进行简要的解读和分享。
论文题目：Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
作者列表：黄凯勋，张奥，杨展恒，郭鹏程，穆秉甡，徐天翼，谢磊
论文地址：https://arxiv.org/abs/2305.12493

图1 发表论文截图


图2 扫码直通论文

1. 背景动机

近年来，由于深度神经网络的快速发展，端到端语音识别（ASR）系统取得了显著的进展，并成为语音识别的主流方法。然而，由于深度学习高度依赖数据，端到端 ASR 系统对于数据中的罕见短语的识别准确度往往会显著降低。在实际应用中，这些罕见短语通常可以事先作为语境（context）信息即“热词”获得。因此，将语境知识融入端到端ASR模型以提高对热词的识别能力十分重要。

一种典型的偏置方法是浅融合 （shallow fusion）[1]。虽然浅融合可以直观地增加与热词相关的令牌的后验概率，但对于偏置列表的性能改进有限，并且需要进行测试以确定最佳融合权重。

实现上语境偏置的另一种方法是基于神经网络的深度偏置方法 （deep biasing）[2, 3]，它在端到端神经网络模型中引入了一个独立的偏置组件来建模热词。与浅融合相比，深度偏置方法更灵活，可以快速适应不同场景中的不同热词列表。然而之前的深度偏置方法缺乏偏置任务的明确监督，并且通常只适用于特定的模型结构。

为此，我们提出了一种基于热词预测网络的深度偏置方法，该方法使用基于双向长短时记忆网络（BLSTM）的热词编码器来获取热词的嵌入，并通过注意力机制提取语境信息与音频嵌入结合。与 CLAS [2] 和 CATT [3]不同，我们使用热词预测网络来预测话语中出现的需要偏置的热词，并将结果与仅包含热词的标签计算CTC损失作为偏置损失。这个损失函数有效的监督了偏置模块去学习关注音频中出现的热词，并在无热词时减少对原本识别结果的影响。热词预测网络可以集成到主流的端到端语音识别模型中，如 CTC 、AED 和 Transducer，以实现对热词的偏置。

此外，我们还在热词偏置模型中应用了一种两阶段的热词短语筛选方法，使热词偏置模型在加载较大的偏置列表时也能有良好的表现。
2. 提出的方法


图3 语境（热词）偏置模型结构

热词偏置CTC/AED模型

对于热词偏置 CTC 和 AED 模型，我们都仅对编码器进行了修改，并且在训练 AED 模型的时候使用 CTC 损失进行作为辅助损失，因此对这两个模型的修改是基本一致的。我们在模型中添加了一个热词编码器、一个基于多头注意力的偏置层，以及一个热词预测网络，如图 3(c) 所示。

热词编码器用于将偏置列表中不同长度的热词编码成具有相同长度的嵌入向量。列表中的每个短语都使用与ASR模型相同的分词器进行分词，将分词后的序列作为 BLSTM 的输入。正向和反向 LSTM 的最后一个时间步的隐藏状态和细胞状态进行拼接，然后通过一个线性层得到热词短语的嵌入向量。此外，我们在热词短语列表中添加了一个只包含单个空白字符的短语，以便在音频中没有热词短语时模型能够专注于它并忽略其他热词短语。

偏置层是一个多头注意力层，旨在帮助模型学习热词短语的嵌入和话语间的相关性，如图 3(b) 所示。偏置层以音频嵌入作为查询，热词短语嵌入作为键和值，以计算热词表示:


然后将热词嵌入和音频嵌入结合起来，以获得热词感知音频嵌入:


热词短语预测网络由两个线性层和一个 Softmax 函数组成，如图 3(a) 所示。其中第二个线性层将音频嵌入映射到在词汇表上的后验概率分布上，与 CTC 模型的最后一个线性层共享参数。热词短语预测网络使用热词感知音频嵌入作为输入，预测话语中出现的热词短语。我们将热词短语预测网络的输出作为后验，抄本中的热词短语作为标签，使用 CTC 损失函数计算模型的偏置损失。该部分模型只用于辅助训练，不参加模型的推理。

对于热词偏置 CTC 模型，最终的损失函数为：
其中为偏置损失的权重，在实验中我们均设置为 0.1。
对于热词偏置 AED 模型，以作为 CTC 权重，最终的损失函数为：


热词偏置Transducer模型

热词偏置 Transducer 模型的结构如图 3(d) 所示。相比于标准 Transducer 模型，我们添加了一个热词编码器，两个偏置层，以及热词短语预测网络。与 CTC/AED 模型不同的是，我们在音频编码器和标签编码器后面都添加了偏置层，以将热词信息分别集成到音频编码器和标签编码器中，然后将热词感知音频嵌入与热词感知标签嵌入送入到联合网络中进行后续的计算。

热词偏置Transducer模型的最终的损失函数为：


热词短语筛选方法

受[4]的启发，我们应用了两阶段的热词短语筛选算法，使用 CTC 的后验来筛选热词短语。不同的是，我们简化了级联编码器的结构，在不改变原始模型结构的情况下执行热词短语筛选。

首先，使用仅包含空白字符短语的偏置列表进行计算，以获得无偏置的 CTC 后验。保留音频嵌入。在第一次通过推理期间，CTC 的解码结果可以用作流式处理结果。

然后使用 CTC 后验分两个阶段过滤热词短语。第一阶段计算后验和分数置信度 ，忽略热词短语的顺序。它计算滑动窗口中热词短语中包含的每个字符的最大后验值的总和，并使用序列长度对其进行规范化。此阶段会筛选掉大多数与音频相关性较低的热词短语，仅保留剩余的热词短语用于第二阶段的过滤。在第二阶段，通过使用动态规划算法计算序列顺序置信度，考虑令牌顺序，计算滑动窗口中热词短语中包含的字符的最大后验和。

在获得过滤后的热词短语后，使用先前保留的音频嵌入进行后续推理，从而产生更准确的偏置识别结果。
3. 实验

实验数据与实验配置

本文大多数实验都是在LibriSpeech语料库上进行的，其中包括 960 小时的英语有声读物阅读。该模型在完整的 960 小时训练数据上进行训练，以证明其在相对低资源的任务中的性能。利用 [5] 中提供的 LibriSpeech 语料库的偏置列表作为热词短语列表。

为了验证模型在使用较大数据情况下的性能，我们在 GigaSpeech 语料库上训练模型，并在 Earnings21 数据集[6]上进行了测试。

在训练过程中，我们从每个话语中提取 3 个单词数量在 1 到 3 之间的随机短语，将它们添加到批处理中的偏置列表中。此外，我们将一定数量的干扰项合并到偏置列表中，以将列表大小保持在 60。

除了单词错误率（WER）之外，我们还使用偏置单词错误率（B-WER）和无偏单词错误率（U-WER）评估结果。U-WER 对不在偏置列表中的单词进行测量，而 B-WER 则对在偏置列表中的单词进行测量。对于插入错误，如果插入的短语在偏置列表中，则计入 B-WER，否则计入 U-WER。

对比热词偏置模型与基线模型

我们在 CTC、AED、Transducer 三种模型上测试了基线模型与热词偏置模型的结果。如表 1 所示，在热词偏置模型上，包含非空偏置列表的实验 B-WER 相比于基线模型都有明显的减少。与基线模型相比，当 N=100 时 B-WER 平均降低 40.5%。当 N=1000 时，B-WER 仍然表现出明显的下降，但减少幅度降低了，并且 U-WER 也受到一定程度的影响。这表明该模型对偏置列表的大小很敏感。

表1 具有不同偏置列表大小 N 的 LibriSpeech 结果，指标格式：WER （U-WER/B-WER）


热词短语筛选算法测试

如表2所示，我们测试了热词短语筛选对热词偏置模型的影响。在应用筛选方法后，偏置列表对 U-WER 的影响显著降低，而 B-WER 与未使用热词短语筛选算法的结果相比仅略有增加。

表2 偏置列表大小 N = 1000 时热词偏置模型应用热词短语筛选的结果


对比浅融合方法

为了比较所提出的深度偏置方法和浅融合方法，我们分别测试了单独使用每种方法并在热词偏置 AED 模型上一起使用的效果。为了确保公平性，我们将测试集中每个话语中的热词短语提取到一个列表中，test-clean 集的列表大小为 4250，test-other 集的列表大小为 3838。在测试浅融合的结果时，我们使用了基于 [1] 中所述的 OTF 重打分的浅融合方法。如表3所示，浅融合方法相对于基线平均 B-WER 相对降低了6.9%，而提出的深度偏置方法平均 B-WER 降低了29.2%。

表3 热词偏置AED模型与浅融合方法的结果


消融实验

表4展示了消融研究的结果。对于热词偏置 AED 模型，不共享 CTC 线性层参数可以获得更好的 B-WER 性能，但会对偏置列表的大小更敏感。如果没有偏置损失，则热词偏置 AED 模型完全失去热词偏置能力。

表4 消融实验结果


在热词偏置Transducer中，当不适用偏置损失时，模型基本上与 CATT 一致，它具有热词偏置的能力，但 B-WER 改进没有之前显著。

在 Earnings21 数据集上的结果

我们在 GigaSpeech 数据集上训练了一个热词偏置 AED 模型，并在 Earnings21 数据集 [6] 上对其进行了评估，结果如表5所示。当使用热词偏置 AED 模型并应用热词短语筛选算法时，热词短语的召回率得到明显的改进，与基线相比相对提高了 33.2%。虽然精确率受到了一定程度的影响，但 F1 值相对提高了11.7%。由于测试集中热词短语占比很小，因此热词偏置对整体WER的影响很小。

表5 热词偏置 AED 模型在 Earnings21 上的结果


参考文献

[1] Z. Chen, M. Jain, Y. Wang, M. L. Seltzer, and C. Fuegen, “Endto-end contextual speech recognition using class language models and a token passing decoder,” in IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2019, Brighton, United Kingdom, May 12-17, 2019. IEEE, 2019, pp. 6186–6190.

[2] G. Pundak, T. N. Sainath, R. Prabhavalkar, A. Kannan, and D. Zhao, “Deep context: End-to-end contextual speech recognition,” in 2018 IEEE Spoken Language Technology Workshop, SLT 2018. IEEE, 2018, pp. 418–425.

[3] F. Chang, J. Liu, M. Radfar, A. Mouchtaris, M. Omologo, A. Rastrow, and S. Kunzmann, “Context-aware transformer transducer for speech recognition,” in IEEE Automatic Speech Recognition and Understanding Workshop, ASRU 2021. IEEE, 2021, pp. 503–510.

[4] Z. Yang, S. Sun, X. Wang, Y. Zhang, L. Ma, and L. Xie, “Two-stage contextual word filtering for context bias in unified streaming and non-streaming transducer,” CoRR, vol. abs/2301.06735, 2023.

[5] D. Le, M. Jain, G. Keren, S. Kim, Y. Shi, J. Mahadeokar, J. Chan, Y. Shangguan, C. Fuegen, O. Kalinli, Y. Saraf, and M. L. Seltzer, “Contextualized streaming end-to-end speech recognition with trie-based deep biasing and shallow fusion,” in Interspeech 2021, 22nd Annual Conference of the International Speech Communication Association, H. Hermansky, H. Cernock ́ y, L. Burget, L. Lamel, O. Scharenborg, and P. Motlı  ́cek, Eds. ISCA, 2021, pp. 1772–1776.

[6] J. D. Fox and N. Delworth, “Improving contextual recognition of rare words with an alternate spelling prediction model,” in Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, H. Ko and J. H. L. Hansen, Eds. ISCA, 2022, pp. 3914–3918.