声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。

平时搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html

如转载，请标明出处。欢迎关注微信公众号：低调奋进

文章作者：李永强


Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition本文章是剑桥大学在2021.07.29更新的文章，主要研究GPT,GPT2和Bert等预训练语言模型对语音识别的优化作用。

具体的文章链接：https://arxiv.org/pdf/2108.07789.pdf


1、研究背景预训练模型的Bert, GPT,GPT2为下游诸多nlp任务提供很好的帮助，但其在ASR中应用却很少研究，因此本文主要研究这些预训练模型Bert, GPT,GPT2在ASR中的应用。

2、详细设计本文主要回顾一下Transformer，GPT, GPT2和Bert，这里不再详细介绍。另外本文介绍如何使用这些预训练的模型来对asr的n-best进行重打分。


3、实验结果
首先，本文对比使用FNN,LSTM和Transformer声学模型（这些模型是重新开始训练所得到）重打分效果。由table1显示，使用这些LM重打分，wer都下降，尤其同时使用该三种模型的wer最低。接下来看一下使用GPT的效果，图3和图4展示使用context大小对性能的影响，context越长效果越好。table3对比使用GPT的效果，相比于table1中的语言模型，使用GPT的性能最好，而且使用in-domain中的语料进行微调的效果好于直接使用原始的GPT。在Bert上的效果相同，但没有GPT的wer低。最后，同时使用GPT，GPT2和Bert的wer最低。


4、总结
本文研究使用GPT，GPT2和Bert等预训练语言模型来优化ASR，从而降低错误率。