构建了HCLG解码图后，解码就是在这个图上寻找一条最优路径。最优路径上去除epsilon后的输出标签序列就是单词级别的识别结果。本篇主要解析kaldi源码实现。


解码

decode.sh


源码解析：


过程：



Viterbi静态解码

功能：使用基于GMM的模型对特征进行解码。采用维特比算法进行解码，仅产生线性序列。产生的任何lattice都是线性的，即只有一个解码结果。输入：GMM声学模型、HCLG.fst解码图、测试语音声学特征输出：解码结果（词序列、对齐序列、lattice）

过程之道：


1）解码第一帧时，从状态节点0出发，首先进行ProcessEmitting处理的发射状态转移弧，节点0转移到节点3、2、6。接着ProcessNonemitting沿着虚线非发射转移弧将6传播到同一时刻下的状态节点1。

2）解码第二帧时首先切换Token列表，把cur_toks列表转变到pre_toks列表后，将cur_toks置空。然后再进行ProcessEmitting、ProcessNonemitting。

3）随着时间的推移，帧的进行，到达最后一帧，选择最低累计代价的Token，然后以次Token回溯最优路径。

kaldi的gmm-decode-simple实现了这个过程。


函数解析：

1）decoder.Decode(&gmm_decodable)

解码过程：



  • DecodableAmDiagGmmScaled gmm_decodable(）

根据声学模型，计算出某一帧的声学分数。声学得分是通过高斯混合概率密度函数计算得到的。

  • GetBestPasth()

根据最后一个token进行回溯，得到解码结果。

把结果放到这个词格中，词格中是单一路径。

  • GetLinearSymbolSequence(decoded,NULL,&words,NULL)

从线性词格中取出结果，写入到words中。words中是word ID，要根据词典把id真正转化为单词序列，得到最后的结果。


Lattice静态解码

gmm-latgen-faster功能：

解码识别：基于GMM模型生成lattices网格，保留N-best路径。（不能保证viterbi给的最优路径就是真正的对的路径）

源码解析：


过程：

lattice生成的解码结果并非单一路径，而是N-best路径。

在每次令牌传递过程中，lattice也像viterbi解码那样删除旧令牌的方法来生成，而是通过独特的ForwardLink前向链接机制来生成lattice。

前向链接ForwardList与转移弧不同，用来链接前后两帧之间的发射转移弧之间的Token，或同一时刻非发射转移弧之间的Token。

基于WFST的Lattice静态解码过程：


kaldi中的gmm-latgen-faster实现了lattice解码。


函数解析：


其中解码、回溯部分、写入文件部分也包含在这个函数内。

decoder.Decode(&decodable)进行解码。


令牌传递：

LatticeDecode并不是向viterbi解码那样传递令牌本身，而是在创建新令牌后，使用一个前向链接把令牌链接起来。



诊断评分



最后从所有错误率中找到最低的那个错误率。


Kaldi的YesNo实例解码识别错误率0%。

其中 N 是 num总数,C 是 corr 准确数,S 是 sub 替换错误,D 是 Del 是删除错误,I 是 INS 插入错误。


解码结果