语音中的强制对齐
原创2 years ago
语音中的强制对齐

一、简介 1.1 什么是强制对齐(Forced Alignment) 强制对齐是将转录文本与相应的音频信号对齐以确定单词、子词或音素等单元的时间边界的过程,也叫对齐。 下图可以直观看到对齐的过程。如图1所示,这是使用praat人工给音频中每…

35 0 0
Multi-token Prediction引领语音生成新范式:上海交大、蚂蚁集团联合发布语音交互大模型VocalNet
原创2 years ago
Multi-token Prediction引领语音生成新范式:上海交大、蚂蚁集团联合发布语音交互大模型VocalNet

传统级联式语音交互系统通常采用"语音识别-大语言模型-语音合成"的串联处理流程,这种架构存在明显的时延累积和信息损耗问题。相比之下,语音交互大模型通过端到端的处理方式,将语音理解和语音生成能力深度融合到大语言模型中,从而实现高性能、低时延的…

40 0 0