西工大音频语音与语言处理研究组01 VITS-Based Singing Voice Conversion Leveraging Whisper and Multi-scale F0 Modeling
02 Distinguishable Speaker Anonymization Through Latent Space Transformation
03 SA-Paraformer: Non-autoregressive End-to-End Speaker-Attributed ASR
作者列表：李泱泽，俞帆，梁宇颢，郭鹏程，史莫晗，杜志浩，张仕良，谢磊
合作单位：阿里巴巴
论文摘要：近日，多说话人语音识别（ASR）和说话者日志的联合建模在说话者相关的语音识别（SA-ASR）方面取得了可喜的成果。虽然这些方案能够获得先进（SOTA）的性能，但大多数都是基于自回归解码器，这种解码器会逐个生成标签，并导致较大的实时系数（RTF）。为了加快推理速度，我们在 SA-ASR 模型中引入了最近提出的非自回归模型 Paraformer 作为声学模型。Paraformer 使用单步解码器实现并行生成，其识别性能与 SOTA 的自回归 Transformer 模型相当。此外，我们还提出了说话人填充策略以减少说话人识别误差，并采用 inter-CTC 策略来增强编码器的声学建模能力。在 AliMeeting 语料库上的实验结果表明，我们的模型优于级联的 SA-ASR 模型，说话人相关的字错误率（SD-CER）相对降低了 6.1%。此外，与 SOTA 的自回归 SA-ASR 模型相比，我们的模型仅用 1/10 RTF 就实现了 34.8% 的 SD-CER。
论文原文：https://arxiv.org/abs/2310.04863
扫码直通论文
04 BA-MoE: Boundary-Aware Mixture-of-Experts Adapter for Code-Switching Speech Recognition
作者列表：陈培坤，俞帆，梁宇颢，薛鸿飞，万旭成，郑乃君，周欢，谢磊
合作单位：华为
论文摘要：基于混合专家的模型利用语言专家有效地提取特定语言的表示，已在中英混杂语音识别中得到良好效果。然而，由于不同语言之间发音相似可能导致不同语言建模受限和语言边界估计不准确，因此仍有很大的改进空间。为此我们提出了一种多层语言适配器和一种边界感知训练方法，即边界感知专家混合模型（Boundary-Aware Mixture-of-Experts，BA-MoE）。我们引入了特定语言的适配器来分离特定语言的表示，并引入了统一的门控层来融合各个编码器层的适配器。其次，我们计算每个特定语言适配器的语种适应损失，以改进适配器模块的特定语言学习能力。此外，我们利用边界感知预测器来学习边界表示，以减少语言边界混淆。我们的方法实现了显著的性能改进，在ASRU 2019中英混杂语音识别挑战赛数据集上，与基线相比，混合错误率降低了16.55%。
论文原文：https://arxiv.org/abs/2310.02629
扫码直通论文
05 An Exploration of Task-decoupling on Two-stage Neural Post Filter for Real-time Personalized Acoustic Echo Cancellation
作者列表：张子晗， 孙佳耀，夏咸军，王子谦，闫晓鹏，林丹峰，谢磊
合作单位：字节跳动
论文摘要：深度学习已被广泛应用于声学回声消除（AEC）领域。在这其中，对说话人表征的利用进一步拓展出了个性化语音增强的研究领域，也引发许多学者对个性化回声消除这一任务的研究兴趣与思考。在已有的研究中，任务解耦策略被广泛应用于语音增强。而PAEC任务包含了更多子任务，如回声消除、噪声抑制、目标说话人提取，为了进一步探索线性滤波和神经网络混合模型中PAEC任务的最佳的解耦方法，我们提出了两阶段后置滤波器（TDPF）。实验结果表明，与单个联合网络相比，任务解耦模型能获得更好的性能。而两阶段任务解耦的最佳方法是将回声消除与噪声和干扰说话人抑制解耦。基于以上的任务解耦方式，我们还进一步探讨了两阶段模型的最佳训练策略。
论文原文：https://arxiv.org/abs/2310.04715
扫码直通论文
06 Spike-Triggered Contextual Biasing for End-to-End Mandarin Speech Recognition
作者列表：黄凯勋，张奥，张彬彬，徐天翼，宋星辰，谢磊
合作单位：WeNet 开源社区
论文摘要：基于注意力的深度上下文偏置方法已被证明能有效提高端到端自动语音识别（ASR）系统对上下文短语的识别能力。相比于直接在 ASR 后验上进行偏置的浅融合偏置方法，深度偏置方法隐式地集成上下文信息，这使得控制不同上下文短语的偏置程度变得具有挑战性。本文引入了一种同时支持显式和隐式偏置尖峰触发深度偏置方法，两种偏置方式在上下文短语的识别上都有着显著的改进，并且可以与浅层融合方法共同使用以取得更好的结果。此外，我们还提出了一种上下文采样增强策略，并改进了上下文短语筛选算法。在 WenetSpeech 上下文偏置测试集上的实验证明，本文提出的模型相对于基线模型实现了 32.0% 的相对 CER 改进，上下文短语的 CER 相对减少了 68.6%。
论文原文：http://arxiv.org/abs/2310.04657
扫码直通论文
07 Zero-shot Emotion Transfer for Cross-lingual Speech Synthesis
作者列表：李玉珂，朱新发，雷怡，李海，刘俊晖，谢丹铭，谢磊
合作单位：爱奇艺
论文摘要：零样本跨语种情感迁移旨在将情感从源语种中的任意音频转移到目标语种的合成音频上。目前的跨语种情感迁移研究面临着口音问题以及搭建不同语种共享情感空间的挑战。我们的模型基于Delightful TTS，引入了特定的模块来分别建模语种特定的韵律特征和语种共享的情感表达来应对这些挑战。我们通过非自回归预测编码（NPC）模块来学习语种相关的韵律特征，来提高跨语言合成语音的自然度。不同语种之间的共享情感表征从预训练的自监督模型HuBERT中提取。同时，我们进一步根据HuBERT各隐藏层可以学习不同信息的特点，使用分层情感建模来捕获不同语种之间更全面的情感表征。实验结果表明，我们所提出的框架在零样本场景下的跨语种情感迁移实现了明显优于基线的效果。
样例见：https://ykli22.github.io/ZSET/
论文原文：http://arxiv.org/abs/2310.03963
扫码直通论文
08 HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS
作者列表：郭大可，朱新发，薛浏蒙，李涛，吕元骏，姜月鹏，谢磊
合作单位：香港中文大学（深圳）
样例见：https://anonymous-asru.github.io/HiGNN-TTS/
论文原文：https://arxiv.org/abs/2309.13907
扫码直通论文
09 The Second Multi-Channel Multi-Party Meeting Transcription Challenge (M2MeT2.0): A benchmark for Speaker-Attributed ASR
作者列表：梁宇颢, 史莫晗, 俞帆, 李泱泽, 张仕良, 杜志浩, 陈谦, 谢磊, 钱彦旻, 巫健, 陈卓, Kong Aik Lee, 鄢志杰, 卜辉
合作单位：阿里巴巴、中国科学技术大学、上海交通大学、新加坡理工大学、新加坡科技研究局、希尔贝壳
论文摘要：继第一届多通道多方会议转录挑战赛（M2MeT）的成功举办之后，第二届 M2MeT挑战赛（M2MeT 2.0）的主要目标是直接解决典型的会议场景中 "谁在何时说了什么 "这一具有挑战性的实际问题。我们特别设立了两个子赛道。1)固定训练条件子赛道，即训练数据限制在预先确定的数据集中，但参赛者可以使用任意开源的预训练模型。2) 开放训练条件训练子赛道，允许使用所有可用的数据和模型。此外，我们还发布了一个新的 10 小时测试集，用于本次挑战赛排名。本文针对数据集、赛道设置、竞赛结果以及对提交系统做了详细分析，以此作为基准来展示说话人相关语音识别技术的现状。
论文原文：https://arxiv.org/abs/2309.13573
扫码直通论文
10 MBTFNET: Multi-band Temporal-Frequency Neural Network for Singing Voice Enhancement
作者列表：许伟铭, 陈洲璇, 谭志力, 吕术博, 韩润铎, 周文江, 赵伟峰, 谢磊
合作单位：腾讯音乐娱乐集团
论文摘要：通常的语音增强（SE）方法主要用于去除语音中的噪声，在混有与人声相关的伴奏歌唱场景往往效果并不理想，并且唱歌与说话存在明显的区别。音乐分离（MSS）任务将人声和各种类型的伴奏平等对待，因此只考虑歌声增强的模型相比效果达不到最优。本文提出了一种新颖的多频带时域频率神经网络（MBTFNet），用于歌唱增强任务，它从唱歌录音中移除背景音乐、噪声甚至伴唱。MBTFNet通过带间和带内建模来更好地处理全频带信号。在时域和频率轴上引入双通道建模和时间膨胀块以扩展模型的感受野。针对伴奏中的和声，我们提出了基于信噪比（SNR）估计的隐式个性化增强（IPE）阶段，进一步提高了MBTFNet的性能。实验证明，我们提出的MBTFNet模型在歌唱增强人中显著优于几种最先进的SE和MSS模型。
论文原文：https://arxiv.org/abs/2310.04369
扫码直通论文
11 PromptSpeaker: Speaker Generation based on Text Descriptions
作者列表：张雍茂，刘广厚，雷怡，陈云琳，殷浩，谢磊，李志飞
合作单位：出门问问
论文摘要：近年来，文本引导的内容生成技术受到了广泛的关注，本文探索了基于文本提示的说话人音色生成技术的可能性，即使用文本提示来控制说话人音色的生成过程。具体而言，我们提出了PromptSpeaker，一种文本提示引导的说话人音色生成系统。PromptSpeaker由文本提示编码器、zero-shot VITS语音合成系统和一个Glow模块组成，其中文本提示编码器根据给定文本提示来得到一个说话人表征的先验分布，在此分布上采样得到的向量再经过Glow模块转换为对应的说话人音色表征向量，最后zero-shot VITS根据这个生成的说话人表征来合成对应音色的语音。我们验证了PromptSpeaker可以生成训练集中没有的新的说话人音色，并且文本提示可以引导生成说话人的音色。
论文原文：https://arxiv.org/abs/2310.05001
扫码直通论文
12 VITS-based Singing Voice Conversion System with DSPGAN Post-Processing for SVCC2023
作者列表：周益全，陈梦，雷怡，祝继华，赵伟峰
合作单位：腾讯音乐娱乐集团，西安交通大学
论文摘要：本文介绍了 T02 团队参加 2023 年歌唱语音转换挑战赛（SVCC2023）的系统。我们的系统采用基于 VITS 的 SVC 模型，包含三个模块：特征提取器、语音转换器和后处理器。具体来说，特征提取器提供 F0 等值线，并利用 HuBERT 模型从输入的歌声中提取与说话者无关的语言内容。语音转换器用于重新组合说话者的音色、F0 和语言内容，以生成目标说话者的波形。此外，为了进一步提高音频质量，我们还引入了微调的DSPGAN 声码器来重新合成波形。鉴于目标说话人的数据有限，我们采用了两阶段训练策略来使基础模型适应目标发音人。在模型微调过程中，我们也采用了一些技巧，如数据增强和与辅助歌手数据进行联合训练。官方挑战赛的结果表明，我们的系统取得了优异的成绩，尤其是在跨领域任务中，自然度和说话人相似度分别排名第一和第二。
论文原文：https://arxiv.org/abs/2310.05118
13 U2-KWS: Unified Two-pass Open-vocabulary Keyword Spotting with Keyword Bias
作者列表：张奥，周盼，黄凯勋，邹勇，刘明，谢磊
合作单位：理想汽车
论文摘要：允许用户自定义唤醒词的开放词汇语音唤醒近年来逐渐成为研究热点，受到越来越多的关注。然而，现有基于语音识别模型和后处理的方案使用语音识别的训练准则训练声学模型来实现全音素建模，导致声学模型对唤醒任务的优化不足。本文受到语音识别U2结构的启发，提出了一种新颖的二级开放词汇唤醒框架（U2-KWS）。具体而言，我们将U2的流式CTC分支作为一级模型用于检测潜在的关键词候选，将非流式的decoder分支作为二级模型用于验证一级检出的唤醒词。为了增强自定义关键词的检出效果，我们重新设计了U2-KWS的U2训练过程，并通过音频和文本交叉注意力在两个分支分别融入关键词信息。在内部数据集和Aishell-1上构造数据集的实验表明，在每小时0.5次误唤醒的情况下U2-KWS与传统开放词汇唤醒方法相比唤醒率相对提升41%。
