今日论文合集:CS.SD语音与音频 共 14 篇。
本文经arXiv每日学术速递授权转载,微信公众号:arXiv_Daily
[机构]信息由AI分析生成,可能存在错误,仅供参考,以论文实际显示为准
快速导航
1. 语音合成与声音生成 2 篇
2. 说话人识别、验证与分离 1 篇
3. 音乐信息检索与音乐生成 2 篇
4. 语音翻译与语音语言模型 3 篇
5. 其他/综合语音音频 6 篇
1. 语音合成与声音生成 | 2 篇
1. RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation
RSE-TTS:通过共享文本感知参考编码与生成实现紧凑的文本到语音合成
AI 总结:该研究提出RSE-TTS,通过共享生成主干的重构说话人编码器压缩参考文本与语音,参数减少48%,在英文基准上优于MOSS-TTS-Nano等模型,实现低WER与高说话人相似度。
链接:https://arxiv.org/abs/2611.15464
机构:VoxNexus
作者:Ming Ma, Mingjie Chen, Yuanzhong Zheng, Hengyao Bao, Hailin Yu, Shijing Yu, Hao Qiu, Gongfan Cao, Xiao Li, Xuemin Zhao, Youhai Jiang
2. ZONOS3-Mini Technical Report
ZONOS3-Mini技术报告
AI 总结:本研究提出超紧凑零样本语音克隆TTS模型ZONOS3-Mini,采用含8.86亿参数的MoE骨干与ZAC-1编解码器,在ZTTS2-Eval基准上表现接近更大模型,且可在移动设备实时运行,已开源相关代码与权重。
链接:https://arxiv.org/abs/2611.16525
机构:Zyphra(齐法拉科技)
作者:Gabriel Clark, Sofian Mejjoute, George Close, Beren Millidge
2. 说话人识别、验证与分离 | 1 篇
3. FineSpeaker: Reliable Speaker Representation Learning at Fine Temporal Resolution
FineSpeaker:细时间分辨率下的可靠说话人表示学习
AI 总结:本文提出FineSpeaker框架,通过可调整窗口的平均池化、带局部时间建模的编码器及生成式解耦策略,实现细时间分辨率下的可靠说话人表示学习,在多任务上表现优异。
链接:https://arxiv.org/abs/2611.15288
机构:Shenzhen Graduate School, Peking University(北京大学深圳研究生院); Xiaomi Inc.(小米公司)
作者:Yongkang Yin, Wenhao Yang, Lichun Fan, Jian Luan, Hang Su, Yuexian Zou
3. 音乐信息检索与音乐生成 | 2 篇
4. Can Music Generation Models Tap Along? Evaluating Generative Approaches to Beat Tracking
音乐生成模型能同步节拍吗?评估用于节拍跟踪的生成式方法
AI 总结:本研究为MusicGen模型配备音频条件适配器,通过生成同步打击乐音轨提取节拍,在GTZAN数据集上性能接近最先进节拍跟踪器,鲁棒性更强,为节拍跟踪提供了新可行方法。
链接:https://arxiv.org/abs/2611.14971
机构:Schulich School of Music, McGill University(麦吉尔大学舒立克音乐学院); Centre for Interdisciplinary Research in Music Media and Technology (CIRMMT)(音乐媒体与技术跨学科研究中心); Courant Institute, New York University(纽约大学柯朗数学科学研究所); Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
作者:Kun Fang, Ziyu Wang, Ichiro Fujinaga
5. MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning
MusicRWKV:用于音乐表示学习的多模态RWKV框架
AI 总结:本研究针对Transformer音乐模型处理长序列时开销大的问题,提出基于RWKV的多模态音乐框架MusicRWKV,引入可逆压缩模块等,实验显示其可适配各类MIR任务,Soft ROSA可提升性能。
链接:https://arxiv.org/abs/2611.16718
作者:Terry Tan
4. 语音翻译与语音语言模型 | 3 篇
6. Harmony: Bridging Audio Understanding and Editing through Agentic Collaboration
Harmony:通过智能体协作连接音频理解与音频编辑
AI 总结:提出Harmony智能体框架,通过LLM规划器等协作实现音频理解与编辑,在420个MMAE示例上精确匹配率达22.62%,优于基线,提升指令遵循与上下文保留。
链接:https://arxiv.org/abs/2611.14724
机构:Worcester Polytechnic Institute(伍斯特理工学院); The University of Texas at Dallas(德克萨斯大学达拉斯分校)
作者:Zhongyi Tong, Yapeng Tian
7. DeALR: Decoupled Audio-Latent Optimization with Acoustic Backtracking for Test-Time Reasoning
DeALR:用于测试时推理的带声学回溯的解耦音频-隐变量优化
AI 总结:提出DeALR框架,通过跨度级声学回溯与解耦音频-隐变量优化,在测试时实现主动音频-隐变量交互,提升了音频-语言模型的推理准确性与置信度校准效果。
链接:https://arxiv.org/abs/2611.15439
机构:HKUST(GZ)(香港科技大学(广州))
作者:Haoyu He, Yan Rong, Li Liu
8. Right Answers, Inconsistent Evidence: Source-Level Counterfactual Auditing of Large Audio-Language Models
正确答案,不一致证据:大型音频语言模型的源级反事实审计
AI 总结:针对大型音频语言模型(LALM),提出TRACE方法进行源级反事实审计,发现6.3%的正确答案存在目标不存在视图得分高于目标存在视图的冲突,且该冲突随目标信噪比降低而增加。
链接:https://arxiv.org/abs/2611.15463
机构:School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院); University of Windsor(温莎大学)
作者:Yi Zhang, Yi Li, Hongwei Du
5. 其他/综合语音音频 | 6 篇
9. Multi-Step Underwater Acoustic Channel Prediction via Dual-Domain Structure Preservation and Pretrained Transformer
基于双域结构保留与预训练Transformer的多步水下声信道预测
AI 总结:本文提出LLM4UACP框架,通过双域特征提取与蝴蝶正交微调适配预训练Transformer,实现低参量多步水下声信道预测,较基线误差大幅降低且泛用性强。
链接:https://arxiv.org/abs/2611.14592
机构:Xiamen University(厦门大学); Jimei University(集美大学)
作者:Mingjie Cao, Gewei Zhang, Deqing Wang, Lizhao You, Fei-Yun Wu, Liqun Fu
10. Evaluating AI Musical Creativity: Towards a Quantitative Multi-Dimensional Framework Based on Value, Novelty, and Surprise
评估AI音乐创造力:构建基于价值、新颖性与意外性的定量多维框架
AI 总结:本文针对AI音乐创造力评估研究的不足,基于Margaret Boden的理论提出定量多维评估框架,通过互补指标捕捉价值、新颖性与意外性维度,为模型开发和创造力优化提供支撑。
链接:https://arxiv.org/abs/2611.14634
机构:University College London(伦敦大学学院); University of Bologna(博洛尼亚大学)
作者:Hindy Rossignol, Giorgio Franceschelli, Mirco Musolesi
11. CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction
CFGComposer:通过Copula分数校正实现组合式音频-文本到动作的生成
AI 总结:本文针对音频-文本到动作生成的挑战,提出CFGComposer模型,通过联合训练的扩散模型结合Copula分数校正,在BEAT数据集上取得最优语义保真度等结果,且可直接实现仿真到现实的迁移。
链接:https://arxiv.org/abs/2611.15101
机构:Tsinghua University(清华大学); Galbot; Peking University(北京大学); Shanghai Qi Zhi Institute(上海智臻智能网络科技股份有限公司); State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
作者:Pengyang Shi, Jinlu Zhang, Chunze Lin, Yizhou Wang, Li Yi
12. Computational Raga Recognition: A Theory-Driven Approach
计算拉格识别:一种理论驱动的方法
AI 总结:针对印度古典音乐拉格识别难题,开发基于22个舒鲁蒂系统44位置音符框架的计算方法,以音频提取音高分析拉格特征,经Yaman等测试可捕捉部分特征但存在局限。
链接:https://arxiv.org/abs/2611.15242
机构:Azim Premji University(阿齐姆·普雷姆吉大学)
作者:Janay Sukheja, Shailaja D. Sharma
13. On-Edge Acoustic Continual Anomaly Detection: A Cross-Platform Comparative Study
边缘端声学持续异常检测:跨平台对比研究
AI 总结:本文对比评估ESP32-S3与Arduino Nicla Vision两款嵌入式平台的边缘端持续声学异常检测性能,采用轻量级ShallowNet编码器等技术,证实该架构可跨硬件可靠迁移。
链接:https://arxiv.org/abs/2611.15465
机构:Egypt-Japan Univ. of Science & Technology(埃及-日本科技大学); Alexandria University(亚历山大大学); Politecnico di Milano(米兰理工大学); Mohamed bin Zayed Univ. of AI (MBZUAI)(穆罕默德·本·扎耶德人工智能大学); UAE University(阿联酋大学)
作者:Rami Zewail, Yehia Ehab, Karim Ali, Ahmed Mahrous, Mohamed Awad, Bassem Mokhtar
14. Convolutional VocalTrax: Replacing Backpropagation Through Time with Convolution in Differentiable Articulatory Synthesis
卷积VocalTrax:用卷积替代可发音合成中的时间反向传播
AI 总结:本研究提出Convolutional VocalTrax,用卷积替代可微分发音合成的时间反向传播,在A100 GPU上速度提升47至63倍,其语音重构结果的分类识别率优于原VocalTrax。
链接:https://arxiv.org/abs/2611.17181
机构:Smule Labs(Smule实验室); University of British Columbia(不列颠哥伦比亚大学)
作者:Yongyi Zang, Debasish Ray Mohapatra, Randal Leistikow, Perry R. Cook
