智源研究院发布千万级多模态指令数据集Infinity-MM：驱动开源模型迈向SOTA性能
近年来，视觉语言模型（VLM）取得了显著进展，训练数据的规模扩展以及数据质量的提升是提升模型性能的关键因素。目前主要的获取数据方式为通过人工对数据进行收集和标注以及利用模型对指令进行合成，业内也有许多工作专注于此。然而，现有的开源数据和指令…
24 0 0
声浪
MaskGCT：登上GitHub趋势榜榜首的TTS开源大模型
近日，香港中文大学（深圳）联手趣丸科技推出了新一代大规模声音克隆TTS模型——MaskGCT。该模型在包含10万小时多语言数据的Emilia数据集上进行训练，展现出超自然的语音克隆、风格迁移以及跨语种生成能力，同时保持了较强的稳定性。Mas…
31 0 0
![语音/音频处理学术速递[10.30]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-11-01/1852269458186440704.jpg)
可在嘈杂环境中识别声音，新型液态声学传感器模拟鲸鱼额隆
21dB声学人 近年来，工程师们开发了一系列越来越复杂的传感器，用于机器人、便携式、可穿戴甚至植入式监测。然后，可以使用最先进的机器学习来分析这些传感器收集的数据，使设备能够识别音频中的特定声音、图像中的对象或其他信息。 加州大学洛杉矶分校…
39 0 0
![语音/音频处理学术速递[10.29]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-11-01/1852269116153532416.jpg)
7B新王登基！Zamba 2完胜同级模型，推理效率比Llama 3提升20%，内存用量更少
来源丨新智元 Zamba2-7B是一款小型语言模型，在保持输出质量的同时，通过创新架构实现了比同类模型更快的推理速度和更低的内存占用，在图像描述等任务上表现出色，能在各种边缘设备和消费级GPU上高效运行。 除了不断增加语言模型的尺寸来提升性…
29 0 0
谷歌AI播客刚火，Meta就开源了平替，效果一言难尽
来源丨机器之心 随着谷歌和 Meta 相继推出基于大语言模型的 AI 播客功能，将极大地丰富人类用户与 AI 智能体互动的体验。 上个月，谷歌宣布对旗下 AI 笔记应用 NotebookLM 进行一系列更新，允许用户生成 YouTube 视…
41 0 0
对话语音合成大模型GPT-Talker: Generative Expressive CSS
本次分享由内蒙古大学刘瑞研究员与字节跳动青年科学家任意、香港中文大学(深圳)李海洲教授合作发表于ACMMM2024的对话语音合成大模型工作GPT-Talker《Generative Expressive Conversational Spe…
29 0 0
开放下载丨超自然对话语音合成数据集NCSSD
内蒙古大学S2LAB 刘瑞研究员联合字节跳动、香港中文大学（深圳）等单位推出了涵盖中英双语、超过236小时的超自然对话语音合成数据集——NCSSD，并在GitHub平台开源了搜集子集的数据构建Pipeline，在Hugging Face平台…
34 0 0
![语音/音频处理学术速递[10.28]](https://speechhome.oss-cn-hangzhou.aliyuncs.com/Resources/Thumb/2024-10-29/1851104375972433920.jpg)