声浪

语音小管家

转载9 months ago

近年来，基于大语言模型（LLM）的零样本文本转语音（Zero-shot TTS）系统发展迅速，已经能够在仅提供几秒参考音频的情况下，合成自然、清晰、且具有说话人风格的语音。然而，即便是最先进的系统，在真实使用场景中仍然频繁出现一些“局部灾难…

语音小管家

转载9 months ago

写在前面 回复整个2025年的TTS发展，可以看到一个非常明显的趋势就是：大模型正在重新构建语音合成的范式。遥想2023年年初，我还在思考如何基于fastspeech的框架来打磨各个module的细节来提升表现力，训练数据最多也就在数百小时…

语音小管家

转载9 months ago

近日，来自香港大学和字节跳动的研究团队提出了一种简单有效的框架 ——JoVA，它支持视频和音频的 Token 在一个 Transformer 的注意力模块中直接进行跨模态交互。为了解决人物说话时的 “口型 - 语音同步” 问题，JoVA 引…

语音小管家

转载9 months ago

来源 | 量子位 现有的AI视频生成模型虽然在短片上效果惊人，但面对一首完整的歌曲时往往束手无策——画面不连贯、人物换脸、甚至完全不理会歌词含义。 近日，来自M-A-P、北京邮电大学、南京大学NJU-LINK实验室等机构的研究者们提出了Au…