开源音视频同步SOTA基座:极简的单流架构,2秒出片
开源多模态生成领域,迎来架构级的底层突破。 视频生成已成为当前生成式 AI 最前沿的方向,但在音视频联合同步生成领域,开源界仍面临三重局限: 音视频不同步:视频和音频往往语义对齐精度不足。 架构设计复杂:现有方案要么将音频视为从属信号,要么…
67 0 0

开源多模态生成领域,迎来架构级的底层突破。 视频生成已成为当前生成式 AI 最前沿的方向,但在音视频联合同步生成领域,开源界仍面临三重局限: 音视频不同步:视频和音频往往语义对齐精度不足。 架构设计复杂:现有方案要么将音频视为从属信号,要么…
在自然人机交互中,实现如同人类般“边听边说”的全双工语音对话(Full-duplex Spoken Dialogue)一直是语音交互系统的终极目标。与传统的半双工系统不同,全双工系统要求模型能够在用户发言过程中,实时判断是否需要继续倾听、生…
AudioCC交我学 作为学术研究者与实践者的连接点,我们致力于打造一个专注于语音技术的学术交流平台——「AudioCC交我学」专栏。在这里,我们将以简洁、专业的视角,解读听觉认知与计算声学领域的前沿论文,分享技术创新与应用实践的最新动态。…
基于语音编码器、适配器和大语言模型(LLM)构建的语音大语言模型(SLLM),在英语和中文等高资源语言中展现了卓越的多任务理解性能。然而,在泰语等低资源语言中,其有效性显著降低。这种局限性主要源于三个因素: 现有的常用语音编码器(如 Whi…
近日,Soul App AI团队(Soul AI Lab)发布开源模型SoulX-LiveAct。作为新的实时数字人生成方案,SoulX-LiveAct通过 Neighbor Forcing(同扩散步对齐的自回归条件传播)与 ConvKV…