近日，人工智能领域的顶级国际会议——AAAI 2026（The 40th Annual AAAI Conference on Artificial Intelligence）正式公布了论文录用结果。IMU语音理解与生成实验室最新表现力视频配音工作录用。

人工智能国际会议（Association for the Advancement of Artificial Intelligence，简称AAAI）是人工智能领域历史悠久、学术影响力广泛的顶级国际会议之一，也是中国计算机学会（CCF）推荐的A类会议，聚焦智能体、知识表示、机器学习、自然语言处理、计算机视觉等方向的前沿研究，致力于推动人工智能基础研究与应用创新的跨学科突破与发展。

论文贡献

📍该工作“颠覆”现有深度学习配音工作范式，首次提出 Director-Actor Interaction Learning 方案，模拟真实场景配音工作流，回归Dubbing任务本质

📍检索规整策略模拟Director整理配音素材，图增广策略模拟Actor学习素材知识，实现Authentic电影配音效果


论文题目

Towards Authentic Movie Dubbing with Retrieve-Augmented Director-Actor Interaction Learning

作者：刘瑞，赵源，贾真琦单位：内蒙古大学计算机学院（软件学院）、人工智能学院


工作简介

自动电影配音模型能根据给定剧本生成生动语音，通过简短的音色提示还原说话人的音色，同时确保与无声视频的口型同步。现有方法模拟了演员直接配音且无需准备的简化流程，忽略了关键的导演 - 演员互动环节。相比之下，真实配音流程涉及动态协作：导演会积极与演员沟通，引导他们在配音前内化语境线索，尤其是情感层面的线索。为解决这一问题，我们提出一种全新的检索增强型导演 - 演员互动学习方案，以实现真实感电影配音，该方案被命名为Authentic-Dubber，包含三大创新机制：构建多模态参考素材库，模拟导演提供的学习素材。通过整合大型语言模型（LLMs），实现对跨模态信号情感表征的深度理解。提出基于情感相似度的检索增强策略，模拟演员在配音过程中高效、全面内化导演提供素材的过程。该策略会检索与目标无声视频最相关的多模态信息。开发基于渐进式图结构的语音生成方法，逐步融入检索到的多模态情感知识，从而模拟演员的最终配音过程。上述机制使 Authentic-Dubber 能够忠实复刻真实配音流程，在情感表现力上实现全面提升。在 V2C-Animation 基准数据集上的主观和客观评估均验证了该方案的有效性。

论文地址：https://arxiv.org/abs/TBD

代码和Demo地址：https://github.com/AI-S2-Lab/Authentic-Dubber