一部电影拍完,后期要给画面里的人配上台词,还要补上脚步、碰撞、环境这些音效。现有的视频生音频(V2A)模型只管音效,视频配音模型大多只做单人对白。CineDub 把这两件事放进一个模型:输入整段实拍视频,同时生成多人对话语音和与之协调的音效,还能用段级文本提示单独控制每一段台词的情绪和音色。
这件事过去卡在前端,根子是不可扩展。以往的多人配音走分层路线:先截人脸、截嘴唇,做主动说话人检测和说话人日志(diarization),再用 ASR 打标,把每句台词和画面里的人一一绑定。不光推理时流程长,训练数据也得走这一整套流程才做得出来,标签难拿,错误层层累积,侧脸、背对、遮挡的视频大量用不上。数据规模上不去,模型自然也泛化不到多人对话和复杂的真实场景。

(a) 以往的对话配音依赖说话人日志、人脸与嘴唇检测、转写等复杂预处理;(b) 另用 V2A 模型补音效,会带来鬼语音、语音泄漏和声学不协调;(c) CineDub 只需要整段视频和语义绑定转写,端到端生成多人对白和协调的音效
由莫纳什大学、阿里巴巴、清华大学等联合提出的 CineDub,做法相当直接:不截人脸,不做说话人检测,也不做显式的台词与人脸对应,整段视频的特征直接输入,再配一种可以由多模态大模型直接写出来的“语义绑定转写”文本,台词该归谁,交给模型在训练中自己学会。训练数据因此不用再走那套预处理,大量在野视频都能直接用上,规模上去了,鲁棒性也跟着上来。该工作已被 ACM MM 2026 录用,代码、模型权重与评测基准均已公开。
在多人对话基准 CineDub-Multi 上,同时考核“说没说对”和“有没有安对人”的 cpWER 从最强基线的 43.47% 降到 13.93%,相对错误率降低 68.0%。在语音加音效的联合生成基准上,CineDub 与“配音模型 + V2A 模型”叠加的级联方案相比,在几乎所有语音和音效指标上领先。
- 论文标题:CineDub: Scaling End-to-End Video Dubbing to Multi-Speaker Dialogues with Coherent Sound Effects
- 论文地址:https://arxiv.org/abs/2608.15734
- 项目主页:https://cinedub2026.github.io
- 代码仓库:https://github.com/dalision/cinedub_infer
- 模型权重:https://huggingface.co/Dalision/cinedub
- 评测基准:https://huggingface.co/datasets/Dalision/cinedub_benchmark
电影后期要对白也要音效现有模型各管一半
电影最后交付的是一条混好的音轨:既有角色之间的对白,也有动作声和环境声。研究上,这两部分却一直分在两条线上:视频生音频只管音效,不会按剧本说台词;视频配音只管台词,大多只做单人,很少覆盖多人交替说话、镜头来回切换,也不负责音效。
真实的配音流程是:拿到一段实拍好的多人对话镜头,给每个人配上台词,同时补齐这场戏的环境声。CineDub 面向的正是这个场景:直接输入未裁剪的整段视频,可以只出对白、只出音效,也可以一起出;每段台词都能用自然语言指定情绪和音色,比如把同一句台词从“带点防御感的询问”改成“颤抖、惊恐的低语”;给一段参考语音,还能沿用其中的音色。
多人配音卡在前端CineDub 干脆拿掉前端
把配音推向大规模真实影视片段,现有路线有两道坎。
难点一:分层预处理太长,数据规模上不去。主流的分层方法需要从画面里截出人脸和嘴唇作为细粒度条件。多人场景下还得再加主动说话人检测和 diarization,弄清每一刻是谁在说话,再把转写好的台词和对应的人、对应的时间段绑在一起。真实镜头里侧脸、背对、遮挡、快速切镜很常见,任何一个环节漏检或认错,错误都会一路传到最后。更麻烦的是,训练数据也要走同一套流程才能做出来,大量在野视频因此用不上,模型的鲁棒性也就难以提高。
难点二:直接用整帧画面,台词和人对不上。为了绕开截脸,一些方法改为从整帧视频提取视觉特征。问题是画面里所有人的信息被揉进了同一个表示,输入的台词又只是一串平铺文本,模型不知道哪句该由谁来说、什么时候该换人。论文把这个问题称为说话人与台词的歧义(speaker-utterance ambiguity),镜头切换和画外音会让它更严重。
不截人脸,不做 diarization台词照样送到对的人嘴边
CineDub 的核心设计叫隐式耦合整体条件(Implicitly-Coupled Holistic Conditioning,ICHC):视觉和文本各用一个整体编码器单独编码,保持流程简单、容易扩展;两者之间的对应关系交给模型在多条件训练中隐式学习,不需要人工绑定。整个模型基于扩散 Transformer(DiT)。

CineDub 整体框架:左侧 Synchformer 提取整体视觉条件,中间 CLIP 与 FLAN-T5 提取音效提示,右侧语义绑定转写经 Gemma-T5 编码;台词与音效提示走解耦的交叉注意力分支,空缺分支由可学习的 meta token 占位
1丨整体视觉条件:Synchformer 自己会找正在说话的人
Synchformer 是视频生音频里常用的音画同步编码器,原本用来提取和声音事件对齐的视觉特征,训练目标只是通用的音画同步,没有专门针对人脸或嘴唇。CineDub 团队把它视觉编码器的自注意力可视化出来,想看它能否顺带提供配音所需的口型线索,结果看到了两个现象。
单人说话时,注意力集中在说话人的脸上,尤其是嘴唇附近。模型自己学会了“说话这件事,看嘴最有用”。多人同框对话时,注意力会随着换人而切换:谁开口,注意力就转到谁身上。论文把它称为涌现的注意力切换行为。原因在于 Synchformer 按时间片段处理视频,每个片段里音画对应最强的那张脸会被优先关注。这样一来,不需要主动说话人检测,也不需要把画面切成一块块,模型就能隐式地跟踪当前说话人。

Synchformer 自注意力可视化(品红框为正在说话的人,白框为未说话的人)。上排单人:注意力集中在嘴唇附近;中排两人:注意力随换人切换;下排失败案例:重叠说话时漂到未说话的人脸上,或在镜头切换处变得含糊
于是 CineDub 直接用冻结的 Synchformer 段级视觉特征作为整体视觉条件。同一份特征既带着事件级的音画对应,也带着细粒度的口型线索,配音和音效生成都用它。
不过这种切换并不总是可靠。重叠说话时,注意力可能漂到没开口的人脸上;在换人边界会来回摆动;在镜头切换处会变得含糊。光靠视觉,还不足以把每句台词钉在对的人身上。
2丨语义绑定转写:先描述是谁,再写他说了什么
文本这一侧,问题同样明显。如果把所有人的台词直接拼成一段平铺文本,模型会出现累积漂移:语速或换人的边界只要稍有偏差,一个人就会“吃掉”另一个人的台词,越往后错得越多。频繁接话、画外音、多人重叠都会让情况更糟。
CineDub 为此设计了语义绑定转写(semantic-bundled transcription)。按时间顺序,每一段台词前面先写一句对说话人的自然语言描述,比如外貌、年龄、说话的语气和声音特点,台词本身用 <S> 和 <E> 两个标记包起来,和描述区分开。一段对应一次发言,可以是换了一个人接话,也可以是同一个人在一轮里情绪或语气变了。

语义绑定转写示例:每段台词前先描述说话人(年龄、语气、离麦克风远近),台词用 <S>与 <E> 包住,按说话顺序排列
这里的描述起到导航作用:它告诉 DiT 该去整体视觉特征里找哪一张脸;被标记包住的台词,就跟这个人的时间轨迹绑在一起。平铺文本给不了这种对应关系。
整段转写用一个预训练的 Gemma-T5 编码器统一编码,说话人描述和台词内容不需要分开处理,既保留合成语音所需的文字信息,也保留对应人脸、控制情绪音色的语义线索。传统配音流程里的音素转换、时长预测在这里都不需要,时间对齐由视觉条件和文本条件在训练中隐式学出来。
这种格式也很容易规模化。它可以由 Gemini 2.5 Pro 这类多模态大模型直接生成,不需要 ASR、强制对齐和 diarization,大规模在野多人数据的标注成本因此低了很多。对用户来说,它同时提供了段级控制:改哪一段的描述,就调哪一段的情绪和音色。
音效后期叠加会变脏一起生成又容易丢音效
有了多人对白,下一步是把音效也放进来。最省事的做法是级联:配音模型出语音,V2A 模型出音效,波形直接相加。这条路有两个问题。
一是鬼语音(ghost speech)。V2A 模型学的是各种声音,其中也包括“听起来像人在说话”的声音。只要画面里有人脸,它就容易生成一些像人声、却不构成任何语言的杂音。这些杂音和配好的真实台词叠在一起,整条音轨就脏了,语音可懂度和自然度都会下降。想用语音分离把它们去掉,又会带来语音泄漏。二是声学不协调:两路各自生成,能量、混响都对不齐。
所以 CineDub 选择让一个模型同时生成语音和音效。Synchformer 特征本身就同时带着事件级对应和口型线索,正好可以作为两个任务共用的时间基础。音效这一侧另外接一路可选的全局语义条件,可以来自 CLIP 视觉特征,也可以是一句经 FLAN-T5 编码的音效描述,比如“鸟叫声伴着远处的车流”。
但联合生成并不顺利,论文总结了两个障碍。
障碍一:子任务互相拖累。从零开始将纯音效、纯语音和混合生成三个任务混在一起训练时,音效和语音两个子任务都会掉点,音效尤为明显。
障碍二:两路文本提示互相干扰。台词转写和音效提示同时输入同一个交叉注意力时,模型往往只顾着台词,语音生成忠实,音效提示却被忽略。
3丨由环境声到语言的课程学习
子任务掉点源于语音和音效在目标端与条件端的不对称:语音映射紧且只需盯住说话人脸,音效生成空间宽且要看整个画面,两者收敛速度不同,在共享参数上争夺梯度导致过早停滞和遗忘。
CineDub 采用 Ambient-to-Linguistic Curriculum Learning(ALC),按从宽到窄的顺序训练:先只训音效生成,建立看懂整个画面、覆盖自然声音的生成先验;再将三个任务一起训,把注意力从全局画面收窄到嘴唇附近,转化为对已有能力的特化,避免打乱视觉注意力或遗忘语音。

课程学习策略消融:相同架构、数据和总训练步数下,先音效后语音(A→L)在 GRID 语音和 VGGSound 音效上几乎所有指标最好
消融实验表明,相比直接联合训练,先音效后语音的课程学习将 WER 从 13.48% 降到 10.36%,同时改善了笑声、叹气等副语言表现力,并使合成语音与环境声在能量和混响上更一致。
4丨解耦文本分支
两路提示互相干扰是因为它们拼进同一个交叉注意力后发生了注意力稀释,大部分注意力被分给了台词。
CineDub 将交叉注意力拆成台词转写和音效提示两个带独立投影参数的并行分支,结果相加,使语言和声学条件学出互不干扰的专属注意力模式;同时为两路各配备端到端训练的可学习 meta token,在单任务推理空缺时占位以防止串味,使单任务表现与专用模型相当。
说话人认对了音效也没丢
为了在接近真实的条件下评测,CineDub 团队构建了两个新基准:面向多人对话配音的 CineDub-Multi,和面向语音与音效联合生成的 CineDub-SA。

CineDub-Multi 多人对话配音结果:基线普遍 WER 不高而 cpWER 很高,CineDub 的 cpWER 为 13.93%
多人对话上,基线的问题往往不是说不清,而是安错了人:普通的词错误率(WER)不高,同时惩罚说错字和安错人的 cpWER 却很高。CineDub 把 cpWER 降到 13.93%,比最强基线的 43.47% 相对降低 68%。

CineDub-SA 语音与音效联合生成结果,包含级联基线和“共享分支”消融
语音加音效上,先配音再叠音效的级联方案,混音后语音错误率超过 50%;CineDub 联合生成后降到 18.65%,音效质量也同步领先。在单人配音和视频生音频这些常规任务上,CineDub 也没有因为“通用”而吃亏。
总结与展望
CineDub 也有几处需要客观承认的局限。第一,重叠说话还覆盖不到,多人同时开口时没法一起生成。第二,目前只支持英语,多语种配音是下一步。第三,参考音色还不支持多人,没法同时给几个说话人各指定一段参考语音。内部实验中,用 prefix learning 已经能很好地解决这个问题,不过这项能力还没有放进目前公开的版本。
尽管如此,CineDub 把多人对白配音从繁琐的前端流水线里解放了出来:不截脸、不做 diarization,一段整体视频特征加一份语义绑定转写,就能让台词落到对的人身上,大规模在野数据也因此能用于训练。对影视后期来说,这是一条简单、可扩展的路线。
作者介绍
代宇盛,澳大利亚 Monash University 博士生,导师为 Jianfei Cai 教授,研究方向为音视频生成模型与交互式世界模型。相关代表作包括 Omni2Sound、LiveFoley 以及 εar-VAE2。
王康地,混音师、音频工程师,有两年行业经验,εar-VAE 与 εar-VAE2 作者。研究经验涵盖音频表征、音乐生成与 omni agentic 任务,近期关注如何让 agent 参与到专业音频工作流中。
