研究团队:香港科技大学(HKUST) · Noiz AI · 华盛顿大学(UW)

论文题目:Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion


一段十秒的声音:人声从左前方缓缓移到正前方,铃声在右侧响起,钢琴在左侧演奏。用文字生成这样的三维声景之后,创作者很可能还会想继续对音频做更多处理,例如:

“把铃声移到身后,晚两秒响起,人声和钢琴保持原样。”

如果手里有一份多轨工程,音频工程师可以单独调整铃声。生成模型面对的却是混合在一起的声音:既要认出并修改铃声,又不能把人声和钢琴的音色、混响、位置也改掉。假如新铃声的位置对了,但钢琴也换了声音,用户依然得重新编辑。

已有工作分别推进了空间音频的生成与编辑。香港科技大学、Noiz AI 与华盛顿大学团队提出的 AMBIT,把这两件事放进同一个模型。它直接输出四声道的一阶全景声(FOA),覆盖语音、音乐和环境声,并控制每个声源的内容、发声时间与三维轨迹。

图1  生成与编辑示例。铃声从右侧移到身后,发声区间从第 2–6 秒调整为第 4–8 秒,指令要求保留人声和钢琴。

⏩怎样让模型知道改什么和留什么

“晚两秒”“移到身后”需要对应到具体声源、时间和位置。AMBIT 先生成可执行的声景计划,再渲染音频。自回归规划与音频渲染共享 Transfusion 主干,让两项任务共同学习。主干、AR/DiT 接口和预测头合计有 332.6M 可训练参数,不含冻结的文本骨干、VAE 和 CLAP。

图 2  AMBIT 总体架构:共享规划与渲染主干、联合在线自蒸馏,以及 FOA VAE。

先把完整的目标声景写清楚

规划器先写出一份 ScenePlan,记录每个声源的类型、文字描述、发声区间和三维轨迹。如果是语音,还会保留需要说出的台词。它既可描述静止声源,也可用关键帧描述运动,把同一套控制用于不同类型的声音。对于开头的要求,计划里既要更新铃声,也要继续列出人声和钢琴,让渲染器拿到修改后的完整声景。

编译器把计划转成文本语义和逐帧对齐的空间控制信号。编辑时,AMBIT CLAP 提供声音语义与空间场景信息,帮助规划器判断要修改哪个声音。

但写清楚保留谁,还不足以保留声音的细节。“钢琴保持原样”无法完整描述原来那段演奏的音色和混响。因此,模型也把参考音频的完整 VAE 潜在特征交给渲染器,让它执行新计划时,仍能参考原有声音。

压缩声音时也保留方向

FOA 用全向分量 W 和三个方向分量 Y、Z、X 表达声场。重建后的铃声即使仍像铃声,声道间的相对能量与相位关系一旦改变,听到的方向也可能偏移。

AMBIT VAE 将 64 维潜在表示分成 40 维和 24 维两组:完整表示重建四个声道,辅助任务只用前 40 维重建 W 声道,并以较弱的 KL 正则保留更多声音内容。辅助重建复用同一个解码器,不增加参数。而两组表示可以较好地在空间重建和音质上分工,而这也不意味着内容和空间信息已严格分离。

空间协方差匹配(SCM)则在多个时间和频率分辨率下,比较原音频与重建音频的声道关系,约束相对能量、相干性和相位,让压缩后的声音仍保有方向线索。

在模型自己生成的过程上继续训练

监督训练时,渲染器可以拿到标注好的目标计划。但在真实场景下,它收到的是模型自己写出的计划。计划有偏差,渲染器的输入和采样过程也会变化,因此只在标准答案下训练未必够用。

联合在线自蒸馏(OPSD)让学生模型先自己写计划,再按计划渲染。两个冻结教师在这个过程中提供指导:规划教师额外读取目标计划,在学生生成的前缀上指导下一步预测。同时,渲染教师额外读取目标音频特征,在学生实际访问的采样状态上提供预测目标。

两项损失共同更新共享主干,学生每轮都重新生成计划和音频,让训练覆盖实际推理中会遇到的情况。推理时只使用学生,无需目标答案或教师参与。


⏩实验中哪些地方有改善

训练数据包含 160 万条 FOA 生成样本和 100 万对指令编辑样本,覆盖语音、音乐与环境声,并结合合成三维场景与真实录音。

1、压缩后的方向误差降到 4.96 度

AMBIT VAE 的方向误差为 4.96°,W 声道 SI-SDR 为 6.39 dB,在表 1 的四项指标上均优于比较模型。消融中,加入 SCM 后,方向误差从 6.51° 降到 5.14°,说明明确约束声道间关系有助于保留空间信息。

表 1  FOA 重建与累积消融。下半部分逐项加入训练项,使用相同训练步数。

2、生成内容更贴近目标,编辑质量也有提升

音乐与环境声生成中,AMBIT 的 Paired CLAP 分别为 0.46 和 0.41,FAD 分别为 0.71 和 0.75。这两项及两项分类器 KL 指标均为表 2 中相应领域的最佳结果。Paired CLAP 衡量语义相似度,FAD 比较音频特征分布,数值越低越好。

表 2  音乐、环境声和语音生成评测。粗体与下划线分别标记最优和次优结果。


不同指标的排名也有差异:AudioX-Turbo 的两项 FD 指标更低。语音方面,Qwen3-TTS 和 UniAudio2 的 UTMOS 高于 AMBIT。内容一致性有所改善,并不意味着所有听感指标都已领先。

编辑任务的结果更一致。AMBIT 在表 3 的六项指标上均优于所列基线。相比 SwanWeave,Paired CLAP 从 0.68 提高到 0.84,FAD 从 0.57 降到 0.24,对数谱距离 LSD 从 1.65 降到 1.27。

表 3  指令编辑的内容质量与频谱重建结果。

3、位置改得对,也要看其他声音有没有被改动

空间生成实验比较了“规划、生成、外部空间化”的级联方案,也保留同一 DiT 渲染器,只替换规划器,以判断改善是否仅来自渲染器。AMBIT 的场景方向误差为 0.51 rad,基线约为 1.03–1.07 rad。而即使用同一个渲染器,AMBIT 的规划器仍有更低的方向误差。

表 4  空间生成的场景级与声源级评测。AS 表示外部空间化,角度误差单位为弧度。


那么,没让模型修改的声音,保留得怎么样?Qwen3-Omni + DiT 的声源级方向误差优于 SwanWeave,但未编辑声源的绝对音量变化达到 20.94 dB。部分空间指标改善了,需要保留的声音却可能受到更大影响。

表 5  空间编辑评测,包括未编辑声源保留度与声源方向误差。


AMBIT 的声源级球面方向误差为 0.200 rad,未编辑声源的方向误差为 0.17 rad,绝对音量变化为 1.65 dB,后者在 SwanWeave 中为 8.40 dB。这些结果说明,编辑效果和对其他声音的干扰,需要放在一起评价。

4、联合自蒸馏带来了进一步改善

在相同评测设置下,联合 OPSD 优于继续监督微调 SFT、奖励反馈 ReFL、双分支 GRPO,以及单分支蒸馏变体,取得表 6 全部九项指标的最佳结果。

表 6  后训练策略对比。单分支 OPSD 在另一分支保留真实标注监督。


相对基础 AMBIT,Paired CLAP 从 0.839 提高到 0.867,FAD 从 0.242 降到 0.211,CRW 从 11.947 降到 5.854。只对渲染分支使用 OPSD 已有明显收益,联合规划蒸馏后进一步改善,支持两者共同适应模型生成时遇到的状态。


⏩从生成一段声音到修改一段声景

对游戏音效、沉浸式影视和 VR/AR 创作来说,生成通常只是开始。听过之后,创作者还会调整位置、时间或增删声音。AMBIT 尝试让这些修改更有针对性,也让已经满意的部分更容易保留下来。

当前配置支持最长约 15 秒场景。更长的动态声景,以及多轮编辑后的音色与空间一致性,仍待进一步检验。项目主页提供试听示例,可以戴上耳机,听听目标声音的变化,也留意其他声音有没有受到影响。


⏩论文与项目资源

论文与推理代码已公开,预训练权重目前标注为 Coming soon,发布进度以仓库说明为准。