近年来,基于大语言模型的语音生成技术快速发展,离散语音 Token 逐渐成为连接语言建模与声音生成的重要接口。然而,语言模型输出 Token,并不意味着系统已经能够播放自然、连贯的语音:下游声学解码器还需要恢复音色、韵律和细粒度频谱结构。对于实时语音交互,这一过程不仅要保证质量,还必须在每个语音包的播放时间预算内完成计算。

条件流匹配为高质量声学生成提供了有效路径,但多次迭代采样会增加推理开销;单纯将语音切成短块独立生成,又容易损失跨块上下文,影响声音的连续性。如何同时实现少步生成、有限上下文与平滑的流式输出,成为语音 Token 解码中的关键问题。

近期,针对这一问题,西北工业大学音频语音与语言处理研究组(ASLP@NPU)与 Shenzhen Pimei Technology Co., Ltd. 联合提出 X-Pred MeanFlow [1]。该方法将 MeanFlow 的网络输出重新参数化到 Mel 空间,通过解析变换得到采样所需的平均速度;同时,引入层选择分块注意力,使模型在有限历史与可选前瞻条件下逐块生成。论文在 Small 与 Base 两种规模上验证了其少步生成效果,并在 2–3 次网络函数评估(NFE)设置下报告了稳定的实时流式声学解码表现。

论文标题: X-Pred MeanFlow for Streaming Token-to-Mel Speech Decoding

作者列表:解晗轲、任夏明、詹其瑞、胡景斌、李文豪、张皓宇、尤若楠、王成有、陈云翔、刘厚盾、冯溯、谢磊

合作单位:媲美科技

论文链接:https://arxiv.org/abs/2609.12728

Demo page:https://renxiaming.github.io/xpred-meanflow-stream-demo/


背景动机

从 VALL-E 等神经 codec 语言模型 [1],到采用监督语义 Token 的 CosyVoice [2],离散语音表征为语言模型提供了紧凑的建模接口。但 Token 并不等于最终可播放的声音:说话人特征、韵律变化和精细频谱结构,仍需要下游声学解码器恢复。因此,Token-to-Mel 解码既影响听感,也影响每个音频包能否及时生成。

首先,少步采样并不自动意味着高质量。 条件流匹配(Conditional Flow Matching,CFM)[3] 通过学习速度场,将噪声逐步变换为目标声学表示;其推理成本随神经网络函数评估次数(NFE)增加。MeanFlow [4] 将建模对象从瞬时速度改为时间区间内的平均速度,为减少采样次数提供了途径。但在极少步数下,直接预测平均速度的声学解码器仍可能损失细节。对于最终要输出 mel 频谱的模型,网络究竟应直接预测什么,也因此成为值得研究的问题 [5]。

其次,采样足够快,也不等于天然支持流式生成。 全局注意力依赖完整序列或不断增长的历史;反过来,把短块完全独立解码,又容易丢失跨块上下文,造成声音衔接不自然。CosyVoice 2 [6] 和 StreamFlow [7] 已分别探索 chunk-aware 流匹配与分块感受野控制,说明流式声学解码需要显式管理上下文。

这引出了本文的核心问题:能否同时控制采样预算与上下文预算,让声学解码器用更少计算生成高质量语音,并在连续输出时保持稳定的每包开销?


本文方法

X-Pred MeanFlow 聚焦于离散语音 Token 到 mel 频谱的条件映射。上游 Text-to-Token LLM 和下游 HiFi-GAN 声码器保持固定,不参与本文的模型优化。可训练部分采用 Diffusion Transformer(DiT)骨架 [8],结合两项互补设计:X-Pred 参数化负责改善少步生成,层选择性分块注意力负责组织有界上下文。

图1 X-Pred MeanFlow 整体框架

从瞬时速度到平均速度:减少采样迭代

传统流匹配学习的是生成轨迹上某一时刻的瞬时速度,而 MeanFlow 学习的是一个时间区间内的平均速度 [4]。直观地说,前者描述“当前应往哪里走”,后者描述“跨过这段区间需要怎样的平均位移”。这让模型能够使用更大的采样跨度,减少反复调用神经网络的次数。

不过,减少步数只是第一步。当声学解码预算压缩到 2–3 NFE 时,网络输出的参数化方式仍会影响生成质量。本文因此在保留 MeanFlow 框架的前提下,将预测变量转到 mel 空间。

X-Pred:在 mel 空间预测,在速度空间优化

图2 Direct-u MeanFlow 与 X-Pred MeanFlow 的区别

层选择性分块注意力:让上下文有限,让声音连续

为了适配流式输出,模型将语音 Token 与 mel 频谱划分为时间对齐的块,并在不同 DiT 层分配历史块和未来块的访问预算。多数层聚焦当前块的声学细化,部分层负责跨块信息交换,而不是让所有层都读取相同范围的上下文。

其中,当前块注意力限制计算范围;历史块提供已经生成部分的上下文;有限未来块则补充局部前瞻信息,帮助跨块衔接。在此基础上,模型支持两种流式设置:LS-Strict 不读取未来块,优先减少等待;LS-Bounded 引入有界前瞻,用一定启动等待换取更好的声学连续性。

需要注意,单层掩码并不能独自保证整个网络的感受野有界,因为信息可能通过多层继续传播。为此,论文在每包推理时使用固定滑动窗口:

这里,H 和 F 分别控制可用历史块与未来块;窗口外的帧不会送入解码器。这样便从输入范围上限制了上下文、内存与每包计算量,避免它们随已生成语音时长持续增长。

X-Pred 解决少步生成中的预测问题,分块注意力与固定窗口解决流式输出中的依赖问题。 两者共同协调“每包需要算多少”与“生成这一包需要等多久”。

图3 层选择性分块注意力


实 验

训练配置

声学解码器在 Emilia 语料 [9] 上训练。输入使用 S3Tokenizer v2,结合 CosyVoice2 的 6,563 项 BPE 词表,Token 帧率为 25 Hz;目标为 80 维 mel 频谱,按 16 kHz 采样率、160 采样点帧移和 1,024 点 FFT 提取。所有系统使用同一个固定的 HiFi-GAN 声码器。

论文评估两种模型规模:Small 为 16 层、隐藏维度 768、约 159M 参数;Base 为 22 层、隐藏维度 1,024、约 341M 参数。同一规模下,Direct-u 与 X-Pred 使用相同骨架、数据、分块掩码配置、优化器和 200 万次更新预算。论文另说明,X-Pred 使用引导强度为 2.0 的 CFG-aware 训练目标,而所有报告的推理实验均设为 CFG = 0。

质量评估采用未见说话人的 100 条随机句子,报告自动听感评分 UTMOS [10]、词错误率(WER)和说话人相似度(SIM);后两项使用官方 SEED-TTS 评测工具 [11] 计算。流式实验进一步比较边界听感、实时因子(RTF)和启动开销。

少步生成质量:两种规模均获得改善

在 Small 和 Base 两种规模下,X-Pred 在 2 NFE 和 3 NFE 的 UTMOS、SIM、WER 三项指标上均优于对应 Direct-u 模型。例如,Small 模型在 3 NFE 时,UTMOS 从 3.051 提升至 3.310,SIM 从 0.649 提升至 0.670,WER 从 7.79% 降至 6.28%。

参数效率同样值得关注。在 3 NFE 下,159M 的 Small X-Pred 取得 3.310 的 UTMOS,高于 341M 的 Base Direct-u 的 3.076,同时保持接近的 SIM 与 WER。这表明,在本实验设置中,改善输出参数化可以比单纯扩大模型更有效地提升低步数自然度。

与此同时,Small X-Pred 从 3 NFE 增加到 10 NFE 后仍有质量提升。因此,这里的结论是少步生成的质量基础得到改善,而不是少步已经与更多采样步数完全等价。

表1 少步 Token-to-Mel 质量对比

上下文配置对比:不是越少等待越好,也不是越多上下文越好

论文对比 Full、Local、Uniform、LS-Strict 与 LS-Bounded 等上下文配置。Local 对短块独立解码,计算较轻,但 UTMOS 降至 3.084,边界主观比较分数 B-CMOS 为 -0.42;Uniform 在所有层使用统一的有界掩码,恢复了部分质量,但带来更高运行开销。

层选择性有界前瞻在已评估配置中取得了较好的质量—效率平衡。 在 3 NFE 下,LS-Bounded 相比 Uniform 将 UTMOS 从 3.273 提升至 3.310,B-CMOS 从 -0.15 改善至 -0.07,RTF 从 0.618 降至 0.543;首包计算时间从 160.0 ms 降至 141.0 ms,估计启动延迟从 640.0 ms 降至 621.0 ms。

这里,B-CMOS 以 Full 非流式解码为零分参考,负值更接近零表示与参考的边界听感差距缩小,并不表示超越参考。LS-Bounded 也不是所有配置中启动最快的方案:LS-Strict 在 3 NFE 下的估计启动延迟为 358.0 ms,低于 LS-Bounded,但 UTMOS 为 3.238,体现了前瞻与质量之间的权衡。

表2 不同上下文配置下的流式质量与运行开销


局限与展望

少步质量仍有提升空间。 论文的主要实证集中在 2–3 NFE,10-NFE 参考仍展示出进一步改善的空间。虽然方法形式允许 1-NFE 推理,但当前结果不足以说明单次评估已经获得与 2–3 NFE 相同的生成质量。

前瞻与启动等待之间仍有取舍。 有限未来上下文能够改善边界衔接,却需要等待对应输入到达。面向交互响应更敏感的场景,可以优先考虑无未来块前瞻的配置;更看重连续听感的场景,则可在预算允许时使用有界前瞻。

结论仍有明确的评估范围。 当前质量评估基于未见说话人的 100 条随机句子,研究对象是 Token-to-Mel 声学解码器,而不是完整语音对话系统。更广泛的语言与说话风格、不同设备下的运行表现,以及与上游生成和实际播放链路的联合测试,仍需进一步验证。

总体而言,X-Pred MeanFlow 的价值在于把少步声学生成与有界上下文流式解码放到同一设计中考虑:通过 mel 空间输出改善低步数预测,再通过层选择性注意力和固定窗口控制连续生成的开销,为实时语音系统提供更高效的声学解码组件。


参考文献

[1] C. Wang, S. Chen, Y. Wu, et al., “Neural codec language models are zero-shot text to speech synthesizers,” arXiv preprint arXiv:2301.02111, 2023.

[2] Z. Du, Q. Chen, S. Zhang, et al., “CosyVoice: A scalable multilingual zero-shot text-to-speech synthesizer based on supervised semantic tokens,” CoRR, vol. abs/2407.05407, 2024.

[3] Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in ICLR. OpenReview.net, 2023.

[4] Z. Geng, M. Deng, X. Bai, J. Z. Kolter, and K. He, “Mean flows for one-step generative modeling,” arXiv preprint arXiv:2505.13447, 2025.

[5] T. Li and K. He, “Back to basics: Let denoising generative models denoise,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026, pp. 36115–36125.

[6] Z. Du, Y. Wang, Q. Chen, et al., “CosyVoice 2: Scalable streaming speech synthesis with large language models,” arXiv preprint arXiv:2412.10117, 2024.

[7] D. Guo, J. Yao, L. Ma, H. Wang, and L. Xie, “StreamFlow: Streaming flow matching with block-wise guided attention mask for speech token decoding,” in National Conference on Man-Machine Speech Communication. Springer, 2025, pp. 75–86.

[8] W. Peebles and S. Xie, “Scalable diffusion models with transformers,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2023.

[9] H. He, Z. Shang, C. Wang, X. Li, et al., “Emilia: An extensive, multilingual, and diverse speech dataset for large-scale speech generation,” arXiv preprint arXiv:2407.05361, 2024.

[10] T. Saeki, D. Xin, W. Nakata, T. Koriyama, S. Takamichi, and H. Saruwatari, “UTMOS: UTokyo-SaruLab system for VoiceMOS Challenge 2022,” arXiv preprint arXiv:2204.02152, 2022.

[11] P. Anastassiou, J. Chen, J. Chen, et al., “Seed-TTS: A family of high-quality versatile speech generation models,” arXiv preprint arXiv:2406.02430, 2024.