理解真实世界中的对话,既需要准确识别语音内容,也需要忠实描述说话人之间的信息交换。多说话人语音识别(Multi-Speaker Automatic Speech Recognition, MSASR)旨在识别语音内容,并将每个语音片段准确关联到对应的说话人和时间区间,从而回答“谁在何时说了什么”(Who spoke what and when)。这一任务是经典“鸡尾酒会问题”的重要组成部分,也体现了当前音频大模型日益关注的音频时序定位(Temporal Audio Grounding, TAG)所强调的内容与声学证据及时间位置准确关联的要求。

近年来,随着语音大模型的发展,端到端 MSASR 系统取得了显著进展。然而,当前系统是否已经能够在复杂的多人交谈场景中,可靠地识别语音,并将内容准确对应到正确的说话人和时间区间?

现有基准通常只覆盖有限的多人条件和应用场景,难以系统揭示模型在不同条件下的局限。为此,我们提出 MS-Bench:一个面向多说话人语音识别的条件分层评测基准。MS-Bench 整合公开与内部多人语音数据,从说话人数、重叠比例、说话人相似度、说话人切换间隔和声学质量五个维度构建条件空间,系统分析不同 MSASR 模型在具体条件下的表现与失效模式。

论文题目:MS-Bench: A Condition-Stratified Multi-Speaker ASR Benchmark

作者列表:和春江,资政,穆秉甡,李钰润,王成有,王婧伊,付中华,王帅,薛浏蒙,吴本谷,卜辉,徐昕,朱舟,丰强泽,王大亮,罗磊,张晴晴,谢磊

合作单位:南京大学,语图智能,希尔贝壳,QualiaLabs, 数据堂,晴数智慧

论文预印版:https://arxiv.org/abs/2610.25824

Demo page:https://aslp-lab.github.io/MS-Bench

Github仓库:https://github.com/ASLP-lab/MS-Bench

HuggingFace仓库:https://huggingface.co/datasets/ASLP-lab/MS-Bench


背景动机:现有基准难以揭示条件特定局限

在多个说话人同时存在的环境中识别语音,是经典“鸡尾酒会问题”的核心挑战之一。对于多人对话,系统不仅需要识别语音内容(What),还必须确定对应的说话人(Who)和时间区间(When)。

传统级联 MSASR 系统通常分别建模说话人日志、语音分段和语音识别,容易产生模块间的误差传播。近年来,Qwen3.8-Omni-Flash、DiaScriber、VibeVoice-ASR、SoulX-Transcriber 和 MOSS-Transcribe-Diarize 等通用多模态大模型和端到端语音识别系统,在常用多说话人语音识别基准上取得了具有竞争力的性能。

然而,现有基准仍存在两方面的局限:

一是多人条件覆盖不足。现有基准通常缺少对不同说话人数、重叠比例、说话人相似度、切换间隔和声学质量的系统性覆盖,因此难以评估多说话人语音识别在这些因素不同水平下的性能。

二是应用场景相对集中。现有基准主要针对特定应用场景采集,例如,AISHELL-4、AliMeeting 和 AMI 主要面向会议语音,而 MagicData-RAMC 和 MLC-SLM 主要面向对话语音。

这些局限难以充分揭示当前多说话人语音识别系统弱点,并指导进一步的系统改进。

MS-Bench 的核心目标,是在不同多人条件下系统评估模型识别内容、归属说话人和预测时间区间的能力。

MS-Bench 如何构建?

MS-Bench 的构建包含四个阶段:

1.  数据汇集与特征刻画(Sourcing and Characterization)

整合 AISHELL-4、AliMeeting、AISHELL-5 等公开基准,以及内部多人语音数据,并提取五个核心条件特征(说话人数、重叠比例、说话人相似度、切换间隔、声学质量)及场景、语言、录音设备等元数据。

2.  条件空间构建(Condition Space Construction)

将五个核心维度划分为具有可解释性的条件区间,构建统一的五维条件空间,为不同困难程度的评测提供基础。

3.  候选池构建(Candidate Pool Construction)

根据录音的条件画像而非数据集身份构建候选池,避免高密度条件区域和单一数据来源的过度代表。

4.  基准子集选择(Benchmark Subset Selection)

联合优化条件覆盖、多种困难因素共现、条件画像多样性和来源多样性。候选录音的选择效用定义为:

在子集规模、条件覆盖和来源分布等约束下选择最终评测子集。

图1 MS-Bench 构建流程:从多源数据刻画到五维条件空间,再到候选池和最终基准子集选择。

五个条件维度

MS-Bench 从五个维度描述每段录音:

说话人数(P):参考说话人的数量,覆盖 2 人到 14 人。

重叠比例(O):录音中多人同时发声的时间占比,划分为从无重叠到高重叠的五档。

说话人相似度(S):使用说话人表征的最大成对余弦相似度,刻画最容易混淆的一对说话人。

说话人切换间隔(T):用非重叠相邻说话人轮次间隔的第 25 百分位数表征切换速度;等级越高,切换越紧凑。

声学质量(N):综合 DNSMOS P.835 与 NISQA 的百分位排名构造声学退化分数;数值越大,声学条件越差。

这些条件区间共同构成统一的五维条件空间,用于在不同交互与声学条件下开展分层分析。

基准概览

MS-Bench 总时长为 32.72 小时,单段录音时长为 1.38–159.07 分钟,中位数为 16.50 分钟。覆盖5个维度,说话人数覆盖 2–14 人,时长加权平均重叠比例为 21.87%,测评7个系统。

场景覆盖会议;自然对话,包括聚餐交流、车内交流及其他日常对话;媒体内容,包括播客、影视和直播;课堂互动,包括教学及师生对话。采集设备包括手机、智能眼镜和车内麦克风等多种麦克风阵列。语言以中文、英文为主,同时包含葡萄牙语、日语、意大利语、泰语和西班牙语。每条录音都沿说话人数、重叠率、说话人相似度、话轮间隔和声学质量五个维度分层。

评测系统与指标

论文评测了七个具有代表性的系统,覆盖端到端多说话人语音识别模型、商业模型、多模态大模型和级联系统:

  • MOSS-Transcribe-Diarize-Pro
  • MOSS-Transcribe-Diarize
  • Qwen3.8-Omni-Flash
  • VibeVoice-ASR
  • pyannote + Qwen3-ASR
  • Doubao-ASR 2.0
  • SoulX-Transcriber

评测采用四项常用指标:DER 衡量说话人时间轴,WER 衡量忽略说话人标签后的内容识别,cpWER 衡量带说话人归属的转写,tcpWER 进一步加入时间约束。所有错误率均为越低越好。

为了开展诊断分析,论文将标准 WER 的替换、插入和删除错误划分为两个互斥来源:词汇识别错误 E_lex 与分段相关错误 E_seg,二者之和等于 WER;同时使用 E_attr 衡量被归属于错误说话人的参考话语比例。

整体结果:准确率与鲁棒性并不总是同步

在可评分输出上,MOSS-Transcribe-Diarize-Pro 的 DER、cpWER、tcpWER 和 WER 均最低,MOSS-Transcribe-Diarize 次之。MOSS-Transcribe-Diarize 和级联系统均没有被剔除的推理单元;MOSS-Transcribe-Diarize-Pro 有 15 个单元被剔除,其中 3 个被 API 拒绝,12 个包含无效时间戳。因此,MOSS-Transcribe-Diarize-Pro 在有效输出上的错误率更低,而 MOSS-Transcribe-Diarize 具有更好的输出鲁棒性和覆盖度。

表1 MS-Bench 上的整体性能与输出鲁棒性。DER、cpWER、tcpWER 和 WER 均以百分比(%)表示。“剔除单元”(Excluded)表示因输出无效或无法解析而未纳入指标计算的推理单元;“软退化单元”(Soft Deg. Units)表示输出质量出现退化但仍可解析的推理单元。

Qwen3.8-Omni-Flash的 cpWER 和 WER 分别为 29.43% 和 27.86%。级联系统 pyannote + Qwen3-ASR 的 DER 与其接近(17.35% 对 17.97%),但 cpWER 更高(43.25% 对 29.43%)。这一结果表明,系统在说话人时间轴上的表现与带说话人归属的转写表现并不总是一致。

图2 七个系统的 WER 错误构成。 前三个部分分别为替换错误(S)、词汇识别导致的插入错误(I_lex)和删除错误(D_lex),共同构成词汇识别错误 E_lex;后两个部分分别为语音分段导致的插入错误(I_seg)和删除错误(D_seg),共同构成分段相关错误 E_seg。两类错误之和为 WER,标注于各条形图右侧。系统按 WER 从低到高排序,小于 2 个百分点的错误分量不显示数值标签。

条件分层分析:系统究竟在什么情况下失效?

我们进一步沿这五个维度对 7 个系统做分层诊断:重叠、音色相似、话轮切换、声学劣化,各自露出了不同的短板。

表2 七个评测系统在不同条件下的分层诊断结果。根据具体的条件分析方法,表中数值分别表示配对错误率差异或 Spearman 相关系数。上标 * 表示结果具有统计显著性。

重叠语音同时伤害内容识别与说话人归属

论文在同一推理单元内比较无重叠话语与高度重叠话语,从而尽量保持录音来源、声学环境和系统输入上下文一致。对全部七个系统而言,当一句话至少有 50% 的时长被其他说话人的语音覆盖时:

  • 词汇识别错误显著增加 27.2–38.6 个百分点;
  • 说话人归属错误显著增加 4.2–19.1 个百分点。

进一步分析发现,系统成功定位参考重叠区域边界的比例仅为 39.9%–85.3%。虽然 71%–93% 的重叠语音至少被一个预测说话人覆盖,但只有 31%–63% 被正确说话人覆盖。

这些结果表明,重叠相关错误并不只是由完全漏检语音造成。系统通常能够在重叠区域检测到语音活动,但可能无法准确表示重叠边界,并将相当一部分检测到的语音归属于错误说话人。

即使没有重叠,相似音色仍会造成归属混淆

论文将分析限制在完全无重叠的话语上,以排除同时发声的直接影响。七个系统中,说话人声学相似度与成对混淆均呈显著正相关,Spearman 相关系数为 0.248–0.323。

这说明,即使不存在语音重叠,说话人的声学相似性仍是说话人归属错误的稳定来源:两名说话人越相似,一名说话人的内容越容易被归属于另一名说话人。

快速说话人切换主要扰乱“谁在说”

论文比较说话人切换边界附近与远离切换边界的话语。在切换点前后 0.5 秒范围内,七个系统的说话人归属错误均显著增加,幅度为 1.51–4.17 个百分点;词汇识别和分段相关错误则没有呈现同样稳定的显著变化。

这一结果表明,说话人切换主要影响“谁在说”,而不是“说了什么”。

声学退化主要伤害“说了什么”,并伴随时间收缩

在排除重叠语音和切换边界的影响后,声学退化分数与七个系统的词汇错误均显著正相关,Spearman 相关系数为 0.181–0.569;它与说话人归属错误的相关性整体较弱,仅一个系统达到显著。

此外,七个系统中有六个表现出显著的负时间相关:声学条件越差,系统预测的总语音时长相对参考时间轴越短。论文将这一现象解释为系统性的时间收缩,而不是简单的整体时间偏移。

说话人数与归属难度相关,但不能简单解释为因果

说话人数往往与数据集和场景构成耦合。例如,MS-Bench 中九人及以上的录音来自单一数据源,因此不能直接把汇总趋势解释为“人数越多必然越难”。

在排除这一档,并控制数据集与重叠比例后,六个可比较系统的说话人数与归属错误仍呈正相关,其中四个达到显著。这些结果表明,在多数据集共同覆盖的范围内,更高的说话人数与更大的说话人归属难度相关,但不能据此作出更强的因果解释。

不止一张排行榜:可交互的 Demo Page

为了更直观地展示基准构成和系统表现,我们同步发布了可交互的 MS-Bench

Demo Page:https://aslp-lab.github.io/MS-Bench

  • Condition distributions:查看五个条件维度的分布,并点击任一范围筛选对应录音;
  • Condition explorer:组合场景、语言与条件范围,探索不同条件画像下的数据;
  • Overall performance:切换错误率与输出鲁棒性视图,比较七个系统;
  • Condition-wise analysis:按五个维度查看论文中的诊断结果与统计结论;
  • Audio examples:播放 12 个代表性样例,对照参考转写,并在同一段音频上比较任意两个模型的说话人标签、文本和时间戳输出。

通过交互式页面,读者不仅可以查看系统的整体指标,还能够结合真实音频,直观比较不同模型在复杂多人条件下的识别结果。

总结

MS-Bench 将多人语音识别评测从单一总分推进到五维条件分层分析。它覆盖多种场景、语言和录音设备,并在统一框架下比较端到端模型、商业模型、多模态大模型与级联系统。

实验表明,重叠语音会同时损害词汇识别和说话人归属;说话人相似度与快速切换会增加说话人归属混淆;声学退化主要增加词汇错误,并与更短的预测语音时间轴相关。

这些结果说明,在具有挑战性的“鸡尾酒会式”条件下,可靠的多说话人语音识别,仍然是开放问题。论文将重叠鲁棒的内容识别、准确的说话人归属和忠实的时间建模列为值得进一步改进的方向。MS-Bench 旨在揭示当前 MSASR 系统在特定条件下的局限,并为后续系统改进提供参考。

参考文献

[1] E. Colin Cherry, “Some experiments on the recognition of speech, with one and with two ears,” The Journal of the Acoustical Society of America, vol. 25, no. 5, pp. 975–979, 09 1953.

[2] Xuenan Xu, Heinrich Dinkel, Mengyue Wu, and Kai Yu, “Text-to-audio grounding: Building correspondence between captions and sound events,” in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Toronto, ON, Canada, June 6–11, 2021, pp. 606–610, IEEE.

[3] Hualei Wang, Yiming Li, Shuo Ma, Hong Liu, and Xiangdong Wang, “Listening between the frames: Bridging temporal gaps in large audio-language models,” in Fortieth AAAI Conference on Artificial Intelligence, Thirty-Eighth Conference on Innovative Applications of Artificial Intelligence, Sixteenth Symposium on Educational Advances in Artificial Intelligence (AAAI 2026), Singapore, January 20–27, 2026, Sven Koenig, Chad Jenkins, and Matthew E. Taylor, Eds., pp. 26233–26241, AAAI Press, 2026.

[4] Yuhang Dai, Xin Shu, Zengxi Li, Lei Xie, Xiangang Li, and Jianwei Yu, “Tag-bench: Benchmarking temporal audio grounding in large audio language models,” 2026.

[5] Naoyuki Kanda, Yashesh Gaur, Xiaofei Wang, Zhong Meng, and Takuya Yoshioka, “Serialized Output Training for End-to-End Overlapped Speech Recognition,” in Proc. Interspeech, 2020, pp. 2797–2801.

[6] Naoyuki Kanda, Guoli Ye, Yashesh Gaur, Xiaofei Wang, Zhong Meng, Zhuo Chen, and Takuya Yoshioka, “End-to-End Speaker-Attributed ASR with Transformer,” in Proc. Interspeech, 2021, pp. 4413–4417.

[7] Zhennan Lin, Shuai Wang, Zhaokai Sun, Pengyuan Xie, Chuan Xie, Jie Liu, Qiang Zhang, and Lei Xie, “Speaker-reasoner: Scaling interaction turns and reasoning patterns for timestamped speaker-attributed ASR,” 2026.

[8] Bingshen Mu, Pengcheng Guo, Zhaokai Sun, Shuai Wang, Hexin Liu, Mingchen Shao, Lei Xie, Eng Siong Chng, Longshuai Xiao, Qiangze Feng, et al., “Summary on The Multilingual Conversational Speech Language Model Challenge: Datasets, Tasks, Baselines, and Methods,” in Proc. ICASSP, 2026, pp. 19442–19446.