语音 AI 的下一关,不只是“听懂一句话”,更是“接住一段对话”。

真实的人类交流中,犹豫、停顿、附和、打断与语音重叠无处不在。对于 Voice Agent 而言,除了理解说话内容,还需要判断何时回应、何时倾听,以及如何自然地参与对话。

而这些能力,离不开真实的全双工对话数据。

过去一年,MagicHub.com 陆续开源了中文、英文、日语全双工自然对话数据,并被多家对话模型与开源语音框架团队用于研究与评测。其中,AI 公司 Boson AI 的联合创始人 Li Mu、Alex Smola 及其研究团队,在 WildASR 基准中选用了 MagicHub 的双工对话数据作为核心语料。

今天,MAGICDATA-DUPLEX 全双工对话数据系列再次扩展,韩语与西班牙语正式开源!

从中文、英文、日语到韩语、西班牙语,团队正持续拓展多语种真实对话数据的覆盖范围,为实时语音交互与 Voice AI 研究提供更丰富的数据支持。


两大新语种正式开源

不同语言有着不同的表达习惯与互动节奏。此次开源的韩语、西班牙语数据集,为多语种全双工语音交互研究带来了更多样化的真实对话样本。

韩语:理解语境,也要理解对话节奏

韩语自然对话中,最难的不是识别词,而是识别“关系与节奏”。敬语表达、句尾语调、即时附和与话轮切换,都影响着交流的节奏与方式:

  • 敬语表达与语体切换:不同敬语形式与说话风格反映交流双方的社会关系、熟悉程度及对话语境;
  • 句尾语调传递态度:同样一句“알겠어요”,不同语调可能传达认同、敷衍或不耐烦等不同态度;
  • 附和反馈与礼貌表达: “음”、“아하”、“네”、“그렇네요”等简短回应,可以结合语境和礼貌表达,传递倾听、理解或认同等不同交互意图;
  • 自然话轮切换与语音重叠:真实对话中的附和、接话、打断与停顿可能交错出现,形成复杂的交互节奏。

对于全双工模型而言,韩语的挑战不仅是理解“说了什么”,还包括判断“何时回应、如何回应”。

本次开源数据保留自然对话中的附和、停顿、打断与语音重叠等现象,可支持韩语话轮控制、Backchannel 识别、打断检测及实时语音交互等研究。

👉数据集下载:https://magichub.com/datasets/mdt-duplex-korean-training-dataset/

西班牙语:在重叠与接话中理解真实交互

西班牙语是全球使用面极广的语言之一,也是英语之后最值得优先覆盖的多语种语音交互场景。

西班牙语自然对话中,即时反馈、快速接话、语调变化与声音重叠等交互现象,为全双工语音研究提供了丰富的样本。它的对话风格非常鲜明:

  • overlap-tolerant(重叠容忍):两个人同时说,不是“打断”,是“我在认真听”;
  • 零间隔接话:sí / claro / ajá / ya 这类短反馈高频出现,且常嵌在对方句子中间;
  • 语调跳跃大:情绪、强调、疑问靠重音和音高变化快速切换;
  • 协同发言:朋友间会接着对方半句话把意思补全;
  • 西班牙语地域差异显著:西班牙本土与拉美地区的西班牙语在发音、语调和语流节奏上存在差异,拉美不同国家和地区之间也各具特色。

对于全双工模型而言,关键不再是简单地“等待静音再回答”,而是理解不同交互行为,并在连续对话中作出自然回应。

本次开源数据可支持西班牙语话轮转换、重叠语音分析、打断检测、自然接话建模及多语种实时语音交互研究。

👉数据集下载:https://magichub.com/datasets/mdt-duplex-spanish-training-dataset/

MAGICDATA-DUPLEX:让模型学习真实的人类对话

MAGICDATA-DUPLEX 是 MagicHub.com 持续推出的多语种全双工自然对话数据开源系列,重点保留真实交流中的打断、重叠、附和、停顿等动态交互行为。

此次新增的韩语、西班牙语数据集延续系列统一标准,具有以下特点:

  • 双轨独立录音:对话双方各自独立录制,原生保留语音重叠,无需后期分离。
  • 真实自然对话:非朗读、非脚本,保留即时回应、追问、打断、接话等自然交互。
  • 多维度精细标注:涵盖时间戳、说话人、文本转写、副语言(笑声、叹气、犹豫等)及话轮状态(该接、该等、被抢话)。
  • 标准化音频格式:16kHz / 16bit WAV,韩语、西班牙语各开源 10 小时级自然对话数据。
  • 开源研究使用:采用 MagicHub Open-Source License,面向非商业研究场景。

目前,MAGICDATA-DUPLEX 已覆盖五种语言:

中文 · 英文 · 日语 · 韩语 · 西班牙语

团队希望构建的不只是一套多语种语音转写数据集,更是一套能够帮助模型学习人类如何倾听、回应、打断与自然交流的数据基础。

未来,MAGICDATA-DUPLEX 还将继续扩展更多语种,推动全双工语音交互技术的研究与应用。


12 月悉尼见!Full-Duplex Voice AI Meetup 即将开启

数据开源之外,团队也期待与更多研究者、开发者面对面交流。

今年 12 月,NeurIPS 2026 悉尼会议同期,MagicHub 将举办 Full-Duplex Voice AI Meetup!

届时,团队计划邀请全双工语音领域的研究者、开源框架作者与开发者,围绕实时语音交互展开深入交流:

  • 开源框架分享:邀请 Sophon-Realtime 等全双工开源框架作者,分享技术探索与实践经验。
  • 数据方法论分享:Magic Data 团队介绍全双工数据标注、多语种数据构建与实践经验。
  • 前沿技术讨论:聚焦话轮控制、打断检测、副语言建模及跨语种迁移等关键问题。
  • 现场 Demo 与开发者交流:展示实时语音交互技术实践,促进开源社区交流与合作。

从真实对话数据到开源框架,从技术研究到应用实践,团队希望让更多关注 Full-Duplex Voice AI 的伙伴聚在一起,交流思路、分享经验。

活动报名通道现已开放!

欢迎大家填写报名表,申请参与 Full-Duplex Voice AI Meetup。

👉报名链接:https://wj.qq.com/s2/28695398/fzn1/


获取开源数据

MagicHub 开源社区:https://magichub.com

商用授权咨询:business@magicdatatech.com

让真实对话数据,推动 Voice AI 走向更自然的实时交互。