语音小管家Qwen 团队与高校及蚂蚁国际研究者推出 BabelArena，并在魔搭社区开源多语言 Agent 评测数据：23 种语言、13 个领域、702 个原始任务，共 16,146 个语言版本。
配套工作流 BabelFlow 协同适配任务、提示词、工具说明和环境内容，保留执行与评分所需的跨组件依赖。五个模型的实验中，Qwen-3.8-Max 在 VitaBench 和 DeepPlanning 的平均单次成功率分别达到 42.3% 和 46.0%，低资源语言在任务完成率、语言一致性和执行成本上仍存在明显差距。
开源地址：
- 数据集：https://modelscope.cn/datasets/Qwen/BabelArena
- 论文：https://modelscope.cn/papers/2609.23490
- 代码：https://github.com/QwenLM/BabelArena
01、从多语言回答到多语言执行
Agent 处理订票、购物或账户服务时，要理解用户需求、读取工具反馈，并在多轮操作中遵守业务规则。只翻译用户问题，仍会让 Agent 面对原语言的工具说明、数据库和政策文档；独立翻译各个组件，又容易造成商品名称对不上、引用失效，甚至正确操作被评分器判错。
BabelArena 将评测扩展到整个执行流程。它整合四类已有基准，保持各语言版本的任务 ID 和原有评分规则一致，让同一个任务能够跨语言比较。
| 任务来源 | 主要能力 | 任务数 |
|---|---|---|
| τ³-Bench | 航空、零售、电信、银行中的用户交互、工具调用与政策遵循 | 212 |
| VitaBench | 外卖、到店、在线旅行及跨领域的交互任务 | 200 |
| DeepPlanning | 满足可验证约束的旅行与购物长期规划 | 120 |
| ClawEval | 服务编排、多模态感知与生成、专业对话 | 170 |
这 23 种语言覆盖了 15 种文字系统，并根据其在 AI 训练语料库中的数字文本丰富程度（即 resource level）进行了梯度划分。 样本既包含英语、中文、日语、法语、俄语、阿拉伯语和西班牙语等拥有海量数字化数据的“高资源”语言，也纳入了高棉语、缅甸语、老挝语、泰米尔语和泰卢固语等可获取文本极其匮乏的“低资源”语言。整体设计横跨了不同的书写方向、分词方式与字形结构，旨在全面评估模型的跨语言能力。
02、BabelFlow：沿着执行依赖做翻译
先追踪数据，再决定翻译范围。 分析 Agent 读取并运行源基准，找出任务、工具、数据库、模拟用户和评分器在运行时访问的文本，随后建立共享实体和字段之间的依赖。比如，用户请求中的商品名称、数据库记录、工具返回值和标准答案必须保持一致。
按字段类型翻译，保持原始结构。 工具与参数名称、JSON 键、ID 和执行用枚举值保持不变；普通说明文本按上下文翻译；需要翻译的共享实体先生成统一译名，再跨组件复用。翻译 Agent 只处理提取出的字段，结果回填到原位置，保留数据嵌套、代码结构与占位符。决定任务内容的原始图片、音视频等素材也保留原样。
BabelFlow 将依赖分析、分类翻译、结构回填、验证与人工复核串成闭环。
用执行结果验证翻译。 三个独立验证 Agent 分别检查结构完整性、跨组件一致性、语义忠实度和行为等价性，并在源环境与目标环境中执行相同的受控操作，比较工具结果、状态变化及评分结论。人工复核确认问题后，将字段分类错误送回分析阶段，将译名或语义错误送回翻译阶段，完成返修与端到端抽查。
在 40 个任务的中文适配消融实验中，BabelFlow 将引用损坏的任务比例从独立字段翻译的 20.0% 降至 2.5%，行为不匹配从 5.0% 降至 0.0%；构建过程的 Token 用量为基线的 3.35 倍。
03、成功率之外，还要看稳定性与语言一致性
每个任务独立运行三次。Pass¹ 是三次试验的平均单次成功率，Pass³ 是三次全部成功的任务比例；LC 则检查整条轨迹中面向用户的自然语言是否始终使用目标语言，覆盖回复、工具调用前的文字和交付物。规定保留的标识符、工具语法及格式标签不算语言切换，LC 与任务奖励分别统计。
以下为各任务来源的 Pass¹，单位为 %。五个被测模型均使用 medium 推理强度、温度为 0；各任务来源沿用其评测框架与评分方式，DeepPlanning 使用确定性规则评分。
| 模型 | VitaBench | DeepPlanning | τ³-Bench | ClawEval |
|---|---|---|---|---|
| Claude-Opus-4.8 | 36.9 | 36.2 | 62.6 | 55.8 |
| GPT-5.6-Terra | 29.6 | 22.5 | 69.2 | 46.1 |
| Gemini-3.1-Pro | 34.3 | 18.6 | 71.4 | 41.5 |
| Qwen-3.7-Max | 36.1 | 41.6 | 59.0 | 32.4 |
| Qwen-3.8-Max | 42.3 | 46.0 | 62.0 | 40.8 |
Qwen-3.8-Max 在 VitaBench 与 DeepPlanning 的 Pass¹ 领先，Gemini-3.1-Pro 在 τ³-Bench 领先，Claude-Opus-4.8 在 ClawEval 领先，四类任务没有被同一个模型包揽。资源组比较中，五个模型在低资源语言上的 Pass¹、Pass³ 和 LC 均低于高资源语言。
DeepPlanning 的稳定性与语言一致性进一步呈现了不同的排序，单位为 %：
| 模型 | Pass³ | LC |
|---|---|---|
| Claude-Opus-4.8 | 17.2 | 61.8 |
| GPT-5.6-Terra | 10.7 | 90.0 |
| Gemini-3.1-Pro | 5.6 | 74.3 |
| Qwen-3.7-Max | 23.8 | 57.5 |
| Qwen-3.8-Max | 26.5 | 75.8 |
Qwen-3.8-Max 在 DeepPlanning 的单次成功率和三次全成功率领先，GPT-5.6-Terra 的 LC 更高。完成任务、稳定完成任务和保持用户语言，分别对应不同的能力要求。
04、语言差距如何影响执行
相近的交互轮数，更高的 Token 消耗。 在相同的 VitaBench 任务上，低资源语言轨迹的累计输入 Token 为英语的 1.69–2.06 倍，交互轮数为英语的 0.97–1.16 倍。资源统计只累计被测 Agent 的模型调用，不包含模拟用户和评审调用；该比较同时纳入成功与失败轨迹。
检索反复失败，成功任务也会增加调用。 DeepPlanning 的购物环境按查询与本地化商品记录的词汇重合进行检索。在五个模型的低资源语言购物轨迹中，53.7%–68.7% 的商品搜索返回空结果，英语对应为 6.1%–17.1%。论文中的一组成功案例尤其直观：Qwen-3.8-Max 在任务 37 的英语与泰卢固语版本中买到相同的四件商品，英语用了 9 轮、25 次工具调用，泰卢固语用了 64 轮、201 次调用，158 次商品搜索中有 126 次为空。该泰卢固语轨迹起初使用英语搜索词，直到后续使用泰卢固语查询才找到所需候选商品。
在 1,600 条 VitaBench 失败轨迹的抽样分析中，泰语和泰米尔语的工具使用、控制流错误占比高于英语和中文，包含无效循环以及向工具传入不符合预期语言的参数。多语言 Agent 的改进需要同时覆盖任务推理、工具参数与检索行为。
上排按语言、下排按模型展示 1,600 条失败轨迹的主要错误分布，内环为错误大类，外环为常见子类。
任务成功，回复仍可能切回英语。 研究者从 DeepPlanning 和 ClawEval 中抽取 2,000 条已被判为语言不一致的轨迹，发现其中标注到的语言切换有 91.2% 指向英语。DeepPlanning 的问题主要出现在回复正文，ClawEval 则集中在工具调用前的文字，例如执行操作前先说一句英语说明。
在抽样的语言不一致轨迹中，英语是主要切换目标，不同任务的切换位置也不同。
05、在魔搭获取评测数据
魔搭数据集提供冻结的 standard 评测子集，包含 τ³-Bench、VitaBench 和 DeepPlanning：每种语言 532 个任务，共 12,236 个实例。ClawEval 的任务数据单独分发；完整基准的 16,146 个实例与当前数据包的范围分开计算。
安装 ModelScope SDK：
pip install modelscope下载数据集到本地：
from modelscope.hub.snapshot_download import dataset_snapshot_download
dataset_snapshot_download(
dataset_id="Qwen/BabelArena",
local_dir="./BabelArena-data",
)下载后的 tau3/ 、vitabench/ 和 deepplanning/ 分别对应三类评测数据，包含任务及运行时所需的本地化内容；各任务来源目录下的 task_subsets/standard/ 保存固定任务 ID，SHA256SUMS 提供文件校验信息。该版本用于评测，各语言使用相同任务集合，适合对照分析同一 Agent 的成功率、语言一致性和执行成本。
