本月 Leaderboard滚动测试有多项更新:

  1. 因SogouAI 平台终止运营,后续滚动测试中将无法再测试 Sogou 服务。

  2. 接受来自iflytek的模型提交: 评测接口正式从听写服务切换到转写服务(即“听见”)。整体场景更贴合评测,性能有大幅度提升。该问题我们在早期的 [SOTA] 文章中有详细说明。

  3. 接受来自Microsoft的模型提交:

    1. 评测中的调用正式从 RestAPI 切换到 SDK(该链路模型更新相对更及时);

    2. 关闭服务中默认的脏词过滤模块;

    3. 关闭服务中默认的 ITN 模块,以避免个别 case 的 ITN 与 TN 处理规则不一致的问题;

    性能有小幅度提升。

  4. 测试流程的文本归一化模块加入儿化过滤功能。