在项目的引篇和测试规范中,我们提到一个超大规模、多领域的测试集对于语音学术及产业界研究的重要性,本项目正是为了填补这个空白。第一篇评测至今,已经过去了整好18个月,我们下面会逐步把积累的测试集免费开放。
大致的计划:项目在持续添加新场景的同时,陆续将超过18个月锁定期的已有测试集开源,这样可以保证滚动测试中始终有未解锁的测试集来黑盒评估厂商性能。
对于解锁的测试集,任何人都可以在 leaderboard repo (github.com/SpeechColab/Leaderboard)中免费下载,下载命令为:
'''
ops/pull dataset <测试集ID>
'''
例如目前已经开放的新闻联播场景:
'''
ops/pull dataset SPEECHIO_ASR_ZH00001
'''
即可开启下载
读者朋友可以通过四种方式及时获取开源信息:
1.关注本公众号名称:SpeechIO
2.在github上 star/watch leaderboard 项目
3.加入leaderboard微信群(添加jerryejwt备注SpeechIO)
4.网页端可以搜索语音之家,SpeechIO的历史文章和数据会委托语音之家在其网站的评测专区上展示。
鸣谢:SpeechIO TIOBE 项目的中文测试集,由北京希尔贝壳公司提供免费的人工精标支持。开源不易,向所有真心实意为开源事业投入资源的企业致敬。
打赏:开源下载采用了高速的商业云存储,每一份数据下载都会产生费用,成功获取开源测试集的朋友可以打赏公众号相关发布文章,金额随意。
