欢迎访问山西大学计算智能与中文信息处理教育部重点实验室
动态信息

科研动态

现在的位置: 首页 » 动态信息 » 科研动态
山西大学中文信息处理团队在智源指数发布高考阅读理解数据集
时间:2021-12-31 作者:

2021年12月30日上午,实验室谭红叶老师代表山西大学中文信息处理团队在北京智源人工智能研究院自然语言处理前沿技术开放日在线发布“GCRC:面向可解释评测的高考阅读理解数据集”。

开放日上,机器中文语言理解和生成能力评测基准- 智源指数CUGE(Chinese Language Understanding and Generation Evaluation,CUGE)重磅发布。中国工程院院士、清华大学教授、中国人工智能学会理事长戴琼海,北京语言大学教授、国家语言文字工作委员会原副主任李宇明,清华大学教授、智源自然语言处理重大研究方向首席科学家孙茂松及智源研究院副院长曹岗,共同主持了智源指数CUGE的启用仪式。此外,24位NLP学术明星,20多项前沿报告、10余项最新研究成果“组团”亮相。

山西大学参加此次会议的还有为构建GCRC数据集做出重要贡献的成员:团队负责人李茹教授、王元龙副教授、柴清华老师以及一些博士生与硕士生代表。

近几年,山西大学中文信息处理团队在国家重点研发计划项目“基于大数据的类人智能关键技术与系统”的支持下,面向题目类型更丰富、更具挑战性的高考阅读理解任务进行了重点研究。在此基础上,针对目前阅读理解数据集与评价存在的问题,设计并构建了GCRC(A New MRC Dataset from Gaokao Chinese for Explainable Evaluation)数据集。该数据集包含5000多篇文本、8700多道选择题(约1.5万个选项),标注了三种信息:句子级支持事实、干扰项(不正确选项)错误原因、回答问题所需推理能力,从中间推理、模型能力两方面进行可解释评价。

山西大学GCRC数据集的发布,标志着山西大学中文信息处理团队机器阅读理解方面的研究从多层次多维度迈向类人“通用语言能力”,并有利地推动机器智能的评价从“黑盒”评测迈向可解释评测。