近期，山西大学人工智能研究团队在自然语言处理领域常识问答研究中取得了重要进展。

常识问答是自然语言处理领域的重要研究任务，旨在为计算机赋予类似于人类的常识知识和推理能力，从而使其能够根据自然语言问题推理出正确的答案。如何从知识库中检索相关知识并有效地将其与问答上下文结合起来，是常识问答研究的一个关键问题。然而，现有方法忽略了噪音知识和知识表示对机器推理性能的影响。同时在推理过程中，问答上下文与知识之间的深度融合也未能得到充分考虑。

图1 基于语言模型和知识表示学习的常识问答方法框架

针对上述问题，研究团队提出了一种基于语言模型和知识表示学习的常识问答方法（见图1）。该方法在多个异构知识库中检索与问答上下文相关的知识，构建了一个异构知识图（HKG），并通过引入两阶段剪枝策略和知识表示学习算法对HKG的结构和知识表示进行优化，在去除噪音知识的同时提高了知识表示的效果。同时，在语言模型的编码阶段，该方法通过Mask Self-Attention机制实现了问答上下文与HKG的深度融合。相比现有常识问答方法，该方法实现了更好的常识推理性能，在多个公开数据集上的实验对比验证了它的有效性。（见图2）。

图2 在CommonsenseQA和OpenBookQA常识问答数据集上的答题正确率

相关成果《Dynamic Heterogeneous-Graph Reasoning with Language Models and Knowledge Representation Learning for Commonsense Question Answering》被Annual Meeting of the Association for Computational Linguistics（ACL, 2023）录用。该论文通讯作者为梁吉业教授和张虎教授，第一作者为2021级博士生王宇杰，合作者为李茹教授。研究工作得到了计算智能与中文信息处理教育部重点实验室、科技创新2030-“新一代人工智能”重大项目、国家自然科学基金面上项目、山西省1331工程重点学科建设计划的支持。

ACL是自然语言处理与计算语言学领域最高级别的学术会议，同时也被中国计算机学会（CCF）推荐为人工智能领域的A类会议，主要发表自然语言处理领域的前沿研究成果。本届ACL将于2023年7月9日至14日在加拿大多伦多举办。