胡明昊:国防科技大学计算机学院的在读博士生,导师为彭宇行教授。分别于2013年和2015年获得国防科技大学学士学位和硕士学位。目前,是微软亚洲研究院自然语言计算组的一名实习生,导师是韦福如研究员。研究领域为问答系统和机器阅读理解。至今,在IJCAI、AAAI和EMNLP等国际顶级会议上发表过论文。
报告题目:阅读+验证:面向无答案问题的机器阅读理解
报告摘要:理解自然语言文本并回答相关问题是自然语言处理的核心任务之一。然而,当所提问题在当前给定文本下无法被回答时,我们要求系统能够拒绝给出答案。为了解决这一问题,当前工作通常会预测额外的“无答案”概率来检测问题是否可回答。然而,这些方法未能通过进一步验证预测答案的合法性来检测问题的可回答性。在本次演讲中,我将介绍我们在AAAI-19上的最新工作。在该工作中,我们提出一种新颖的阅读+验证系统,该系统不仅利用一个神经网络阅读器来提取候选答案,还使用了一个答案验证器来判断预测答案是否被输入文本所蕴含。此外,我们引入了两个辅助损失来帮助阅读器更好地处理答案提取以及无回答检测这两个任务,并且探索了针对答案验证器的三种不同架构。在SQuAD 2.0数据集上的实验显示,我们的系统在测试集上获得了74.2 F1 ,在提交时取得了顶尖的性能(2018年8月28日)。
Spotlight:
面向无答案问题的机器阅读理解研究进展;
阅读+验证系统;
针对答案提取的辅助损失函数设计和针对答案验证的架构探索。
1. Attention-Guided Answer Distillation for Machine Reading Comprehension
推荐理由:本文是我们发表在IJCAI-18上的工作。在本文中,我们针对机器阅读理解任务,提出了强化助记阅读器。该模型针对先前的基于注意力的模型进行了两点改进。第一,我们提出一个重注意机制,该机制通过直接访问历史注意力来精炼当前注意力,历史注意力被临时存储在一个多轮对齐结构中,以此来避免注意力冗余和注意力缺乏的问题。第二,一个叫做动态-评估的强化学习方法被提出以扩展标准的有监督方法。该方法总是鼓励预测一个更被接受的答案来解决传统强化学习算法中的收敛抑制问题。在SQuAD1.1和两个对抗数据集上的实验显示了我们的模型取得了顶尖的结果。
2. Response Generation by Context-aware Prototype Editing
推荐理由:本文是我们发表在EMNLP-18上的工作。在本文中,我们针对当前阅读理解集成模型效率低下,鲁棒性差的问题,提出了注意力-指导的答案蒸馏方法,来将集成模型的知识迁移至单模型。我们首先发现标准知识蒸馏技术可以被应用于阅读理解的答案预测中,并且能带来显著的性能提升。我们然后提出两种新颖的蒸馏方法,来惩罚模型对于迷惑答案的预测,并且使用对齐信息作为额外的监督信号。在SQuAD1.1数据集上的实验显示我们的学生模型相比于集成的教师模型只有0.4% F1的性能损失,同时保持了12倍的加速。另外,学生模型甚至在对抗SQuAD和NarrativeQA数据集上超过了教师模型的性能。