吴俣:吴俣是微软亚洲研究院与北京航空航天大学大学的联合培养博士生。自2014年起,他在导师李舟军教授与周明常务副院长的指导下开始了博士生的学习与科研工作,截止到目前已经发表了7篇会议文章(全部为CCF A类)与2篇期刊文章。他的研究兴趣为:open domain conversation and natural language generation.
报告题目:上下文敏感的改写式回复生成模型
报告摘要:近些年来,随着互联网的兴起,我们可以方便快捷的从网络上抓取大规模人与人的对话,并以此训练数据驱动的聊天机器人。已有的数据驱动的聊天机器人分为基于生成的聊天机器人和基于检索的聊天机器人。但他们均有各自的不足:
1、基于生成的聊天机器人有着“万能回复”的问题。所谓的“万能回复”,是指那些看似能够回复任何输入的但却没有实际意义、不利于对话过程持续进行的句子,例如“我不知道”。
2、基于检索的聊天机器人虽然回复信息量充分,但相关性有时不佳,且强依赖索引的数据。
在本次演讲中,我将介绍我们在AAAI-19上发表的题为“上下文敏感的改写式回复生成模型”的工作。在这个工作中,我们提出了一个新的范式:“先检索,后改写”,用于回复生成。在该框架中,我们首先利用检索式聊天机器人检索一个回复(原型),之后根据该回复原本的上下文和当前上下文之间的差异来改写此回复。这种新的范式不仅继承了检索式聊天机器人回复流畅和富有信息量的优势,而且还享有生成式聊天机器人的灵活性和相关性。实验表明,我们的方法在相关性,多样性和原创性方面优于传统模型。
Spotlight:
聊天机器人的研究进展,和方法优缺点;
基于改写的回复生成模型;
基于改写的回复生成模型与传统的检索式聊天机器人和生成式聊天机器人对比。
1. Sequential Matching Network A New Architecture for Multi-turn Response Selection in Retrieval-Based Chatbots
推荐理由:文章主要提出了一种模型(SMN),用检索的方式处理多轮对话系统多轮对话,类似于Q,A,Q,A,Q…QF: –> A 这种,有上下文,然后给出最后那个问题(QF)的对应回答(response)现存的解决方案通常是将上下文整个处理成一个上下文向量,但是这样忽略了上下文中的很多信息。SMN将上下文中的每一句话(utterance)都同候选的response提取重要信息,处理成vector,然后将这些上下文的vector被累积起来从而获得他们之间的关系,最后用这个计算得分。
推荐理由来自:CSDN
2. Neural Response Generation with Dynamic Vocabularies
推荐理由:文章考虑将对话的解码过程中所使用的大规模静态词表转化为一个根据输入生成的动态小规模词表,并推导出了可以通过蒙特卡罗抽样方法联合优化词汇结构和响应生成的学习方法。实验证明这种方式在对话质量提高的基础上,还获得了解码效率的提升。下一步可能考虑将其推广到多轮对话领域。
推荐理由来自:{知乎-学习ML的皮皮虾-知乎专栏}
3. Response Generation by Context-aware Prototype Editing
推荐理由:提出一种聊天机器人回复的新范式,全面提升已有模型性能。
推荐理由来自:吴俣