蔡恒毅:中国科学院计算技术研究所在读博士,主要研究方向为自然语言处理、对话系统。
报告题目:对话系统中的自适应参数化方法 (Adaptive Parameterization for Neural Dialogue Generation)
报告摘要:主流的开放域对话系统采用Sequence-to-Sequence 的范式。通常来说,给定上文,这类系统使用单组可学习的参数来产生回复。当面临场景多样的对话时,此类系统的适应性往往受限,并且易于产生通用回复(Generic responses)。本文提出了一种参数自适应的对话模型(Adaptive Neural Dialogue generation model, AdaND),使用样本自适应的参数化方法来应对场景多样的对话建模问题。对于每条对话样本,AdaND 都会根据其上文产生一组Encoder-Decoder参数。具体来说,我们提出了两种自适应参数化机制,分别是上文感知的参数化方法和话题感知的参数化方法。在上文感知的参数化方法中,模型直接从当前上文的局部语义来产生参数;在话题感知的参数化方法中,模型首先推断出该对话样本的话题分布,然后再根据此话题分布来产生参数。话题感知的参数化方法使得模型参数可以在话题相似的对话样本之间共享。在公开数据集上的若干实验也验证了所提出方法的有效性。
Spotlight:
提出了一种上文感知的参数化方法。相比于之前仅学习一组静态参数的方法,本文模型学习的是如何产生一组特定于当前上文的参数;
引入变分话题推断的方法,并提出一种话题感知的参数化方法,使得模型参数可以在话题相似的对话样本之间共享。
1. Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders

推荐理由:这是一篇较早地将变分自编码器引入对话建模的文章。该篇工作也提出了一种缓解KL Vanishing 的方法——Training with BoW Loss,对后续的若干CVAE相关的对话建模工作有较大的影响。
2. What makes a good conversation How controllable attributes affect human judgments

推荐理由:该工作探讨了对话生成中的一些可控属性和人工评测之间的关系。该工作使用了两种典型的可控文本生成的方法:Conditional Training (CT) 和 Weighted Decoding (WD),并得到了一些有趣的结果。之后作者研究了这些可控属性与人工评测的关系。在得出的若干结论中,令我印象深刻的是:What do we mean by ‘good’? Although humanness and engagingness are both commonly used as overall quality metrics, the two are very different. While our models achieved close-to-human scores on engagingness, they failed to get close on humanness showing that a chatbot need not be human-like to be enjoyable. 即一个喜人的 chatbot 不一定要足够像人。
3. The Curious Case of Neural Text Degeneration

推荐理由:该工作探讨了目前文本生成为什么总是不尽人意的原因,分析了human text 和 machine-generated text 分布之间的不同,并提出了新的解码策略——Nucleus Sampling,来提高生成文本的多样性。这篇工作的分析和实验都很值得一看,在文本生成领域能够带给人新的启发。