1. 讲者介绍

张文：中国科学院计算技术研究所智能信息处理重点实验室在读博士生。研究方向为自然语言处理和机器翻译。博士期间在CWMT，COLING，EMNLP和ACL等会议上发表多篇论文。曾获中国科学院大学三好学生称号和易方达博士生奖学金。

报告题目：Recent advances in Neural Machine Translation

报告摘要：神经网络机器翻译（NMT）模型已经取得卓越的效果。但仍然存在一些问题和挑战：

基于RNN的NMT模型使用RNN对源端序列编码时仅考虑了词语之间的正反顺序信息，忽略了词语与词语之间的关系，而且RNN通常倾向于忘记有用的历史信息，难以捕获语言学中的长距离依赖信息；
NMT模型的翻译效率仍然比较低，解码器在测试阶段的柱搜索过程中，通常需要在搜索空间和搜索效率（翻译质量和翻译效率）之间进行权衡，因此模型的优势无法得到充分发挥；
NMT模型大多是自回归的，即以源语言句子和目标端的历史序列作为条件逐词生成整个目标译文。在训练阶段，模型以目标端参考译文的历史序列作为上下文进行预测；而在测试阶段，模型只能使用自身预测出来的历史序列作为上下文。这种训练和测试输入目标端上下文的差异会不断地导致错误累积。此外，词级的训练过程要求所生成的序列与参考译文序列之间严格匹配，这导致对不同于参考译文但合理的翻译的过度校正。本次报告将以缓解上述三个问题为出发点，介绍一下近期提出的三种方法。

Spotlight：

在基于RNN的编码器上层引入关系网络层，增强模型对源端句子的表示能力；
使用立方体剪枝算法优化NMT解码器，在达到相同甚至更好翻译性能的情况下，比传统柱搜索算法提升了搜索效率；
在NMT训练阶段，以一定的概率从前一步的参考译文词语和模型自身预测出的1-best词语之间采样，1-best词语的确定包括词语级别和句子级别的最优，从而使模型在训练时尽量考虑测试时的环境。

2. 讲者介绍

邵晨泽：2018年获中国科学院大学学士学位，专业计算机科学与技术。现保送至中国科学院计算技术研究所智能信息处理重点实验室，研究方向为自然语言处理、机器翻译等。已在自然语言处理顶级会议EMNLP2018、ACL2019上以一作身份发表论文。

报告题目：Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation

报告摘要：近些年来，神经机器翻译在翻译效果方面取得了很大的进展。然而，主流的神经机器翻译模型均采用自回归的解码机制、逐词生成翻译结果，因此翻译的延迟较高，应用场景受限。非自回归机器翻译模型采用非自回归的机制对每个词的翻译概率独立建模，能够并行解码出整个译文，将翻译速度提升十倍左右。本次报告将带大家回顾过去一年多里非自回归机器翻译的相关工作，并分享我们在ACL2019上的工作：针对非自回归模型序列信息缺失问题，设计强化学习算法进行序列级训练，或将非自回归模型融入到自回归结构中。

Spotlight：

非自回归机器翻译；
序列信息缺失；
强化学习。

论文推荐

1. A simple neural network module for relational reasoning

推荐理由：关系推理是一般智能行为的核心组成部分，但是学者们已经证明神经网络很难学习到关系信息。在本文中，作者提出关系网络（RN），并描述了如何使用RN作为一个简单的即插即用的模块从根本上解决依赖于关系推理的问题。他们在三个任务上测试了RN增强的网络：在视觉问答的数据集CLEVR上，他们提出的RN实现了state-of-the-art的性能；在基于文本的问题任务上，RN可以实现关于动态物理系统的复杂推理；然后，在名为Sort-of-CLEVR的数据集上，作者验证了强大的卷积网络不具备解决关系问题的能力，但RN增强的模型具有该能力。总之，他们的工作解释了配备RN模块的深度学习架构如何隐式发现并学习实体及其关系的推理。

推荐理由来自：张文

2. Refining Source Representations with Relation Networks for Neural Machine Translation

推荐理由：尽管使用编码器-解码器框架的NMT模型近来取得了巨大成功，但它仍然存在遗忘长距离依赖信息的问题，这是循环神经网络结构的固有缺点，并且在编码过程中忽略了源端序列中词语之间的关系。然而在实际应用当中，之前的历史信息和关系信息通常是有用的。为了缓解这些问题，我们在编码器中引入关系网络增强编码器的表示能力。关系网络通过将源端词语两两关联，进而增强RNN的记忆能力。在解码时带有源端关系信息的表示输入到注意力模块，我们的模型保持编码器-解码器框架不变。在几个数据集的实验表明，与传统的编码器-解码器模型相比，我们的方法可以显著提高翻译性能，甚至优于引入监督语法知识的方法。

推荐理由来自：张文

3. Forest Rescoring:Faster_Decoding with Integrated Language Models

推荐理由：如何高效解码一直是机器翻译面临的一个基本问题，特别是集成了语言模型之后，而语言模型通常对于实现良好的翻译质量是必不可少的。作者基于k-best句法分析的算法设计了更快解码方法，并且验证了所提出方法在基于短语和基于句法的翻译系统上的有效性。针对两个翻译系统，在获得相同搜索误差和翻译精度的情况下，他们的方法比传统柱搜索算法有十倍以上速度提升。

推荐理由来自：张文

4. Speeding Up Neural Machine Translation Decoding by Cube Pruning

推荐理由：虽然神经网络机器翻译（NMT）模型已经取得了可喜的成果，但它的解码效率还比较低。这所导致的后果就是我们必须在翻译质量和翻译速度之间进行权衡，因此翻译性能无法得到充分发挥。我们使用立方体剪枝（Cube Pruning）算法优化NMT解码效率。我们探索出解码器中比较耗时的计算单元有RNN和目标大词表上的归一化操作。在传统柱搜索算法中的每一步，我们通过组合类似的目标隐藏状态构造等价类，减少目标端的RNN扩展操作以及大词汇表上的归一化操作。实验表明，在达到相同甚至更好翻译性能的情况下，与传统柱搜索算法相比，我们的方法可以分别在GPU和CPU上提高解码效率3.3倍和3.5倍。

推荐理由来自：张文

5. Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

推荐理由：给定一些输入，RNN模型可以输出一个词语序列，例如最近的机器翻译模型。当前模型训练的方法是在给定当前循环状态和之前词语序列的情况下最大化序列中每个词语的概率。而在测试阶段，之前参考词语序列是未知的，只能由模型自身预测出的历史序列取代。训练和测试之间的这种差异可能沿着所生成的序列快速地产生错误累积。针对这种现象，作者提出了一种课程学习的策略，在训练过程中，从完全由真实的先前词语序列指导模型训练转化为较少地由真实的先前词语序列指导，大多数情况下由模型本身生成的词语序列代替。在几个序列预测任务的实验表明，所提出的方法产生了显著的改进。

推荐理由来自：张文

6. NON-AUTOREGRESSIVE NEURAL MACHINE TRANSLATION

推荐理由：这篇文章发表于ICLR2018，基于Transformer模型的并行特性，首次提出了非自回归的机器翻译模型，将模型的解码速度提升了十几倍。该文章给出了基于Transformer的非自回归模型的基本结构和基于uniform copying、fertilities的两种解码器输入方式，并用知识蒸馏的技巧降低了模型的学习难度。

推荐理由来自：邵晨泽

7. Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement

推荐理由：这篇文章发表于EMNLP2018，提出了基于迭代优化方法的非自回归机器翻译模型。该文章将非自回归模型的解码器看作一个迭代式的优化器，通过将解码器输出的译文输回到解码器的输入端，来增强解码器的输入信息并实现译文的迭代优化。该文章开源了所有的代码、数据、模型，易于研究者进行复现和进一步的开发。

推荐理由来自：邵晨泽

8. Semi-Autoregressive Neural Machine Translation

推荐理由：这篇文章发表于EMNLP2018，提出了半自回归的神经机器翻译模型。该文章对自回归和非自回归的机制进行了折衷，提出了以组为单位的半自回归生成机制，每次解码出数量为K的一组词，并将该组词作为生成下一组词时的输入。该方法达到了接近自回归模型的翻译效果，并在翻译速度上做出了可观提升。

推荐理由来自：邵晨泽

9. Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input

推荐理由：这篇文章发表于AAAI2019，针对非自回归模型中解码器输入较弱的问题，提出了两种增强解码器输入的方法：(1)从SMT模型的短语表中快速生成译文，将译文的词嵌入作为解码器的输入。(2)通过一个线性映射，将源端句子的词嵌入映射到目标端来作为解码器的输入。

推荐理由来自：邵晨泽

10. SEQUENCE LEVEL TRAINING WITH RECURRENT NEURAL NETWORKS

推荐理由：这篇文章发表于ICLR2016，指出了自回归模型中存在的训练与测试不一致的问题（exposure bias），并指出问题的根源在于词级别的损失函数。文章提出了基于强化学习的序列级训练方法，在预训练模型的基础上，以评价指标BLEU来训练自回归模型并消除exposure bias。

推荐理由来自：邵晨泽

回放视频+推荐论文+讲者PPT 登录后获取查看地址