神经机器翻译虽然实现了极佳的性能,然而在实际应用场合却依然面临鲁棒性薄弱的弊病。不同于收集坏样例标注分析,近年来针对机器翻译系统产生对抗样本日益成为探索、强化其鲁棒性的主流途径。本期论坛我们邀请到了来自南京大学的邹威同学,他使用强化学习的方式,针对机器翻译系统生成对抗样本,并探索了基于此方案强化机器翻译鲁棒性的方式。
邹威:南京大学计算机科学与技术在读博士,主要研究方向为机器翻译、强化学习。

报告题目:通过强化学习为神经机器翻译生成对抗样本
报告摘要:现有的文本对抗样本的生成方法低效、难以保证语义一致,且受限于自然语言的离散性和人工规则建模错误类型。本工作从不同已有工作的视角,将针对机器翻译系统生成对抗样本建模为“受限的马尔可夫决策过程”,并使用强化学习和对抗学习技术建模学习。我们的方法免除了传统对抗样本生成对人工规则的依赖,并直接通过指标的劣化寻找系统对抗样本。在达成传统方法已有的攻击性能的前提下,此方法极大程度提升了对抗样本的语义质量和生成速度。除此,我们还基于该生成方案初步探索了强化机器翻译鲁棒性的可能途径。
Spotlight:
1、将针对机器翻译系统生成对抗样本建模为“受限的马尔可夫决策过程”,并针对具体指标的劣化,不依赖人工规则建模错误特征,生成对抗样本。
2、使用对抗学习建模无监督语义限制,保证对抗样本的语义质量。
3、本方法可以以远超基线的速度生成对抗样本,并进一步用于系统的量化分析和鲁棒性强化。

推荐理由:本工作基于梯度优化和离散正则限制生成文本对抗样本,是文本领域对抗样本生生成的先驱性探索。

推荐理由:本工作将文本对抗样本生成任务视为搜索优化,并提出了对文本对抗样本质量评估的初步标准。

推荐理由:本工作是最早一批利用对抗样本生成针对机器翻译系统鲁棒性的探索。其生成依赖字符级别的编辑组合优化。

推荐理由:本工作将对抗样本生成视为组合优化问题,建模使用离子群算法(PSO)优化搜索性能。

推荐理由:本工作针对NLU任务提出了细粒度的约束,辅助寻找文本表示的对抗扰动。

推荐理由:针对神经机器翻译强化鲁棒性,借鉴图像领域相关的对抗数据增广技术,绕过生成实际的文本对抗样本。
录播视频 / 推荐论文下载 / 讲者PPT 登录后获取查看地址