何可清:北京邮电大学模式识别实验室研究生,现为美团NLP中心对话平台组算法工程师,主要研究方向为任务型对话系统,包括对话理解、对话决策以及对话摘要,在ACL、EMNLP、COLING、NAACL上发表多篇论文。
报告题目:Contrastive Zero-Shot Learning for Cross-Domain Slot Filling with Adversarial Attack
报告摘要:在本文中,针对于跨域槽填充任务,我们提出了一种基于对比零资源学习和对抗攻击的方法CZSL-Adv,其中对比学习试图建模槽值的上下文表示与槽类型表示之间的语义相关性,对抗攻击则有助于提升模型的鲁棒性。实验表明本文提出的方法在低资源和零资源两种设置下都显著地优于之前的基线模型。
论文题目:Contrastive Zero-Shot Learning for Cross-Domain Slot Filling with Adversarial Attack
分享亮点:
1、本文提出了一种显式建模槽值与槽类型关系的对比学习方法,可以拉近槽值与其对应的槽类型,推远其他的槽类型,这有助于模型学习到更好的槽位上下文表征;
2、本文提出了一种对抗攻击的训练策略来有效提升模型的鲁棒性,通过在隐空间内生成扰动样本来达到数据增强的效果;
3、本文提出的方法在跨域槽填充任务上取得了很好地效果。
1. Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
推荐理由:槽填充任务经典基线。
2. Towards Zero-Shot Frame Semantic Parsing for Domain Scaling
推荐理由:跨域槽填充的最基础模型,首次提出使用槽描述信息。
3. Robust Zero-Shot Cross-Domain Slot Filling with Example Values
推荐理由:在第一篇论文的基础上,额外增加了槽值样例信息。
4. Zero-Shot Adaptive Transfer for Conversational Language Understanding
推荐理由:把跨域槽填充任务建模为MRC任务。
5. Coach A Coarse-to-Fine Approach for Cross-domain Slot Filling
推荐理由:提出了两阶段模型,先识别实体,再做实体分类。
6. Learning to Tag OOV Tokens by Integrating Contextual Representation and Background Knowledge
推荐理由:基于外部知识的槽填充模型。