讲者介绍

张宇：苏州大学人类语言技术研究所硕士，主要研究方向为序列标注和句法分析，目前已在ACL与IJCAI等会议上发表论文2篇。

报告题目：面向神经依存句法分析的快速二阶树结构条件随机场

报告摘要：在深度学习时代，由于多层双向LSTM的强大的上下文表示能力，句法分析方法变得非常简单。Biaffine Parser因为兼具高效率和高性能，是目前最流行的基于图的依存句法分析器。在弧分解独立假设下，Biaffine Parser直接对单个依存弧打分，训练时采用词级别的局部交叉熵损失函数。本文首次针对Biaffine Parser进行二阶TreeCRF扩展。通过在13个语言的15个数据集上的实验和分析，我们尝试回答一个问题：深度学习时代之前很有用的技术，如结构学习和高阶建模，在当下是否仍然有效？长久以来，TreeCRF之所以不被广泛使用的一个重要原因是Inside-Outside算法非常复杂、低效。本文解决的第二个问题是：是否可以通过GPU的大矩阵并行操作来大幅度加速Inside算法，同时利用自动反向求导取代Outside运算。我们在绝大部分数据集上均取得了新的SOTA准确率，尤其表明二阶TreeCRF在局部标注数据上优势明显，并且效率非常高。

Spotlight：

本文提出基于一阶CRF在神经网络模型上的二阶扩展，实验表明这种扩展对于句法性能，尤其是在局部标注的场景下，是有益的。
本文提出了一种批次化技术，大大加速了TreeCRF算法的运算，使得2阶CRF模型的速度大大提升。
本文验证了通过inside算法和自动反向传播结合，能够完全代替传统的极为复杂的outside的作用，对模型大大加速，同时验证了梯度和边缘概率是等价的

论文推荐

经典论文

1. DEEP BIAFFINE ATTENTION FOR NEURAL DEPENDENCY PARSING

推荐理由：这篇是经典依存句法分析器Biaffine Parser对应的论文，采用了一个简单的头选择目标来训练parser，方法简单，速度极快，至今仍是目前主流的基于图的句法分析器当中接近最佳结果的parser。

2. Neural Probabilistic Model for Non-projective MST Parsing

推荐理由：这篇所采用的方法与CRF类似，仍然寻求最大化树的概率吗，不同的是支持非投影树，采用了矩阵树来计算partition term。

3. Stack-Pointer Networks for Dependency Parsing

推荐理由：目前的一些基于转移的句法分析器的性能还比不上基于图的Biaffine Parser. 这篇另辟蹊径，将依存句法与Pointer Network结合，使得分析器的性能达到了与Biaffine Parser相近或超过的水平。

前沿论文

4. Graph-based Dependency Parsing with Graph Neural Networks

推荐理由：这篇提出将图神经网络应用到依存句法分析中，并提出了一种新颖的信息汇聚方式，考虑高阶信息，在UD数据上得到的不错的提升。

5. Second-Order Semantic Dependency Parsing with End-to-End Neural Networks

推荐理由：这篇在SDP任务上首次提出应用Triaffine进行二阶结构的打分，并提出利用变分推断来近似CRF，取得了不错的效果的同时，避免了高复杂度的弊端。

6. Fast and Accurate Neural CRF Constituency Parsing

推荐理由：这篇论文是将CRF方法在成分句法分析上的应用，实验发现TreeCRF同样能为成分句法分析带来很有效的提升，尤其在速度方面，解析达到了1000句每秒。

回放视频+推荐论文+讲者PPT 登录后获取查看地址