“A Hierarchical Framework for Relation Extraction with Reinforcement Learning”

—-本文发表于2019年的AAAI会议，采用两层结构来进行关系抽取。

Hierarchical Extraction Framework

整个模型首先通过一个high-level的强化学习过程检测relation indicators（关系指示器），然后利用一个低层次的强化学习过程给给出该关系涉及的两个实体。

Relation indicator

关系指示器用来指明在一个具体的位置，已经有足够的信息来识别一种语义关系了。

Relation Detection with High-level RL

对于句子S=w₁w₁…w_L，该层次的强化学习在每个时刻考虑一个单词。在t时刻，对于强化学习有以下要素：

• option：o_t从O={NR}$\cup$R选择，其中NR表示在没有关系，R是关系集合
• state：$s^{h}{t}$是该层在t时刻的状态，通过下式计算：$s^{h}{t}=f^{h}(W^{h}{s}[h{t};v^{r}{t};s{t-1}])$，其中，h_t是来自BiLSTM，$v^{r}_{t}$是关系向量（最近一次非NR关系的嵌入），s_t-1是上一时刻的状态。f^h是使用MLP实现的非线性函数。
• policy：stochastic policy $\mu$为状态指定关系概率。$o_{t}$~$\mu(o_t|s^h_t)=softmax(W_{\mu}s^h_t)$
• reward：