大庆修水县旅游联盟

他山之石 | 基于强化学习的关系分类

知识工场2022-08-04 13:35:18


《Reinforcement Learning for Relation Classification from Noisy Data 》


Copyright c 2018, Association for theAdvancement of Artificial Intelligence (www.aaai.org). All rights reserved.


论文链接:http://www.aihuang.org/static/papers/AAAI2018Denoising.pdf


背  景


句子级别的关系抽取旨在识别和分类实体对在当前句子环境下的关系。关系分类任务通常使用远程监督来产生训练数据集,但往往存在错误标注的数据。本文利用增强学习从训练数据中选择正确标注的子集,从而训练出高性能的关系分类器。


贡  献


(1)本文提出了一种新的句子级别的关系分类模型,它由一个实例选择器和一个关系分类器组成。

(2)我们将实例选择视为一个强化学习问题,基于关系分类器为实例选择器提供弱监督,使得模型能够选择正确的标注句子集合。


方  法


本文提到的关系分类的整体框架如下:

  


主要包含以下两个模块:


(1)Instance Selector。

因为Instance Selector是当作强化学习问题处理,下面就要介绍作为强化学习,State、Action、Reward的定义。State State 包含了以下三部分信息:1.当前句子的向量表示,这个向量表示由关系分类器里CNN的非线性输出层得到;2.被选的句子集合的矩阵表示,这个由被选句子的向量表示取平均得到;3.句子中实体对的矩阵表示,这个从预训练的知识图谱embeddings得到,这embeddings是在Freebase上采用TransE模型训练得到。Action表示是否应该选取当前句子。Reward由基于CNN的分类器反馈得到,计算所选的句子集合的likelihood,假设所选的句子集合是空集,则用所有句子的平均likelihood来计算,这应该是文章能够有效选出噪声数据的关键之一。


(2)Relation Classifier。

文章用的分类模型比较简单,也是目前效果比较好的CNN,包括输入层,卷积层,max-pooling层。


算法流程:

整个模型的训练是迭代进行的,如下图所示:



其中,实例选择模块(instance selector)的训练过程如下所示:



实  验


本文处理的是句子级别的关系分类任务,但baseline选取的是实体对级别(bag level)的关系分类算法。最终结果如下:



可以看出文章的模型取得最好的performance。





友情链接

Copyright © 大庆修水县旅游联盟@2017