论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理

Introduction

知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用。但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要。主要有三种方法来完成知识图谱补全的任务,基于规则(Rule-Based)的方法,基于潜入(Embedding-Based)的方法和基于路径(Path-Based)的方法。、

当前,也有一些工作考虑使用深度强化学习来解决预测缺失链接的问题,例如DeepPath,是第一个将深度强化学习引入知识图谱推理的工作。但该工作也有很多缺陷,第一,DeepPath缺少memory相关的部分,导致需要一定的监督学习进行与训练,该预训练可能导致模型过拟合;第二,对不同的关系都使用相同的超参数并没有考虑实体间多样性的链接;第三,当agent选择了一条无效的路径后,会停下来并重新选择,这样会导致持续选择无效路径最终被困在一个节点。

本文提出了一个新的使用模型(AttnPath)来解决上面提到的问题,该模型使用LSTM和图注意力机制作为memory部分从而不需要预训练,提出了两个度量MSR和MRR,提出了一定的机制使得agent每一步都向前走从而不会被困在某一个点。

 

Method (AttnPath)

因为该方法使用强化学习作为训练方法,所以先介绍该方法强化学习的框架:

  1. 环境(Environment):整个知识图谱,除了当前正在query的关系和其反关系;
  2. 状态(State):agent的state由三部分连接而成,分别是嵌入部分,LSTM部分和图注意力部分;
a) 嵌入部分。类似于DeepPath,本文的嵌入部分包含了当前节点的嵌入,以及target节点嵌入减去当前节点的嵌入,区别于DeepPath使用TransE作为嵌入方法,这里使用TransD作为嵌入方法把每个节点的嵌入映射到当前query的关系的相关平面上。则嵌入部分的 M_t 表示如下:


b) LSTM部分。这里使用一个三层的LSTM来对agent之前走过的路径进行编码:

c) 图注意力部分。对于每一个entity都有不同的方面,也就是说希望agent可以更多关注和当前query有关的关系和邻居节点,因此引入来GAT,对一个节点的周围节点,采用不同的权重并且相加,如下:

所以最终的状态表示如下

3. 动作(Action):在KG推理的任务中,动作指的是agent选择一个关系然后前进一步。动作也分为有效和无效,有效指的是在当前的节点中有这样的关系从该节点出去,反之亦然;

4. 奖励(Reward):奖励是对agent的反馈,根据选择的relation是否是有效的,以及一系列的动作是否能走到最终真正的尾实体;

 

整个过程的优化使用REFORENCE算法,更新参数如下:

AttnPath的模型如下所示:

 

Mean Selection / Replace Rate

对于不同的关系,需要悬链不同的模型,但是不同关系的困难程度不同,也就是说有些关系有较多的替代关系,agent可以很容易的找到一条替代的路径从头实体走到尾实体。这里提出两个度量方法,MeanSelection Rate和Mean Replacement Rate来度量每个关系的困难程度。

对于关系r的Mean Select Rate(MSR)表示如下:

MSR越低,表示r越难学习,因为连接r的实体有很多的方面(aspect),也就说对于这些entity,r只是其中的一小部分。

对于关系的MeanReplacement Rate(MRR)表示如下:

MRR越高表示这个当前的关系有更多的可以替代的relation,所以更容易学习到一个新的路径因为agent可以直接选一个替代的relation到达尾实体。

在本文中,对于学习起来有不同难易程度的关系采用不同程度的正则化。例如对于具有比较高的MSR和MRR的关系,因为学习起来比较容易,则采用更多的正则化来防止过拟合,反之亦然。

 

Experiments

Fact Predict:

Link Prediction:

 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

发表评论

邮箱地址不会被公开。 必填项已用*标注