论文浅尝 | KG Embedding with Iterative Guidance from Soft Rules

 

论文链接:https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/16369/16011

发表会议:AAAI 2018

摘要

知识图谱表示学习旨在将实体和关系嵌入到向量空间,同时保留知识图谱的内在结构。传统方法主要基于关系三元组学习知识图谱的嵌入表示。本文认为,知识图谱中的逻辑规则对于表示学习也很有帮助,于是提出了一个新的表示学习模型RUGE (Rule-Guided Embedding)。RUGE的主要特点是,利用从知识图谱自动抽取的规则迭代地预测未标记三元组,并将其加入训练来增强表示学习。

方法介绍

RUGE框架如下图所示。与传统方法不同,该模型除了利用labeled三元组,还同时引入了unlabeled三元组和逻辑规则。RUGE利用自动抽取的规则,生成带有置信度的unlabeled三元组并加入训练。整个过程是迭代的,基于嵌入表示为unlabeled三元组计算soft label,然后利用soft label进行表示学习。

1. 学习资源

a)      soft规则:带有置信度的FOL规则。对于规则格式,举个例子:∀x, y :(x, rs, y) ⇒ (x, rt, y),表明具有关系 rs 的两个实体也具有关系 rt

b)      labeled 三元组:正例三元组标记为1,反例三元组标记为-1。传统方法主要利用这些 labeled 三元组进行表示学习。

c)      unlabeled 三元组:本文中的 unlabeled 三元组特指利用规则和已知三元组可以推导出的三元组。

其中,soft规则可以利用开源系统如AMIE+自动地从知识图谱中抽取。将soft规则中的变量替换为具体的实体,我们可以获得规则groundings。比如,基于规则∀x, y :(x,BornInCountry, y) ⇒ (x, Nationality, y),我们可以得到规则grounding:(EmmanuelMacron, BornInCountry, France) ⇒ (EmmanuelMacron,Nationality, France)。本文只考虑那些前件是labeled三元组的规则groundings,这些groundings的后件三元组,就是unlabeled三元组。

2.     三元组和规则建模

对于三元组建模,本文采用现有模型 ComplEx [2],三元组的真值可以直接计算得到。对于规则建模,也就是建模规则 groundings 的真值,本文采用 T-norm fuzzy logics [3],规则的真值等于其三元组真值的逻辑组合。用 表示的真值,那么。这个地方非常巧妙,通过这个公式,规则和三元组结合在了一起,并且我们可以基于规则真值来计算 unlabeled 三元组的真值。

3. 弱标记预测

至此,一方面,我们可以基于嵌入表示来计算 labeled 和 unlabeled 三元组的“真值”,用表示;另一方面,也可以基于规则 groundings 的真值来计算三元组的实际真值,即本文所指的 soft label,用表示。本文希望,这两个真值应该是接近的,且应当使得规则 groundings 为真。于是文本定义如下优化目标:

其中,第一个方框是两个真值的均方误差,是最小化的目标。第二个方框是一个约束条件,希望 groundings 的真值为1,置信度是。

4. 表示学习矫正

基于上一步,我们得到了unlabeled三元组的soft label。结合labeled三元组,本使用logistics loss进行统一优化,如下:

实验结果

本文的主要实验任务是传统的关系预测。数据集采用了FB15K和YAGO37. 实验结果如下表所示。我们可以看见,RUGE相比对比方法,取得了较好的结果。

参考

[1] Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo: Knowledge Graph Embedding With Iterative Guidance From Soft Rules. AAAI 2018: 4816-4823

[2] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier,Guillaume Bouchard: Complex Embeddings for Simple Link Prediction. ICML 2016:2071-2080

[3] H´ajek, P. The metamathematics offuzzy logic. 1998

 

论文笔记整理:孙泽群,南京大学博士生,研究方向为知识图谱、知识融合。

 

OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

发表评论

邮箱地址不会被公开。 必填项已用*标注