论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG

Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs

论文链接:https://arxiv.org/abs/1705.05742

对于事件数据,需要动态更新的知识图谱来保存知识图谱中关系的时许信息。本文提出了Know-Evolve这种基于神经网络的动态知识图谱来学习实体在不同时刻的表示。在动态知识图谱中,事件由四元组表示,相比于普通的三元组,增加了时间信息,因此在动态知识图谱中,实体之间的可能通过多个相同的关系连接,但是这些关系会关联到不同的时序信息。Know-Evolve中,使用时间点过程(temporal point process)来描述时间点的影响

在时间点过程中,某一时刻发生某事件的概率可以表示为

其中

具体而言,Know-Evolve中使用了Rayleigh过程来表示 \lambda(t),并使用一个神经网络来拟合Rayleigh过程的参数,对于发生在 t 时刻的四元组,有

其中

上式中,v 表示实体对应的向量表示,R 表示关系对应的矩阵,t-1 表示实体在上次被更新后的状态,  \bar{t} 表示头实体或尾实体中最后被更改的时间

此外,每次将新的四元组加入到动态知识库后,动态知识库中与该四元组相关的实体也会相应地进行更新,更新地过程用一个RNN来表示

对于头实体,有

对于尾实体,有

模型的训练通过最大化训练数据中四元组发生概率进行,对应的损失函数为对数损失函数

在损失函数中,后一项需要对头实体,关系,尾实体进行遍历,这个计算量是很大的,本文中使用了采样的方法来近似计算得到这部分的值。

实验使用了GDELT和ICEWS这两个时序知识库,相比于其他的方法,本文的结果均有限制的提升。

论文笔记整理:王旦龙,浙江大学硕士,研究方向为自然语言处理


OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

发表评论

邮箱地址不会被公开。 必填项已用*标注