论文浅尝 | Improved Neural Relation Detection for KBQA

 

http://mmbiz.qpic.cn/mmbiz_png/GNpj5fw72Eo7ficT8y1bDTpBSnJryic474icqkaaJze0Kj7ZXFF0EvrXfKI27ic4QeO2VFvsepPX7kmbuhLEadwAwQ/640?wx_fmt=png&wxfrom=5&wx_lazy=1

Yu M, Yin W, Hasan K S, etal. Improved Neural Relation Detection for Knowledge Base QuestionAnswering[J]. 2017.

论文链接:https://arxiv.org/pdf/1704.06194.pdf

概要

本文提出了一种基于不同粒度对关系和问题进行文本匹配的关系检测的模型(HR-BiLSTM,Hierarchical Residual-BiLSTM)。并将这种关系检测的模型应用到 KBQA 中,通过实体连接和关系检测模块的互补来提高整体的准确率。在实验中,本文提出的模型能够达到很好的结果。

 

关系检测

关系检测被作为一个文本匹配问题,即计算问题文本和不同关系文本的相似度,然后根据相似度对关系进行排序。本文提出了 HR-BiLSTM 模型来计算问题文本和关系文本的相似度,其结构如下

http://mmbiz.qpic.cn/mmbiz_png/GNpj5fw72Eo7ficT8y1bDTpBSnJryic474WVeia8icz0qTibrFPuPooMIUYqr4AiayIEbpEU8QDgZ2rNUNTdMIrtfcwA/640?wx_fmt=png&wxfrom=5&wx_lazy=1

图中主要包含两个模块。如图所示,左半部分是问题的向量表示模块,主要的方法是使用 stacked BiLSTM 提取得到问题的不同粒度的表示,然后通过残差连接融合 stacked BiLSTM 中不同层次提取得到的隐藏层表示,最后通过 max pooling 得到定长的问题的向量表示。模型的右半部分是关系的向量表示模块,关系文本对应的 relation-level(整个关系文本作为一个t oken)表示和 word-level(关系文本中的每一个词语作为一个 token)表示分别被两个不同的 BiLSTM 处理,得到对应的隐藏层表示,之后通过 max polling 得到定长的关系表示。问题和关系的相似度可以使用问题向量表示和关系向量表示之间的余弦距离表示,训练的损失函数是 rank loss。

KBQA

使用关系检测模型,可以进一步提高 KBQA 的准确率,主要的思路是在传统的实体连接-关系检测的两步过程中,使用关系检测的结果对实体连接的结果进行调整,具体算法如下所示

http://mmbiz.qpic.cn/mmbiz_png/GNpj5fw72Eo7ficT8y1bDTpBSnJryic474icTicz0aiaDCicFpiav0lbHbRQKG58Eib2ESEYSqFjGfgLZntJzcsGMRKglw/640?wx_fmt=png&wxfrom=5&wx_lazy=1

实验结果

本文在 SimpleQuestion 和 WebQuestion 上进行了实验。

关系检测实验结果如下所示

http://mmbiz.qpic.cn/mmbiz_png/GNpj5fw72Eo7ficT8y1bDTpBSnJryic474YQpnwtkbNUEM3lS0t3L6kQddiaZ1TdaCnzx2t8yjmQaibxD9e5sIJXicw/640?wx_fmt=png&wxfrom=5&wx_lazy=1

KBQA实验结果如下所示

http://mmbiz.qpic.cn/mmbiz_png/GNpj5fw72Eo7ficT8y1bDTpBSnJryic474sHAMIUlP6eygaP9YO1oLRubSmX41wIHVBlJDRgoONfMUx6zsmDT1mg/640?wx_fmt=png&wxfrom=5&wx_lazy=1

笔记整理:王旦龙,浙江大学硕士,研究方向为知识图谱,文本分类。


OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

http://mmbiz.qpic.cn/mmbiz_jpg/GNpj5fw72EotiadhuOd6wlGaHBnEibHXIyUN9f1vq8QsMmnV71jxkmqhSLuZUNVC9LdPmC3mzD2u2s05gN2L4FOg/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

发表评论

邮箱地址不会被公开。 必填项已用*标注