论文浅尝 | CFO: Conditional Focused Neural Question Answering

Zihang Dai, Lei Li, and Wei Xu. 2016. CFO: Conditional focused neural question answering with large-scale knowledge bases. In Proceedings of ACL, pages 800–810.

链接:http://aclweb.org/anthology/P/P16/P16-1076.pdf

GitHub 项目地址:https://github.com/zihangdai/CFO

本文主要关注基于知识库的可答单事实(single-fact)问题,并针对大规模 KB 造成的训练困难做了一系列优化。这类 QA 可以转化为实体和关系抽取的问题,从问题中抽出实体𝑠和关系𝑟,再到知识库中去找答案。进一步转换为概率问题:对给定的问题 𝑞,找到使联合条件概率 𝑝(𝑠,𝑟|𝑞) 最大的 (𝑠,𝑟) 对。

在知识库较大时,(𝑠,𝑟) 对非常多,难以直接获取联合条件概率 𝑝(𝑠,𝑟|𝑞) 。因此先做转换 𝑝(𝑠,𝑟│𝑞)=𝑝(𝑟|𝑞)∙𝑝(𝑠,𝑞|𝑟),然后对两个部分分别建模。利用 KB 中关系的数量远小于实体数量的特典,先根据问题 𝑞 推理出关系 𝑟,再根据问题 𝑞 和关系 𝑟 推理出主语实体 𝑠。

对 𝑝(𝑟|𝑞) 建模的部分用两层的双向门控循环单元(BiGRU)来构建 q 的特征表示向量,把 q 看成是一个词序列,用事先训练好的词向量作为输入,得到 q 的特征表示向量 f(q),再和 r 的特征向量 E(r) 乘积,E(r) 为模型的参数,随机初始化。

对建模的部分为简单起见,分开计算 𝑞 和 𝑟 对 𝑠 选择的影响,再线性加和。和前半部分相比,q 的特征表示向量 g(q) 的和 f(q) 一样,都是 BiGRU,而 𝑠 的特征表示向量 E(s) 则不同,文中采用了两种方法:

  1. pretrained embeddings:这里借鉴了他人的一种通过知识库训练 E(s)(E(s)+ E(r) = E(o)) 的方法预先训练 E(s) 向量,然后再微调。
  2. type vector representation:直接用 s 的类别属性表示,假设知识库中有 K 类 s,s 的向量就是 K 维,如果 s 属于第 i 类,E(s) 的第 i 位就为 1,否则为 0。

 

此外,文中还提出了一种f ocused pruning method 来减少(s,r)对的候选空间,基于 N-Gram 方法做了改进,相对减少了噪声,使候选空间更小。

实验使用了 SIMPLE-QUESTIONS 和 Freebase 的一个子集,比当时的最好结果高 11.8%。

论文笔记整理:张宇轩,浙江大学硕士,研究方向为知识图谱,物联网。


OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

发表评论

电子邮件地址不会被公开。 必填项已用*标注