OpenKG 开放知识图谱 2月12日
2019 年 12 月 31 日，武汉市发现若干例肺炎病例，该病毒与任何已知病毒均不相符。一周后，有关部门确认了这一新型病毒的发现，暂时命名为 2019 新型冠状病毒(2019-nCoV，以下简称新冠)。随着疫情爆发以来，防控等级不断提升，越来越多的人投入到这场战“疫”中。他们奋斗在抵抗新冠病毒的第一线，甚至为之奉献生命；他们迅速投入到新冠病毒的研究分析中，不断发布新冠病毒的研究结果，让我们对病毒有了更清晰准确的认识；他们积极组织捐赠救灾防护物资，持续为重灾区输送“弹药”；他们持续不断地分享科普新冠病毒的方方面面，警示民众打击谣言……
Paper:https://www.aclweb.org/anthology/P19-1430/
Code:https://github.com/thunlp/Chinese_NRE
Rujun Han, Qiang Ning, Nanyun Peng. Joint Event and Temporal Relation Extractionwith Shared Representations and Structured Prediction. EMNLP 2019.
论文链接：https://www.aclweb.org/anthology/D19-1041/
现有的多数链接预测方法都不能处理新的实体，并且多为黑盒方法，使得其预测结果无法解释。本文提出了一种新的端到端的可微的知识图谱上的规则学习方法DRUM来解决这两个问题。
来源：NAACL 2019
链接：https://www.aclweb.org/anthology/N19-1032/
来源：ACL2019
本文构建了一个面向复杂推理任务的多选问答数据集 HEAD-QA，该数据集中的问题来自一个西班牙的医疗保健专业测试，对于具备该方向专业知识的人也具有一定的挑战性。在原始数据的基础上，作者还考虑了“单语-即西班牙语”，“跨语言-西班牙语到英语”两种问答场景，分别使用信息检索和神经网络技术进行实验对比，并得到结论：1.HEAD-QA数据集对于当前的方法来说是具有相当难度的问答数据集；2.该数据集上的实验结果还远远低于人类回答者的水平，这表明其能够作为未来工作的benchmark。
表1是该数据集的一个示例：
动机
作者发现，对于现有的问答数据集如：bAbI，SQuAD 等，如今的问答系统已经能够取得接近于人类级别的答题性能，且这些问题往往都能够被“Surface-Level”的知识直接解答。因此，多选和推理类型的问题被提出用于自动问答的研究，早期问题集一般来自于学校，如小学的自然科学等学科，以及后来的中学或高中知识。但是这些数据集并没有涉足例如医药等复杂领域，因此，作者考虑构建这样一个数据集用于问答领域的研究工作。
贡献
作者认为本文的贡献如下：
开源数据和模型链接：http://aghie.github.io/head-qa/
方法
数据集构建
Ministerio de Sanidad, Consumo y Bienestar Social（西班牙政府机构）每年举行的一个面向公众医疗保健领域的考试，作者收集了自2013年起至今的所有试题作为HEAD-QA的原始数据源，其中包含了以下子领域：医学，药理，心理学，护理，生物学和化学。其中2013-14年的多选题包含五个选项，其他年份均为四个选项，其问题内容主要面向技术，同时也包含一定的社会问题，其中约14%的问题含有图片作为问题的附加信息，由以下形式呈现：
作者将数据整理为JSON结构并添加说明于文章的附录A中，每个问题的构成包含以下几点：
作者指出，虽然本文测试使用的模型均采用无监督或远程监督，但他们依然提供了训练集验证集和测试集供其他相关方法的研究使用。对于有监督方法，将2013-14数据作为训练集，2015作为验证集，其他年份数据作为测试集。相关统计信息如表2和表3所示：
作者表示，之所以没有使用随机抽取等常规构建训练集的方法有两个原因：
关于英文版本：虽然上述数据集仅有西班牙语官方版本，但作者使用Google翻译API将其译制为英文版本，从而用于跨语言问答实验。论文随机抽取了60个翻译样本（问答对）进行评估，发现翻译保留了原始问题绝大部分的题意。
测试方法
本文的测试基于信息检索(IR)模型，主要参照 Chen 等人（2017），作者以Wikipedia作为信息数据源，用于所有baseline中。输入问题仅为原始问题文本（移除了相关的ID，JSON结构信息）
西班牙语IR（单语问答）
IR方法上，沿用 DrQA’s Document Retriver（Chen et al., 2017），该方法能够对query和文本向量之间的关系进行打分。
跨语言方法
a) Multi-choice DrQA:
DrQA对于输入的问题，首先返回五个最相关的文本，接下来的任务是从中找出包含正确答案的文本范围（exact span），这一步利用一个神经网络模型（Attentive Reader，Hermann et al., 2015）来实现，该模型由SQuAD数据集训练得到。
b) Multi-choice BiDAF:
该方法与上述DrQA类似，但是用BiDAF方法作为文本阅读器，只是它的训练方式有所不同，除了使用SQuAD训练外，之后再利用science question进行继续训练，该方法可能选择到不止一个的正确答案，当出现这种情况时，作者会选择文本长度最长的那个作为最终选项。
c) Multi-choiceDGEM and Decompatt（Clark et al., 2018）：
该方法采用DGEM和Decompatt用于IR，主要考虑将hypthesis hik=qi+aik，每个hi用作query从而检索到相关的文本句子，接着entailment分数用于衡量每个h与句子之间的相关性。
实验
论文采用准确度作为问答的评价指标，同时构建一种得分累计机制参与系统性能评价：即，答对加3分，答错扣1分。
以下是实验结果：
1. 非监督设定下的实验结果
2. 监督设定下的实验结果
对比人工回答的实验结果如下：
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台，致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区：http://paperweek.ly | 微博：@PaperWeekly
本文转载自公众号：PaperWeekly。
作者丨Nicolas
单位丨追一科技 AI Lab 研究员
研究方向丨信息抽取、机器阅读理解
本文介绍实体链接（Entity Linking）这一技术方向，会先从最基础的概念讲起，然后对 EL 中的三个主要模块做一个清晰的梳理。在此基础上，选取三篇比较有代表性的论文，详述其中的核心方法和思想。
EL入门
1. 任务定义
实体链接，就是把文本中的 mention 链接到 KG 里的 entity 的任务。如下图所示 [1]：
▲ Entity Linking示意图
有些读者可能对知识图谱的概念不甚了解，这边先解释一下图谱里常用的一些概念。
Knowledge Graph（知识图谱）：一种语义网络，旨在描述客观世界的概念实体及其之间的关系，有时也称为 Knowledge Base（知识库）。
Entity（实体）：实体是知识图谱的基本单元，也是文本中承载信息的重要语言单位。
Mention（提及）：自然文本中表达实体的语言片段。
回过头再看，上面的这个图中，“乔丹”、“美国”、“NBA”这些蓝色的片段都是 mention，其箭头所指的“块块”就是它们在图谱里对应的 entity。
2. 几个应用
EL 有什么用呢？一般有 KB 的地方就离不开 EL。以下是 EL 的几个应用 [2]：
Question Answering：EL 是 KBQA 的刚需，linking 到实体之后才能查询图数据库；
Content Analysis：舆情分析、内容推荐、阅读增强；
Information Retrieval：基于语义实体的搜索引擎，google 搜索一些实体，右侧会出现 wikipedia 页面；
Knowledge Base population：扩充知识库，更新实体和关系。
3. Taxonomy
▲ Taxonomy
大体来说，EL 的工作可以分为两类 [3]：
End-to-End：先从文本中提取到实体 mention（即 NER），对应到候选实体，然后将提取到的 entities 消除歧义，映射到给定的 KB 中。
Linking-Only：与第一种方法对比，跳过了第一步。该方法直接将 text 和 mention 作为输入，找到候选实体并消除歧义，映射到给定的 K B中。
由于端到端的工作比较少，且 NER 也没太多可讲的。本文着重介绍 Linking-Only 的相关技术方向和工作。
EL的三大模块
EL 的工作非常有挑战性，主要有两个原因：
1. Mention Variations：同一实体有不同的 mention。（<科比>：小飞侠、黑曼巴、科铁、蜗壳、老科）
2. Entity Ambiguity：同一 mention 对应不同的实体。（“苹果”：中关村苹果不错；山西苹果不错）
针对上述两个问题，一般会用 Candidate Entity Generation (CEG) 和 Entity Disambiguation (ED) 两个模块 [2] 来分别解决：
1. Candidate Entity Generation：从 mention 出发，找到 KB 中所有可能的实体，组成候选实体集（candidate entities）；
2. Entity Disambiguation：从 candidate entities 中，选择最可能的实体作为预测实体。
下面我们来讲讲这两个模块里都有些啥东西。其中，CEG 的方法都比较朴素，没什么可讲的，笔者会把重点放在 ED 上。
1. Candidate Entity Generation (CEG)
最重要的方法：Name Dictionary ( {mention: entity} )
哪些别名：首字母缩写、模糊匹配、昵称、拼写错误等。
构建方法：
CEG 这部分，最主流也最有效的方法就是 Name Dictionary，说白了就是配别名。虽然 CEG 很朴素，但作为 EL 任务中的第一道门槛，其重要性不言而喻。对于每一个 entity，紧凑而充分地配置别名，才能保证生成的 candidate entites 没有遗漏掉 ground truth entity。
具体的，要配置哪些别名，要用什么构建方法，往往取决于 EL 的使用场景。比如做百科问答或是通用文本的阅读增强，就很依赖于 wikipedia 和搜索引擎；但如果是某个具体的行业领域，就需要通过一些启发式的方法、用户日志、网页爬取，甚至人工标注的方法来构建 Name Dictionary。
2. Entity Disambiguation (ED) (手动划重点)
Features:
实体消歧时，不同场景的特征选取是非常重要的。总的来说，实体消歧的特征分为，context 独立和 context 不独立的。
特征里，独立的有：mention 到实体的 LinkCount、实体自身的一些属性（比如热度、类型等等）。其中，LinkCount 作为一个先验知识，在消歧时，往往很有用，比如当我们在问“姚明有多高？”时，大概率都是在问<篮球运动员姚明>，而不是其他不为人知的“姚明”。
虽然 context 中完全没有包含篮球运动员这一信息，但大多数情况下，根据“姚明”到<篮球运动员姚明>的 LinkCount 最高，选其作为实体进行查询，都会是一个不错的答案。
不独立的有：文本的 context、实体间的 coherence（一致性）。这部分，可深入挖掘的东西比较多，文本 context 可以用一些深度学习的方法去深度理解文本的语义，从而实现消歧；实体间的一致性更加有趣，由于文本包含的所有的 mention 都没有确定，所以全局地进行 entities 的消歧实际上是一个 NP-hard 的问题。因此，如何更加快速有效地利用一致性特征，是一个非常有趣的方向。
基于这些常用的特征，消歧的方法可以大致分为以下几种：
Learning to Rank Methods: Point-wise、Pair-wise、List-wise。由于 ED 任务 ground truth 只有一个实体，一般都是用 point-wise 来做。输入是文本的 context、mention、某个 entity 的一些 attributes，输出 mention 指向该 entity 的置信度，以此 rank，选出最可信的 entity；
Probabilistic Methods: Incorporate heterogeneous knowledge into a probabilistic model。结合不同信息，得到条件概率 P(e|m,c)，其中 c 是输入文本，e 为实体， m 是 mention。比如用归一化的 LinkCount 信息，作为先验概率 P(e|m)；
Graph-Based Approaches: maximize coherene between entities。利用图特征（entity embedding、relation），在消歧时，考虑全局消歧后实体的一致性；
一般来说，现在的 ED 工作都会综合以上的方法来设计，后面我们会具体介绍几篇近期的论文，大家可以对照这三类方法看看。
3. 还有个小问题：Unlinkable Mention Prediction
除了上面的两大模块，还有一个小问题，就是如何拒识掉未知实体，毕竟你不可能建立一个能穷举万物的 KB。这就涉及到 Unlinkable Mention Prediction，不是很复杂，一般就三种做法：
NIL Threshold: 通过一个置信度的阈值来卡一下；
Binary Classification: 训练一个二分类的模型，判断 Top-rankeded Entity 是否真的是文中的 mention 想要表达的实体；
Rank with NIL: 在 rank 的时候，在候选实体中加入 NIL Entity。
一般就阈值卡一下就好了，不是太大的问题。但如果具体的场景是做 KB Population 且实体还不是很全的时候，就需要重点关注一下了。
EL的近期工作
为了让读者能更清楚地了解 EL，笔者在这里选取了三篇近两年出的，比较有代表性的工作 [4] [5] [6]，给大家具体讲讲：
1. Deep Joint Entity Disambiguation with Local Neural Attention. (Ganea and Hofmann, 2017, EMNLP)
2. Improving entity linking by modeling latent relations between mentions. (Le et al., 2018, ACL)
3. DeepType: multilingual entity linking by neural type system evolution. (Raiman et al., 2018, AAAI)
1. Deep Joint Entity Disambiguation with Local Neural Attention
早期的 EL 工作都非常依赖 manually-designed 的特征，这篇文章是 EL 领域第一篇不依赖特征工程，用深度学习来学习基础特征的工作。主要的创新点和关键部件有三个：
给定文本 D，其中有一堆 mention 
。 
对应的实体为 
，对应的 context 为 
，对应的候选实体集为 
。文章提出了两种模型：Local model、Global model。local 只考虑 mention 的 context；global 还需要考虑实体间的一致性，联合消歧。
Local model: 令 
为local score function，local model 要解决的问题即：
Global model: 除了 context，还考虑实体间的 coherence（为了简化，只考虑两元一致性）。令 
为实体之间的 pair-wise coherence score function， 
，全局搜索：
Local and pair-wise score function 的计算方法如下：
其中， 
是实体 
的 embedding， 
是对角矩阵。 
是在上下文 
上取 attention 后的表征，具体的 attention 计算如下图所示：
▲ Local Model里的Attention机制
这里是用 candidate entity embeddings 做 key，context word embeddings 做 value，得到 score matrix 之后，按列取 max，如果某个 word 的 score 较高表示这个 word 至少和一个 entity 相关度高。为了去除 stop words 的影响，作者只取了 top R 的 score，剩下的置为负无穷。
得到 score 后，还会结合 m 到 e 的 LinkCount 先验概率，计算出最终各个实体的概率。该工作在 AIDA 数据集上取得了 SOTA ( local: 88.8、global: 92.22)。
2. Improving entity linking by modeling latent relations between mentions
上一篇论文开创性地在 EL 中引入 entity embedding 作为信息，很自然的，我们会思考一个问题，KB 中还有别的可利用的信息吗？参考本文一开始的那张图片，“乔丹”、“美国”、“Nike”这些实体之间还有着“公民”、“赞助商”等关系信息，显然，若加以利用，一定能成大器。
于是 Le et al. 在 Ganea and Hofmann 工作的基础上，增加了隐关系信息。假定图谱中有 K 个关系，令 
之间为关系 k 的置信度为 
，上文中的 pair-wise coherence score function 可以写成：
其中， 
都是用来表示关系 k 的对角矩阵（类似于关系 k 的 embedding）， 
为归一化因子， 
为将 
映射到 
的函数。这样一来，我们就隐式地添加了关系 k，丰富了计算全局实体一致性时所参考的信息。
看起来很 fancy！但是有一个问题，这个归一化因子我们要咋算呢？作者提供了两种思路：
1. Rel-norm: Relation-wise normalization。就是以关系 k 维度来 norm；
2. Ment-norm: Mention-wise Normalization。就是以实体 j 维度来 norm。
▲ 两种norm方式的示意图
看一下上面这张图，就很清晰了。该工作在 AIDA 数据集上得到了新的 SOTA (global: 93.07)。
3. DeepType: multilingual entity linking by neural type system evolution
前两篇论文都是在联合消歧的这个角度，做了一定的工作。DeepType 这篇文章则另辟蹊径，从优化知识库的 type 系统来做。文章很重要的一个观点是：当我们能预测出实体 mention 的 type，消歧这个任务就做的差不多了。EL 系统主要分成三个模块：
1. Type System: 一组正交的 type 轴和一个 type 标注函数；
2. Type Classifier: 给定 mention 和 text，输出 mention 对应实体的 type；
3. Entity Prediction Model: 给定 mention、text 和候选实体，预测概率最高的实体（文中直接用的 LinkCount）。
很显然，这三个模块的核心点在于 Type System 的构建。由于 Entity Prediction Model 是直接用的 LinkCount，实际上整个 EL 系统就只有两组参数，一组是 Type System 的离散参数 A，一组是 Type Classifier 的连续参数 θ。给定 text 及其所含的 mention：
其中 
为 ground truth 的实体， 
为候选实体集，令 
为 EL 系统的消歧准确率，则我们的问题可以定义为：
其中：
这个 entity score 可以看成是给定 m 后，EL 系统给出的置信度，后面会给具体公式。
同步优化两组参数很耗时，因此文章分成 Type System 和 Type Classfier 两个部分独立优化。
a. Discrete Optimization of Type System：
为了避免同时训练 Type System 和 Type Classifier，我们得先固定 classifier，然后优化 Proxy Objective 
，这里我们假设两个 classifier model 的极端：
1. Oracle（极端优秀）：假设 Type Classifier 开了天眼，不管 A 咋变，都能预测对 mention 的 type，然后从该 type 对应的候选实体集的子集中选 LinkCount 最高的，令：
2. Greedy（极端蠢）：不预测 type，直接从候选实体集中选 linkcount 最高的。
最简单的思路直接 
其实就完事了，但是我们要考虑到真正的 classifier 并没有开天眼，假设 classifier 的 Learnability（学习能力）是 l(A)，那么更合理的目标函数应该是：
但是怎么才能不依赖 A 去计算学习能力呢，如果是用 softmax 多分类，那就糟了，每换一次 A，就得重新训练一个 classifier。因此作者巧妙的用二元分类器代替了多分类，令：
这样就只需要最开始计算一次就好了，如下图所示：
▲ a为训练type系统时的classifier，b为后面真正用的classifier
b. Type Classifier
就按照上图 b 优化就是了，没什么可说的。
c. Inference
在训练完 Type System 和 Type Classifier 之后，我们就可以计算我们上面说的 EntityScore 了：
其中 
是 k 个 type 组成 type 轴，α,β∈(0,1) 是 smoothing 系数。最终在 AIDA 数据集上取得了新的 SOTA（94.88）。
4. 三篇论文效果对比和思考
前两篇都是联合消歧的，而 DeepType 其实是个 Local 模型。这么看来，如果考虑联合消歧的话，应该还会有提升。
总结
Entity Linking 其实算是个很复杂的技术领域，因为优化过程中，不仅要考虑 text 的文本信息、KB 的信息、消歧后的一致性，还需要根据具体的业务场景采用不同的方案，同时也不能为了效果去暴力搜索 NP-hard 的离散优化问题。在具体实施的过程中不可能面面俱到，需要一定程度的 trade-off。总结起来，四大特征：LinkCount、Context、Attributes、Coherence。方法千千万，大家灵活运用。
Appendices
数据集：
1. Knowledge Base：Wikipedia, YAGO, DBpedia, Freebase；
2. EL 监督数据：
一个不错的多因子消歧总结：
https://cloud.tencent.com/developer/article/1491361
ccks实体链接第一名方案：
https://github.com/panchunguang/ccks_baidu_entity_link
DeepType原作博客（有一些可玩的插件）：
https://openai.com/blog/discovering-types-for-entity-disambiguation/
References
[1] 韩先培，实体链接：从文本到概念：
https://docs.huihoo.com/infoq/baidu-salon51-entity-links.pdf
[2] Wei Shen, Jiawei Han: Entity Linking with a Knowledge Base: Issues, Techniques, and Solutions.
http://dbgroup.cs.tsinghua.edu.cn/wangjy/papers/TKDE14-entitylinking.pdf
[3] Sebastian Ruder: NLP Progress of Entity Linking.
https://github.com/sebastianruder/NLP-progress/blob/master/english/entity_linking.md
[4] Ganea and Hofmann, 2017, EMNLP: Joint Entity Disambiguation with Local Neural Attention.
https://arxiv.org/abs/1704.04920Deep
[5] Le et al., 2018, ACL: Improving entity linking by modeling latent relations between mentions.
https://arxiv.org/abs/1804.10637
[6] Raiman et al., 2018, AAAI: DeepType: multilingual entity linking by neural type system evolution.
https://arxiv.org/abs/1802.01021
– End –
推荐阅读:
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
来源：Knowledge Based System
链接：https://www.sciencedirect.com/science/article/abs/pii/S0950705118301412?via%3Dihub
链接：https://arxiv.org/pdf/1809.03449.pdf