技术动态 | TechKG:一个面向中文学术领域的大型知识图谱

 

作者:东北大学-知识图谱研究组  任飞亮

TechKG 是一个面向中文、面向学术、多领域的大型知识图谱知识库,知识库由“东北大学-知识图谱研究组”开发完成。和已有知识图谱如 Freebase 或 YAGO 相比,TechKG 具有如下主要特点:

1、是一个大型的中文知识图谱知识库。当前,TechKG 共包含大约 5 千万个实体、以及 2.6 亿个三元组。知识规模和 Freebase 及 YAGO 相当。

2、面向科技。TechKG 的数据源为发表在中文各类学术期刊上的科技论文,和 Freebase 或 YAGO 这些通用知识图谱相比,TechKG 更有侧重性。

3、领域划分完整。当前,TechKG 的数据共分为 38 个研究领域,每个研究领域对应一个学科。据我们所知,TechKG 是当前唯一一个有明确领域分类的大型知识图谱。

通过在 TechKG 上的数据分析,我们还获得了如下一些中文知识图谱所特有的现象。

首先,TechKG 显示,中文作者姓名重名现象严重。我们把作者重名问题分为两类:领域间重名和领域内重名。如果一个作者名出现在不同的研究领域,则该名字称为领域间重名。如果一个作者名字出现在同一领域(比如“计算机”领域)的不同研究机构中,则该名字称为领域内重名。我们的实验结果显示,平均每个中文作者名出现在3.97个领域中。我们甚至发现,有167个作者名(如:张林、刘华、汪洋、张磊、王辉、李兵、张健、陈鹏、王欣、李强、王莉、杨辉、王琳、刘杰、王平、张岩、刘超、陈华、杨军、张志刚等)出现在了所有的领域中。而领域间重名现象则更加复杂,难以精确识别。因为,有时候是同一个作者在不同时间段里处于不同的研究机构,有时候是不同的作者处于不同的研究机构。对于前者,就并不是重名问题,但此时识别难度就要大的多。

其次,领域术语的重名现象严重。这里的领域术语重名是指一个领域术语同时出现在多个领域中。而且,我们的实验结果显示,类似tf*idf的方法并不能有效地消除领域术语的重名问题。比如,即使是取每个领域中tf*idf为top-10%的术语,平均每个术语仍会出现在大约2.62个领域中。

第三,严重的数据分布不均衡现象。在之前的研究中,研究者把知识图谱中的关系分为4个类型:1-1、1-n、m-1、m-n。我们的统计结果显示,在TechKG中,这4个关系类型所占的比例极度不均衡。我们统计了在不同的tf*idf领域术语过滤条件下这4类关系类型所占的比例,发现tf*idf的过滤条件基本不会对类型分布产生影响:在各个tf*idf设置下,m-n类型关系所占的比例均起过60%,m-1类型的关系所占的比例均接近20%,1-1类型的关系所占的比例大约在15%左右,而1-n类型的关系则基本可以忽略不计,只有0.01%左右。

我们的初步实验结果显示,TechKG的上述特有现象会对下游的一些任务产生重要影响。如在Knowledge graph embedding任务中,实验结果显示,不仅重名问题(作者重名及领域术语重名)会对实验性能产生严重的负面结果,关系类型不均衡现象也会极大地影响实验的最终性能。实际上,TechKG显示出来的这些特性均为中文中所存在的固有的语言学现象,在Freebase或YAGO这些英文知识图谱中并没有体现。而之前因为没有合适的中文知识图谱数据集,所以,相应的问题并没有得到研究者们的注意。现在,TechKG为研究者们提供了一个可以对上面问题进行深入研究的知识图谱数据集。

基于TechKG,我们还构建了以下几类知识库,每类知识库均分38个领域,每个领域对应一个学科。

  • TechKG10:从TechKG中抽取的子集,抽取规则如下:1)领域术语的tf*idf在前10%;2)每个实体至少出现在10个三元组中。
  • TechTerm:一个中文领域术语知识库,每个领域均由从TechKG中tf*idf最高的术语中随机选择的1w条术语组成。
  • TechBiTerm:一个“中—英”术语对知识库,每个领域均由从TechKG中选择的”共现”次数最多的1w个术语翻译对组成。
  • TechAbs:一个由论文摘要组成的知识库,每个领域均由随机选择10w个摘要组成。
  • TechQA:一个问答知识库,基于TechKG10、采用模板生成。
  • TechNER:一个基于TechTerm、采用远程监督方式生成的主要用于进行领域术语识别任务的知识库,每个领域包含3w个训练句子。
  • TechRE:一个基于TechKG10、采用远程监督方式生成的主要用于关系抽取任务的知识库,每个领域由随机选择的20w个训练bags组成,每个bag平均包含6个句子。

 

利用TechKG以及上面的几个知识库,研究者们不仅可以开展知识图谱方向相关的研究(如知识图谱embedding、关系抽取、命名实体识别等),还可以进行如:KBQA、机器翻译、文本分类等多项相关任务的研究。

 

读者可通过以下网站下载TechKG以及相关的几类知识库: www.techkg.cn。也可以通过论文 ”TechKG: A Large-Scale Chinese Technology-Oriented Knowledge Graph” 来了解 TechKG 的详细特性(论文下载地址:https://arxiv.org/abs/1812.06722)。

OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

美团大脑 | 知识图谱的建模方法及其应用

 

本文转载自公众号: 美团技术团队.

作为人工智能时代最重要的知识表示方式之一,知识图谱能够打破不同场景下的数据隔离,为搜索、推荐、问答、解释与决策等应用提供基础支撑。美团大脑围绕吃喝玩乐等多种场景,构建了生活娱乐领域超大规模的知识图谱,为用户和商家建立起全方位的链接。我们美团希望能够通过对应用场景下的用户偏好和商家定位进行更为深度的理解,进而为大众提供更好的智能化服务,帮大家吃得更好,生活更好。

继续阅读“美团大脑 | 知识图谱的建模方法及其应用”

徐阿衡 | 知识抽取-实体及关系抽取(一)

 

本文转载自公众号:徐阿衡。

这一篇是关于知识抽取,整理并补充了上学时的两篇笔记 NLP笔记 – Information Extraction 和 NLP笔记 – Relation Extraction,梳理了知识抽取的基本方法,包括传统机器学习及经典的深度学习方法。

知识抽取涉及的“知识”通常是 清楚的、事实性的信息,这些信息来自不同的来源和结构,而对不同数据源进行的知识抽取的方法各有不同,从结构化数据中获取知识用 D2R,其难点在于复杂表数据的处理,包括嵌套表、多列、外键关联等,从链接数据中获取知识用图映射,难点在于数据对齐,从半结构化数据中获取知识用包装器,难点在于 wrapper 的自动生成、更新和维护,这一篇主要讲从文本中获取知识,也就是我们广义上说的信息抽取。

信息抽取三个最重要/最受关注的子任务:

  • 实体抽取
也就是命名实体识别,包括实体的检测(find)和分类(classify)
  • 关系抽取
通常我们说的三元组(triple) 抽取,一个谓词(predicate)带 2 个形参(argument),如 Founding-location(IBM,New York)
  • 事件抽取
相当于一种多元关系的抽取

篇幅限制,这一篇主要整理实体抽取和关系抽取,下一篇再上事件抽取。

1. 相关竞赛与数据集

信息抽取相关的会议/数据集有 MUC、ACE、KBP、SemEval 等。其中,ACE(Automated Content Extraction) 对 MUC 定义的任务进行了融合、分类和细化,KBP(Knowledge Base Population) 对 ACE 定义的任务进一步修订,分了四个独立任务和一个整合任务,包括

  • Cold Start KB (CSKB)
端到端的冷启动知识构建
  • Entity Discovery and Linking (EDL)
实体发现与链接
  • Slot Filling (SF)
槽填充
  • Event
事件抽取
  • Belief/Sentiment (BeSt)
信念和情感

至于 SemEval 主要是词义消歧评测,目的是增加人们对词义、多义现象的理解。

ACE 的 17 类关系

具体的应用实例

常用的 Freebase relations

还有的一些世界范围内知名的高质量大规模开放知识图谱,如包括 DBpedia、Yago、Wikidata、BabelNet、ConceptNet 以及 Microsoft Concept Graph等,中文的有开放知识图谱平台 OpenKG……

2. 实体抽取

实体抽取或者说命名实体识别(NER)在信息抽取中扮演着重要角色,主要抽取的是文本中的原子信息元素,如人名、组织/机构名、地理位置、事件/日期、字符值、金额值等。实体抽取任务有两个关键词:find & classify,找到命名实体,并进行分类。

主要应用:

  • 命名实体作为索引和超链接
  • 情感分析的准备步骤,在情感分析的文本中需要识别公司和产品,才能进一步为情感词归类
  • 关系抽取(Relation Extraction)的准备步骤
  • QA 系统,大多数答案都是命名实体

2.1 传统机器学习方法

标准流程:

Training:

  1. 收集代表性的训练文档
  2. 为每个 token 标记命名实体(不属于任何实体就标 Others O)
  3. 设计适合该文本和类别的特征提取方法
  4. 训练一个 sequence classifier 来预测数据的 label

Testing:

  1. 收集测试文档
  2. 运行 sequence classifier 给每个 token 做标记
  3. 输出命名实体

2.1.1 编码方式

看一下最常用的两种 sequence labeling 的编码方式,IO encoding 简单的为每个 token 标注,如果不是 NE 就标为 O(other),所以一共需要 C+1 个类别(label)。而 IOB encoding 需要 2C+1 个类别(label),因为它标了 NE boundary,B 代表 begining,NE 开始的位置,I 代表 continue,承接上一个 NE,如果连续出现两个 B,自然就表示上一个 B 已经结束了。

在 Stanford NER 里,用的其实是 IO encoding,有两个原因,一是 IO encoding 运行速度更快,二是在实践中,两种编码方式的效果差不多。IO encoding 确定 boundary 的依据是,如果有连续的 token 类别不为 O,那么类别相同,同属一个 NE;类别不相同,就分割,相同的 sequence 属同一个 NE。而实际上,两个 NE 是相同类别这样的现象出现的很少,如上面的例子,Sue,Mengqiu Huang 两个同是 PER 类别,并不多见,更重要的是,在实践中,虽然 IOB encoding 能规定 boundary,而实际上它也很少能做对,它也会把 Sue Mengqiu Huang 分为同一个 PER,这主要是因为更多的类别会带来数据的稀疏。

2.1.2 特征选择

Features for sequence labeling:

再来看两个比较重要的 feature

Word substrings

Word substrings (包括前后缀)的作用是很大的,以下面的例子为例,NE 中间有 ‘oxa’ 的十有八九是 drug,NE 中间有 ‘:’ 的则大多都是 movie,而以 field 结尾的 NE 往往是 place。

Word shapes

可以做一个 mapping,把 单词长度(length)、大写(capitalization)、数字(numerals)、希腊字母(Greek eltters)、单词内部标点(internal punctuation) 这些字本身的特征都考虑进去。

如下表,把所有大写字母映射为 X,小写字母映射为 x,数字映射为 d…

2.1.3 序列模型

NLP 的很多数据都是序列类型,像 sequence of characters, words, phrases, lines, sentences,我们可以把这些任务当做是给每一个 item 打标签,如下图:

常见的序列模型有 有向图模型 如 HMM,假设特征之间相互独立,找到使得 P(X,Y) 最大的参数,生成式模型;无向图模型 如 CRF,没有特征独立的假设,找到使得 P(Y|X) 最大的参数,判别式模型。相对而言,CRF 优化的是联合概率(整个序列,实际就是最终目标),而不是每个时刻最优点的拼接,一般而言性能比 CRF 要好,在小数据上拟合也会更好。

整个流程如图所示:

讨论下最后的 inference

最基础的是 “decide one sequence at a time and move on”,也就是一个 greedy inference,比如在词性标注中,可能模型在位置 2 的时候挑了当前最好的 PoS tag,但是到了位置 4 的时候,其实发现位置 2 应该有更好的选择,然而,greedy inference 并不会 care 这些。因为它是贪婪的,只要当前最好就行了。除了 greedy inference,比较常见的还有 beam inference 和 viterbi inference。

2.1.3.1 Greedy Inference

优点:

  1. 速度快,没有额外的内存要求
  2. 非常易于实现
  3. 有很丰富的特征,表现不错

缺点:

  1. 贪婪

2.1.3.2 Beam Inference

  • 在每一个位置,都保留 top k 种可能(当前的完整序列)
  • 在每个状态下,考虑上一步保存的序列来进行推进

优点:

  1. 速度快,没有额外的内存要求
  2. 易于实现(不用动态规划)

缺点:

  1. 不精确,不能保证找到全局最优

2.1.3.3 Viterbi Inference

  • 动态规划
  • 需要维护一个 fix small window

优点:

  1. 非常精确,能保证找到全局最优序列

缺点:

  1. 难以实现远距离的 state-state interaction

2.2 深度学习方法

2.2.1 LSTM+CRF

最经典的 LSTM+CRF,端到端的判别式模型,LSTM 利用过去的输入特征,CRF 利用句子级的标注信息,可以有效地使用过去和未来的标注来预测当前的标注。

2.3 评价指标

评估 IR 系统或者文本分类的任务,我们通常会用到 precision,recall,F1 这种 set-based metrics,见信息检索评价的 Unranked Boolean Retrieval Model 部分,但是在这里对 NER 这种 sequence 类型任务的评估,如果用这些 metrics,可能出现 boundary error 之类的问题。因为 NER 的评估是按每个 entity 而不是每个 token 来计算的,我们需要看 entity 的 boundary。

以下面一句话为例

1 First Bank of Chicago

announced earnings…

正确的 NE 应该是 First Bank of Chicago,类别是 ORG,然而系统识别了 Bank of Chicago,类别 ORG,也就是说,右边界(right boundary)是对的,但是左边界(left boundary)是错误的,这其实是一个常见的错误。

1

2

3

4

5

正确的标注:

ORG – (1,4)

系统:

ORG – (2,4)

而计算 precision,recall 的时候,我们会发现,对 ORG – (1,4) 而言,系统产生了一个 false negative,对 ORG – (2,4) 而言,系统产生了一个 false positive!所以系统有了 2 个错误。F1 measure 对 precision,recall 进行加权平均,结果会更好一些,所以经常用来作为 NER 任务的评估手段。另外,专家提出了别的建议,比如说给出 partial credit,如 MUC scorer metric,然而,对哪种 case 给多少的 credit,也需要精心设计。

2.4 其他-实体链接

实体识别完成之后还需要进行归一化,比如万达集团、大连万达集团、万达集团有限公司这些实体其实是可以融合的。

主要步骤如下:

  1. 实体识别
命名实体识别,词典匹配
  2. 候选实体生成
表层名字扩展,搜索引擎,查询实体引用表
  3. 候选实体消歧
图方法,概率生成模型,主题模型,深度学习

补充一些开源系统:

  • http://acube.di.unipi.it/tagme
  • https://github.com/parthatalukdar/junto
  • http://orion.tw.rpi.edu/~zhengj3/wod/wikify.php
  • https://github.com/yahoo/FEL
  • https://github.com/yago-naga/aida
  • http://www.nzdl.org/wikification/about.html
  • http://aksw.org/Projects/AGDISTIS.html
  • https://github.com/dalab/pboh-entity-linking

-End-

原文链接:http://www.shuang0420.com/2018/09/15/%E7%9F%A5%E8%AF%86%E6%8A%BD%E5%8F%96-%E5%AE%9E%E4%BD%93%E5%8F%8A%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96/

继续阅读“徐阿衡 | 知识抽取-实体及关系抽取(一)”

学术前沿——双曲空间中的网络、单词及其知识图谱

选自集智俱乐部 

埃舍尔版版画是描绘了双曲空间

导语

康奈尔大学计算机科学系教授Chris De Sa 与斯坦福大学计算机科学系博士生Albert Gu 携手构建出高效的嵌入算法——使用双曲线组合结构嵌入算法,以更低的维度更好地嵌入文本、知识图谱等非结构化的数据。

编译:集智俱乐部翻译组

原题:HyperE: Hyperbolic Embeddings for Entities

神奇的双曲线嵌入算法

最早在2017年,Nickel&Kiela提出了使用双曲线代替欧几里得嵌入空间来表示分层数据(该过程也称嵌入),并且在嵌入图形时表现出了较好的结果。

由此,双曲线嵌入在机器学习界引起了广泛的关注。那么双曲线嵌入相对于传统的嵌入方法有什么优点?

  1. 双曲线嵌入可以在很少的维度上保留图形实体间的距离
  2. 充分表达层级结构

今天介绍的的这篇文章提出的一种双曲线嵌入的算法,该算法不仅可以完成知识库处理相关的任务,并且可以作为一个用来处理NLP任务,例如Question & Answering等。

在论文中,作者提出了解决优化潜在问题的新方法,并阐明了如何权衡每种方法。当嵌入分层数据结构(如同义词或类型层次结构)时,双曲线嵌入可以用较少的维度,表达出复杂的网络信息。

例如,给定一棵树形的网络,该论文给出了一个组合结构,可以将树嵌入双曲空间中,在不使用优化算法时就可以达到较低的失真率。在WordNet上,在双曲空间中只使用了两个维度,该嵌入算法平均精度(MAP)就达到了0.989,Nickel等人提出的双曲空间结构使用200维也只获得了0.87的平均精度

为了嵌入一般度量空间,论文中提出了多维尺度(h-MDS)的双曲线推广算法。该算法展示了如何从距离中精确恢复双曲点,算法显示,即使在维度很少的情况下,h-MDS算法也可以很好地恢复双曲点。

数据库及源码下载

论文在如下三个层次网络中做了双曲嵌入的实验,这些网络分别为:WordNet、Wikidata、UMLS(统一医学语言系统)和MusicBrainz(开放数据音乐数据库)。该算法通过“相似性”和“类比”的双曲线评估嵌入的好坏。并基于PyTorch实现了一个可以处理不完整信息并且可扩展的HyperE 嵌入算法。文章中各种实体嵌入可以在下面以GloVe格式下载。

WordNet:https://wordnet.princeton.edu/

Wikidata:https://www.wikidata.org/wiki/Wikidata:Main_Page

UMLS:https://www.wikidata.org/wiki/Wikidata:Main_Page

MusicBrainz:https://musicbrainz.org

读者们可以在GloVe格式的WordNet,Wikidata,UMLS和MusicBrainz中以各种维度(10d,20d,50d,100d)下载64位精度的实体嵌入。因为双曲线嵌入与欧几里得嵌入不同,嵌入的比例因子不是固定不变的,因此作者在顶行中写明了嵌入的比例因子。

通过将知识图谱中实体对应的双曲线距离除以所提供的比例因子,可以近似地恢复实体之间的输入图形的距离。该算法还提供了预处理脚本以创建输入图的边缘列表。这里还可以使用作者的公开的代码来查看如何使用双曲线实体嵌入。

实现双曲实体嵌入的公开代码:

https://github.com/belizgunel/hyperE/tree/master/demo

来自Wordnet的WordNet Hypernym,域主题和成员全名层次结构。(WordNet.zip 161MB)

https://stanford.box.com/shared/static/u06nzqy2eyi6eh01830ci156giepxrj0.zip

Wikidata实体层次结构,包括来自各个领域的100个属性,包括生物学,体育,经济学,政治学,计算机科学等等。( Wikidata.zip 2.15GB)

https://stanford.box.com/shared/static/ozkvxryzib6kmjad9hyb0emq84to2ssz.zip

UMLS诊断层次结构来自ICD-9-CM和UMLS的ICD-10-CM词汇表。(UMLS.zip 123MB)

https://stanford.box.com/shared/static/yk0nwnix1a9nda13ws5hbdetm4zo9mvw.zip

MusicBrainz来自MusicBrainz的样本艺术家,专辑和歌曲层次结构。(MusicBrainz.zip 16MB)

https://stanford.box.com/shared/static/8anfeaia53pwsagvag9g6rlys932sj00.zip

双曲空间中的“词类比”

在许多自然语言处理(NLP)应用中,将词嵌入欧几里得空间中可以成功地编码单词之间的语义关系。评估词嵌入效果好坏的一种方法是“词类比”准确度。比如,经常在小学语文卷子中出的填空题目:

“北京(a)对中国(b)=华盛顿(c)对______ ”。

传统的NLP模型GloVe模型通过嵌入的余弦相似性找到词d,d的词嵌入最接近向量b -a + c。

在HyperE嵌入算法中,作者使用双曲线距离长短作为相似度量,距离越小相似性越高。换句话说,将具有最小双曲线距离的向量d作为b -a + c双曲线模拟的输出。我们将这个类比实验扩展到Wikidata中的实体层次结构,并尝试了一些具有不同关系的样本。

下边的表格是使用文章中的组合方法生成的实体嵌入做“词类似问答“的结果。嵌入为10维,64位精度。可以看出嵌入向量d正确的回答了”词类似“问题。

检测关系

知识图谱: 实体-关系-实体/实体-属性-属性值

在音乐数据嵌入中,歌曲 – 专辑连边权重为2,专辑 – 艺术家连边权重为1.我们可以使用这些权重和嵌入式层次结构通过简单地计算嵌入点之间的双曲线距离来检测实体之间的关系类型。

例如,第一行的两首歌曲来自甲壳虫乐队的“Sgt.Pepper’s Lonely Hearts Club Band”专辑,文章的嵌入识别出了这种关系。接下来第二行的两首歌是披头士乐队的歌曲,但来自不同的专辑。最后,滚石乐队和AC / DC乐队的歌曲显示为无关,双曲线中距离的远近可以很好的表示两首歌曲实际关系的远近。

嵌入效果

与欧几里得空间相比,双曲空间能够将知识图谱中的层次关系信息压缩到非常少的维度。保留几个输入的关系图中实体对之间的关系,通过实验的准确率及召回率的结果我们得知:双曲线空间嵌入通过保持实体间的距离实现多层嵌入。在此任务中,“正确”代表着,如果输入图形中的实体对有一条连边,则最终实体嵌入之间的双曲线距离除以基于输入图形计算的比例因子之后应当保持在1(±0.01)内。

每一个嵌入都是使用我们的组合方法生成的,维度是10维,精度为64位。下图是HyperE的精确率和召回率。

双曲空间可视化

在欧几里得空间中,圆周和圆盘区域分别随半径线性、平方地增长。然而,在双曲空间中,它们都相对于半径呈指数增长,这一性质特别有利于嵌入树型的分层结构。

下面介绍了不同嵌入方法的一些可视化。左图是使用作者基于随机梯度下降的优化方法嵌入一个简单的树,它最小化基于双曲线距离的损失函数。对于相同的输入图,右图是使用作者提出的组合结构,这是一种确切的算法,可以精确地放置树顶点。关于组合算法,在作者的论文中有详细的阐述。

论文题目:Representation Tradeoffs for Hyperbolic Embeddings

论文地址:https://arxiv.org/pdf/1804.03329.pdf

上图:优化的随机梯度下降法构造,下图:组合算法构造

相关工作

双曲线嵌入的研究是由最近的研究论文推动的,这些论文表明双曲线表示适用于各种层次结构,应用包括Tay等人的问答(QA)系统——HyperQA (2017),Chamberlain等人的顶点分类器(2017),以及Nickel&Kiela(2017)中的链路预测。

Ganea等人(2018)提出了嵌入蕴涵关系,即用带有双曲锥的有向无环图作为启发式算法。Dhingra等人(2018)研究了双曲词和句子嵌入。其中许多论文使用双曲线几何的庞加莱模型 ; 作者的的工作和Nickel&Kiela(2018)认为其他模型,如双曲面空间的双曲面模型,对于某些任务可能更简单。当然,总是可以在模型之间进行转换。

最近的研究方法试图将双曲线运算添加到神经网络中。Gulcehre等(2018)使用双曲面模型引入了双曲线形式的注意力机制。

双曲线运算也可以应用于支持向量机,如Cho等人的研究(2018)。

基于双曲线优化的下降方法也有了新的应用研究; 这些研究作品包括Enokida等(2018)用于测地线更新,Zhang和Sra(2018)用于加速黎曼梯度法,而Wilson&Leimeister(2018)用于使用双曲面模型在双曲空间中进行梯度下降。

 

参考文献及论文地址

1.HyperE (2018) Representation Tradeoffs for Hyperbolic Embeddings

https://arxiv.org/pdf/1804.03329.pdf

2.HyperQA (2017)Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering

https://arxiv.org/pdf/1707.07847.pdf

3.Chamberlain(2017)Neural Embeddings of Graphs in Hyperbolic Space

https://arxiv.org/pdf/1705.10359.pdf

4.Nickel&Kiela(2017)Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering

https://arxiv.org/pdf/1707.07847.pdf

5.Ganea (2017) Poincaré Embeddings for Learning Hierarchical Representations

https://arxiv.org/pdf/1705.08039.pdf

6.Nickel&Kiela(2018)Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry

https://arxiv.org/pdf/1806.03417.pdf

7.Gulcehre(2018) Hyperbolic Attention Networks

https://arxiv.org/pdf/1805.09786.pdf

8.Hyunghoon Cho (2018) Large-Margin Classification in Hyperbolic Space Hyunghoon Cho

https://arxiv.org/pdf/1806.00437.pdf

9.Enokida (2018) Stable Geodesic Update on Hyperbolic Space and its Application to Poincaré Embeddings

https://arxiv.org/pdf/1805.10487.pdf

10.Zhang&Sra(2018)Towards Riemannian Accelerated Gradient Methods

https://arxiv.org/pdf/1806.02812.pdf

11.Wilson&Leimeister(2018)Gradient descent in hyperbolic space

https://arxiv.org/pdf/1805.08207.pdf

12.Octavian-Eugen(2018) Hyperbolic Entailment Cones for Learning Hierarchical Embeddings

https://arxiv.org/pdf/1804.01882.pdf

13.Bhuwan Dhingra (2018)Embedding Text in Hyperbolic Spaces

https://arxiv.org/pdf/1806.04313.pdf

作者:Beliz Gunel, Fred Sala, Albert Gu, Christopher Ré

译者:陈孟园

审校:谷伟伟

编辑:集智小编

原文:https://hazyresearch.github.io/hyperE/

 

 

 

中国中文信息学会发布《2018知识图谱发展报告》

转自AMiner 学术头条 

中国中文信息学会成立于1981年6月。钱伟长、甄健民、安其春等为主要发起人。

中国中文信息学会是依法成立并经中国科学技术协会接纳的科学技术工作者的学术性群众团体,是具有独立社团法人资格的国家一级学会

其中包括了如下专业委员会:

  • 汉字编码专业委员会
  • 民族语言文字信息专业委员会
  • 基础理论专业委员会
  • 汉字信息处理系统专业委员会
  • 汉字设备专业委员会
  • 自然语言处理专业委员会
  • 计算语言学专业委员会
  • 汉字字形信息专业委员会
  • 教育专业委员会
  • 速记专业委员会
  • 人工智能与教育专业委员会
  • 信息检索专业委员会
  • 社会媒体处理专业委员会
  • 语言与知识计算专业委员会

此次发布《2018知识图谱发展报告》的是语言与知识计算专业委员会。

中国中文信息学会“语言与知识计算专业委员会” 致力于促进语言与知识计算领域的学术研究和产业发展,特别是促进从语言资源中获取知识的方法和策略的探索,以及促进知识驱动的语言理解技术和方案的研究。

“语言与知识计算专业委员会”于2014年筹办,并于武汉召开了第一次专业委员会工作会议,选举清华大学李涓子教授担任第一届专业委员会主任。目前专委会共有委员63人,分别来自于国内外的知名高校、研究所和企业。

专委会目前主要面向的研究领域有:

  •  知识表示
  • 知识图谱构建与信息抽取
  •  语义计算
  • 自然语言理解
  •  语义集成
  • 知识存储
  • 知识共享与基于知识的系统
  • 知识推理
  • 链接数据

《2018知识图谱发展报告》一共有163页,是语言与知识计算专委会邀请知识图谱技术领域专家对本学科方向和前沿技术的一次梳理,并在今后定期更新最新进展。

报告的定位是深度科普,旨在向政府、企业、媒体等对知识图谱感兴趣的研究机构和企业界介绍相关领域的基本概念、研究和应用方向,向高校、科研院所和高技术企业中从事相关工作的专业人士介绍相关领域的前沿技术和发展趋势。

报告目录如下(文末附下载链接)

第一章 知识表示与建模

第二章 知识表示学习

第三章 实体识别与链接

第四章 实体关系学习

第五章 事件知识学习

第六章 知识存储与查询

第七章 知识推理

第八章 通用和领域知识图谱

第九章 语义集成

第十章 语义搜索

第十一章 基于知识的问答

本文摘选了《第八章 通用和领域知识图谱》的部分内容,如需完整版报告,请至文末下载。

通用知识图谱案例

国外

国外的 DBpedia [Auer et al,2007]使用固定的模式从维基百科中抽取信息实体,当前拥有 127 种语言的超过两千八百万实体以及数亿 RDF 三元组;Yago[Suchanek et al,2007]则整合维基百科与 WordNet 的大规模本体, 拥有 10 种语言 约 459 万个实体,2400 万个事实;Babelnet [Navigli et al,2012]则采用将 WordNet词典与 Wikipedia 百科集成的方法,构建了一个目前最大规模的多语言词典知识 库,包含 271 种语言 1400 万同义词组、36.4 万词语关系和 3.8 亿链接关系。

国内

国内的 Zhishi.me 从开放的百科数据中抽取结构化数据,当前已融合了包括 百度百科、互动百科、中文维基三大百科的数据,拥有 1000 万个实体数据、一 亿两千万个 RDF 三元组;以通用百科为主线,结合垂直领域的 CN-DBPedia [Xu et al,2017],则从百科类网站的纯文本页面中提取信息,经过滤、融合、推断等操 作后形成高质量的结构化数据;XLore[Wang et al,2013]则是基于中文维基百科、 英文维基百科、百度百科、互动百科构建的大规模中英文知识平衡知识图谱。

领域知识图谱案例

领域知识图谱常常用来辅助各种复杂的分析应用或决策支持,如下图所示,在多个领域均有应用,不同领域的构建方案与应用形式则有所不同。

本文将以电商、企业商业、图情、创投四个领域为例,从知识建模的角度给大家介绍。

电商知识建模

电商知识图谱以商品为核心,以人、货、场为主要框架。目前共涉及 9 大类一级本体和 27 大类二级本体。一级本体分别为:人、货、场、百科知识、行业竞对、品质、类目、资质和舆情。人货场构成了商品信息流通的闭环,其他本体主要给予商品更丰富的信息描述。下图描述了商品知识图谱的数据模型,数据来源包含国内-国外数据,商业-国家数据,线上-线下等多源数据。目前有百亿级的节点和百亿级的关系边。

图情知识建模

图情知识图谱的构建一般采用自顶向下的方式进行知识建模,通常从资源类型数据入手,整理出资源的发表者(人物),发表机构(机构),关键词(知识点), 发表载体(刊物)等等类型的实体及各自之间的关系,同时通过人物、机构的主页进行实体属性的扩充。下图是一张典型的图情知识图谱 schema 模型,展示了概念与概念间的关系以及部分属性。

企业商业知识建模

构建企业商业知识图谱,通常关注企业与人物的任职关系、投资关系、分支机构关系。 从相应网站中抽取企业信息、人物形象、诉讼信息以及信用信息,再添加上市公司、股票等概念和相应属性。企业招投标信息、上市公司的股票信息可从相 关网站进行采集。企业的竞争关系、并购事件则从百科站点中进行抽取。这些信息存在于信息框、列表、表格等半结构化数据,以及无结构的纯文本中。其模式如下图所示。

创投知识建模

要定义创投知识图谱 schema,首先要理解创投领域的相关概念跟关系。创投领域 Schema 中涉及的概念主要包括初创公司、投资机构、投资人、公司高管、行业以及投融资事件等。融资事件是创投领域的核心,不同于实体节点,融资事件描述的是一个事实,具有抽象性。典型的创投 schema 如下图所示:


关注我们

你想要的科技资讯都在这