2018中国计算机大会（CNCC2018）将于10月25-27日在杭州国际博览中心（G20会场）举行，大会主题为「大数据推动数字经济」（Big Data Drives the Digital Economy）。
论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展，如何减少人工在样本方面的处理工作，以及如何使模型快速适应层出不穷的新样本，成为亟待解决的问题。零样本学习（Zero-Shot Learning, ZSL）的提出，则有效地解决了此类问题，它利用样本之间潜在的语义关系，使得模型可以处理一些之前从未处理过的样本，对于探索实现真正的人工智能具有非常重要的意义。而知识图谱作为包含丰富语义知识的一种载体，在零样本学习建立语义关系方面成为一种天然的帮助。
因此，本次论文浅尝将针对零样本学习现有的研究方法以及其中的知识图谱工作做一些分享。考虑到目前 ZSL 在 CV 领域应用比较广泛，此次的论文分享也以“图片分类”等与图片相关的任务为主。
论文浅尝 | 基于常识知识图谱感知和图注意力机制的对话生成
OpenKG 祝各位读者中秋快乐!
链接：http://coai.cs.tsinghua.edu.cn/hml/media/files/2018_commonsense_ZhouHao_3_TYVQ7Iq.pdf
动机
在以前的工作中，对话生成的信息源是文本与对话记录。但是这样一来，如果遇到 OOV 的词，模型往往难以生成合适的、有信息量的回复，而会产生一些低质的、模棱两可的回复。
为了解决这个问题，有一些利用常识知识图谱生成对话的模型被陆续提出。当使用常识性知识图谱时，由于具备背景知识，模型更加可能理解用户的输入，这样就能生成更加合适的回复。但是，这些结合了文本、对话记录、常识知识图谱的方法，往往只使用了单一三元组，而忽略了一个子图的整体语义，会导致得到的信息不够丰富。
为了解决这些问题，文章提出了一种基于常识知识图谱的对话模型（commonsense knowledge aware conversational model，CCM）来理解对话，并且产生信息丰富且合适的回复。本文提出的方法，利用了大规模的常识性知识图谱。首先是理解用户请求，找到可能相关的知识图谱子图；再利用静态图注意力（static graph attention）机制，结合子图来理解用户请求；最后使用动态图注意力（dynamic graph attention）机制来读取子图，并产生合适的回复。通过这样的方法，本文提出的模型可以生成合适的、有丰富信息的对话，提高对话系统的质量。
贡献
文章的贡献有：
（1）首次尝试使用大规模常识性知识图谱来处理对话生成问题；
（2）对知识图谱子图，提出了静态/动态图注意力机制来吸收常识知识，利于理解用户请求与生成对话；
方法
⒈Encoder-Decoder 模型
经典的Encoder-Decoder模型是基于sequence-to-sequence（seq2seq）的。encoder模型将用户输入（user post）X 用隐状态 H 来表示，而decoder模型使用另一个GRU来循环生成每一个阶段的隐状态
其中 c_t 是上下文向量，通过注意力机制按步生成。最终，decoder模型根据概率分布生成了输出状态，并产生每一步的输出token。
⒉模型框架：如下图1所示为本文提出的CCM模型框架。
图1 CCM模型框架
如图1所示，基于n个词输入，会输出n个词作为回复，模型的目的就是预估这么一个概率分布：
，即将图信息 G 加入到概率分布的计算中。在信息读取时，根据每个输入的词 x，找到常识知识图谱中对应的子图（若没有对应的子图，则会生成一个特殊的图Not_A_Fact），每个子图又包含若干三元组。在信息读取时，词向量与这个词对应的子图向量拼接，而子图向量是由采用静态图注意力机制生成的。当生成回复时，采用动态图注意力机制来引用图信息，即读取每个字对应的子图和子图中的实体，并且在生成当前回复时，通过概率计算应该是生成通用词还是这个子图中的相关实体。
⒊知识编译模块：如图2所示，为如何利用图信息编译post的示意图。
图2 知识编译模块
如图所示，当编译到“rays”时，会把这个词在知识图谱中相关的子图得到（图2最上的黄色高两部分），并生成子图的向量。每一个子图都包含了key entity（即这里的rays），以及这个“rays”的邻居实体和相连关系。对于词“of”，由于无法找到对应的子图，所以就采用特殊子图Not_A_Fact来编译。之后，采用基于静态注意力机制，CCM会将子图映射为向量 g_i，然后把词向量w(x_t)和 g_i 拼接为e(x_t)=[w(x_t); g_i]，并将这个 e(x_t) 替换传统encoder-decoder中的 e(x_t) 进行GRU计算。
对于静态图注意力机制，CCM是将子图中所有的三元组都考虑进来，而不是只计算一个三元组，这也是该模型的一个创新点。当得到子图时，且这个子图由三元组K表示, K(g_i)={k_1,k_2,…,k_(N_G)}。在计算时，就是将当前三元组的头实体与尾实体向量通过矩阵变换后相加，再经过正切激活函数后，与经过矩阵变换的关系进行点积，得到一个值。而将这个词向量与所有三元组进行计算后，再经过softmax，就得到了一个权重。把子图中所有头实体、尾实体按对相加，再基于权重计算加权和，就得到了图向量 g_i。
⒋知识生成模块
如下图3所示，为如何利用图信息生成回复的示意图。
图3 知识生成模块
在生成时，不同于静态图注意力机制，模型会读取所有相关的子图，而不是当前词对应的子图，而在读取时，读取注意力最大的就是图中粉色高亮的部分。生成时，会根据计算结果，来选择是生成通用字（generic word）还是子图中的实体。
在进行decoder时，公式改为
，而
是指，将生成的词向量，以及这个词来自的三元组向量进行拼接（如果生成的是一个通用词，那么三元组就是Not_A_Fact）。在这里，可以看到GRU的输入多了两个向量 c_t^g（来自于表示图信息的向量）和 c_t^k（表示三元组信息的向量）。
对于动态图注意力机制，是一种层次型的计算，即CCM先根据post相关的所有知识图谱子图来计算一个向量 c_t^g，再根据子图中的三元组再计算一个向量 c_t^k。对于上个阶段的隐状态输出 s_t，最终的 c_t^g 是图向量 g_i 的加权和。
然后，对于每个子图中的三元组 k_j，CCM又计算了一次注意力，最终的 c_t^k 是 k_j 的加权和，权重为对应图 g_i 的注意力权重与三元组 k_j 的注意力权重之积。
最终，每一个step的输出，是根据 s_t 来选择一个通用词或者子图中的实体。
⒌损失函数
损失函数为预期输出与实际输出的交叉熵，除此之外，为了监控选择通用词还是实体的概率，又增加了一个交叉熵。公式如下：
其中就是选择的概率，而就是一个Boolean值，表示在实际输出Y中是选择了通用词还是实体。
实验
⑴. 实验相关细节
常识性知识图谱选用了ConceptNet，对话数据集选用了reddit的一千万条数据集，如果一个post-response不能以一个三元组表示（一个实体出现于post，另一个出现于response），就将这个数据去除。然后对剩下的对话数据，根据post的词的出现频数，分为四类。
而基线系统选择了如下三个：只从对话数据中生成response的seq2seq模型、存储了以TransE形式表示知识图谱的MemNet模型、从三元组中copy一个词或生成通用词的CopyNet。
而选用metric的时候，采用了刻画回复内容是否语法正确且贴近主题的perplexity，以及有多少个知识图谱实体被生成的entity score。
⑵. 实验结果
如下图4所示，为根据perplexity和entity score进行的性能比较，可见CCM的perplexity最低，且选取entity的数量最多。并且，在低频词时，选用的entity更多。这表示在训练时比较罕见的词（实体）会需要更多的背景知识来生成答复。
图4 CCM与基线系统对比结果
另外，作者还采用众包的方式，来人为审核response的质量，并采用了两种度量值appropriateness（内容是否语法正确，是否与主题相关，是否有逻辑）与informativeness（内容是否提供了post之外的新信息）。如下图5所示，为基于众包的性能比较结果。
图5 CCM与基线系统基于众包的对比结果
从图5中可见，CCM对于三个基线系统来说，都有将近60%的回复是更优的。并且，在OOV的数据集上，CCM比seq2seq高出很多，这是由于CCM对于这些低频词或未登录词，可以用知识图谱去补全，而seq2seq没有这样的知识来源。
而在case study中，当在post中遇到未登录词“breakable”时，seq2seq和MemNet都只能输出一些通用的、模棱两可的、毫无信息量的回复。CopyNet能够利用知识图谱输出一些东西，但是并不合适。而CCM却可以输出一个合理的回复。
总结
本文提出了一种结合知识图谱信息的encoder-decoder方法，引入静态/动态图注意力机制有效地改善了对话系统中response的质量。通过自动的和基于众包的形式进行性能对比，CCM模型都是优于基线系统的。
论文笔记整理：花云程，东南大学博士，研究方向为知识图谱问答、自然语言处理。
OpenKG.CN
中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
白雪 | NLP加持知识图谱在金融事件挖掘中的应用
本文转载自公众号：阡寻科技。
9月15日讯，涵盖金融科技、人工智能及区块链领域的2018恒生技术开放日于今日开幕，阡寻科技联席CEO、复旦大学人工智能方向博士白雪受邀出席本次大会，分享了金融领域事件特点分析、常用的事件抽取方法以及金融知识图谱加持NLP等方面的实践与心得。与参会人员共同探讨了自然语言与知识图谱未来的发展方向，并对人工智能技术在金融领域的应用进行了展望。
【金融领域事件特点分析】
资本运作，并购、高管动向等事件会对金融产品价格产生冲击，这些事件会引发股票、期货等金融产品价格的波动，并且由于各方对事件解读的观点不同，对标的价格也会产生不同的影响，故需要对这些事件进行特点分析，通过文本数据解析与语义理解，从多维度建立立体的关联关系，来满足投资者对事件更快、更全、更准确的挖掘需求。
【常用的事件抽取方法】
事件抽取是对文本进行预处理、触发词抽取与论元识别等步骤后，从非结构化信息中抽取出特定的元素，并以结构化的形式呈现给用户。白博士向大家展示了事件抽取的大致流程，首先以基于规则或机器学习的方法来判断句子的属性，然后抽取事件骨干，同时围绕同一事件可能存在的多个表达句子，用实体对齐、同义词对齐等手段进行泛化，再通过抽取公共子串或“填坑”的方式来“拼凑”完整的事件表达式。
【金融知识图谱加持NLP】
金融行业产业链上的各元素之间存在着一定的逻辑关系，这些相近的元素可以从词库的扩充，子图近邻的相似等方面，进行语义理解与词法分析处理，对NLP进行加持与助力，进一步的，还能基于图谱路径进行事件的关联和推理。知识图谱在场景识别、关联查询、交叉验证等各种NLP和AI任务上都能起到积极作用。
在事件沿知识图谱的推理上，白博士以泰国特大洪水与新能源汽车销量上涨，分别对橡胶行业和下游碳酸锂电池生产企业股价的影响为例，分析了沿知识图谱多步推理的原理，此项技术在金融投资领域具有广泛的需求，可帮助人们及时发现投资机会与潜在风险。
白博士坦言NLP+知识图谱、事件抽取和推理等方向，尚处在研发应用初级阶段，未来发展空间很广，仍需大家不断的努力。
阡寻科技将深度发掘自然语言与知识图谱在金融科技、工业智能化、监管科技领域的应用，为市场带来股票对话机器人、事件预警、智能资讯、自动报告、智能公告、知识图谱构建与推理、智能矿山系统等多种产品，打造一个全方位覆盖行业产业链的数字信息平台。
徐阿衡 | 知识抽取-实体及关系抽取(一)
本文转载自公众号：徐阿衡。
这一篇是关于知识抽取，整理并补充了上学时的两篇笔记 NLP笔记 – Information Extraction 和 NLP笔记 – Relation Extraction，梳理了知识抽取的基本方法，包括传统机器学习及经典的深度学习方法。
知识抽取涉及的“知识”通常是 清楚的、事实性的信息，这些信息来自不同的来源和结构，而对不同数据源进行的知识抽取的方法各有不同，从结构化数据中获取知识用 D2R，其难点在于复杂表数据的处理，包括嵌套表、多列、外键关联等，从链接数据中获取知识用图映射，难点在于数据对齐，从半结构化数据中获取知识用包装器，难点在于 wrapper 的自动生成、更新和维护，这一篇主要讲从文本中获取知识，也就是我们广义上说的信息抽取。
信息抽取三个最重要/最受关注的子任务：
- 实体抽取 也就是命名实体识别，包括实体的检测（find）和分类（classify）
- 关系抽取 通常我们说的三元组（triple） 抽取，一个谓词（predicate）带 2 个形参（argument），如 Founding-location(IBM,New York)
- 事件抽取 相当于一种多元关系的抽取
篇幅限制，这一篇主要整理实体抽取和关系抽取，下一篇再上事件抽取。
1. 相关竞赛与数据集
信息抽取相关的会议/数据集有 MUC、ACE、KBP、SemEval 等。其中，ACE(Automated Content Extraction) 对 MUC 定义的任务进行了融合、分类和细化，KBP(Knowledge Base Population) 对 ACE 定义的任务进一步修订，分了四个独立任务和一个整合任务，包括
- Cold Start KB (CSKB) 端到端的冷启动知识构建
- Entity Discovery and Linking (EDL) 实体发现与链接
- Slot Filling (SF) 槽填充
- Event 事件抽取
- Belief/Sentiment (BeSt) 信念和情感
至于 SemEval 主要是词义消歧评测，目的是增加人们对词义、多义现象的理解。
ACE 的 17 类关系
具体的应用实例
常用的 Freebase relations
还有的一些世界范围内知名的高质量大规模开放知识图谱，如包括 DBpedia、Yago、Wikidata、BabelNet、ConceptNet 以及 Microsoft Concept Graph等，中文的有开放知识图谱平台 OpenKG……
2. 实体抽取
实体抽取或者说命名实体识别（NER）在信息抽取中扮演着重要角色，主要抽取的是文本中的原子信息元素，如人名、组织/机构名、地理位置、事件/日期、字符值、金额值等。实体抽取任务有两个关键词：find & classify，找到命名实体，并进行分类。
主要应用：
- 命名实体作为索引和超链接
- 情感分析的准备步骤，在情感分析的文本中需要识别公司和产品，才能进一步为情感词归类
- 关系抽取（Relation Extraction）的准备步骤
- QA 系统，大多数答案都是命名实体
2.1 传统机器学习方法
标准流程：
Training:
- 收集代表性的训练文档
- 为每个 token 标记命名实体(不属于任何实体就标 Others O)
- 设计适合该文本和类别的特征提取方法
- 训练一个 sequence classifier 来预测数据的 label
Testing:
- 收集测试文档
- 运行 sequence classifier 给每个 token 做标记
- 输出命名实体
2.1.1 编码方式
看一下最常用的两种 sequence labeling 的编码方式，IO encoding 简单的为每个 token 标注，如果不是 NE 就标为 O(other)，所以一共需要 C+1 个类别(label)。而 IOB encoding 需要 2C+1 个类别(label)，因为它标了 NE boundary，B 代表 begining，NE 开始的位置，I 代表 continue，承接上一个 NE，如果连续出现两个 B，自然就表示上一个 B 已经结束了。
在 Stanford NER 里，用的其实是 IO encoding，有两个原因，一是 IO encoding 运行速度更快，二是在实践中，两种编码方式的效果差不多。IO encoding 确定 boundary 的依据是，如果有连续的 token 类别不为 O，那么类别相同，同属一个 NE；类别不相同，就分割，相同的 sequence 属同一个 NE。而实际上，两个 NE 是相同类别这样的现象出现的很少，如上面的例子，Sue，Mengqiu Huang 两个同是 PER 类别，并不多见，更重要的是，在实践中，虽然 IOB encoding 能规定 boundary，而实际上它也很少能做对，它也会把 Sue Mengqiu Huang 分为同一个 PER，这主要是因为更多的类别会带来数据的稀疏。
2.1.2 特征选择
Features for sequence labeling:
再来看两个比较重要的 feature
Word substrings
Word substrings (包括前后缀)的作用是很大的，以下面的例子为例，NE 中间有 ‘oxa’ 的十有八九是 drug，NE 中间有 ‘:’ 的则大多都是 movie，而以 field 结尾的 NE 往往是 place。
Word shapes
可以做一个 mapping，把 单词长度(length)、大写(capitalization)、数字(numerals)、希腊字母(Greek eltters)、单词内部标点(internal punctuation) 这些字本身的特征都考虑进去。
如下表，把所有大写字母映射为 X，小写字母映射为 x，数字映射为 d…
2.1.3 序列模型
NLP 的很多数据都是序列类型，像 sequence of characters, words, phrases, lines, sentences，我们可以把这些任务当做是给每一个 item 打标签，如下图：
常见的序列模型有 有向图模型 如 HMM，假设特征之间相互独立，找到使得 P(X,Y) 最大的参数，生成式模型；无向图模型 如 CRF，没有特征独立的假设，找到使得 P(Y|X) 最大的参数，判别式模型。相对而言，CRF 优化的是联合概率（整个序列，实际就是最终目标），而不是每个时刻最优点的拼接，一般而言性能比 CRF 要好，在小数据上拟合也会更好。
整个流程如图所示：
讨论下最后的 inference
最基础的是 “decide one sequence at a time and move on”，也就是一个 greedy inference，比如在词性标注中，可能模型在位置 2 的时候挑了当前最好的 PoS tag，但是到了位置 4 的时候，其实发现位置 2 应该有更好的选择，然而，greedy inference 并不会 care 这些。因为它是贪婪的，只要当前最好就行了。除了 greedy inference，比较常见的还有 beam inference 和 viterbi inference。
2.1.3.1 Greedy Inference
优点:
- 速度快，没有额外的内存要求
- 非常易于实现
- 有很丰富的特征，表现不错
缺点:
- 贪婪
2.1.3.2 Beam Inference
- 在每一个位置，都保留 top k 种可能(当前的完整序列)
- 在每个状态下，考虑上一步保存的序列来进行推进
优点:
- 速度快，没有额外的内存要求
- 易于实现(不用动态规划)
缺点:
- 不精确，不能保证找到全局最优
2.1.3.3 Viterbi Inference
- 动态规划
- 需要维护一个 fix small window
优点:
- 非常精确，能保证找到全局最优序列
缺点:
- 难以实现远距离的 state-state interaction
2.2 深度学习方法
2.2.1 LSTM+CRF
最经典的 LSTM+CRF，端到端的判别式模型，LSTM 利用过去的输入特征，CRF 利用句子级的标注信息，可以有效地使用过去和未来的标注来预测当前的标注。
2.3 评价指标
评估 IR 系统或者文本分类的任务，我们通常会用到 precision，recall，F1 这种 set-based metrics，见信息检索评价的 Unranked Boolean Retrieval Model 部分，但是在这里对 NER 这种 sequence 类型任务的评估，如果用这些 metrics，可能出现 boundary error 之类的问题。因为 NER 的评估是按每个 entity 而不是每个 token 来计算的，我们需要看 entity 的 boundary。
以下面一句话为例
| 1 | First Bank of Chicago
announced earnings… |
正确的 NE 应该是 First Bank of Chicago，类别是 ORG，然而系统识别了 Bank of Chicago，类别 ORG，也就是说，右边界(right boundary)是对的，但是左边界(left boundary)是错误的，这其实是一个常见的错误。
| 1
2 3 4 5 |
正确的标注：
ORG – (1,4) 系统： ORG – (2,4) |
而计算 precision，recall 的时候，我们会发现，对 ORG – (1,4) 而言，系统产生了一个 false negative，对 ORG – (2,4) 而言，系统产生了一个 false positive！所以系统有了 2 个错误。F1 measure 对 precision，recall 进行加权平均，结果会更好一些，所以经常用来作为 NER 任务的评估手段。另外，专家提出了别的建议，比如说给出 partial credit，如 MUC scorer metric，然而，对哪种 case 给多少的 credit，也需要精心设计。
2.4 其他-实体链接
实体识别完成之后还需要进行归一化，比如万达集团、大连万达集团、万达集团有限公司这些实体其实是可以融合的。
主要步骤如下：
- 实体识别 命名实体识别，词典匹配
- 候选实体生成 表层名字扩展，搜索引擎，查询实体引用表
- 候选实体消歧 图方法，概率生成模型，主题模型，深度学习
补充一些开源系统：
- http://acube.di.unipi.it/tagme
- https://github.com/parthatalukdar/junto
- http://orion.tw.rpi.edu/~zhengj3/wod/wikify.php
- https://github.com/yahoo/FEL
- https://github.com/yago-naga/aida
- http://www.nzdl.org/wikification/about.html
- http://aksw.org/Projects/AGDISTIS.html
- https://github.com/dalab/pboh-entity-linking
-End-
原文链接：http://www.shuang0420.com/2018/09/15/%E7%9F%A5%E8%AF%86%E6%8A%BD%E5%8F%96-%E5%AE%9E%E4%BD%93%E5%8F%8A%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96/
学术前沿——双曲空间中的网络、单词及其知识图谱
埃舍尔版版画是描绘了双曲空间
导语
康奈尔大学计算机科学系教授Chris De Sa 与斯坦福大学计算机科学系博士生Albert Gu 携手构建出高效的嵌入算法——使用双曲线组合结构嵌入算法，以更低的维度更好地嵌入文本、知识图谱等非结构化的数据。
编译：集智俱乐部翻译组
原题：HyperE: Hyperbolic Embeddings for Entities
神奇的双曲线嵌入算法
最早在2017年，Nickel＆Kiela提出了使用双曲线代替欧几里得嵌入空间来表示分层数据(该过程也称嵌入)，并且在嵌入图形时表现出了较好的结果。
由此，双曲线嵌入在机器学习界引起了广泛的关注。那么双曲线嵌入相对于传统的嵌入方法有什么优点？
- 双曲线嵌入可以在很少的维度上保留图形实体间的距离
- 充分表达层级结构
今天介绍的的这篇文章提出的一种双曲线嵌入的算法，该算法不仅可以完成知识库处理相关的任务，并且可以作为一个用来处理NLP任务，例如Question & Answering等。
在论文中，作者提出了解决优化潜在问题的新方法，并阐明了如何权衡每种方法。当嵌入分层数据结构（如同义词或类型层次结构）时，双曲线嵌入可以用较少的维度，表达出复杂的网络信息。
例如，给定一棵树形的网络，该论文给出了一个组合结构，可以将树嵌入双曲空间中，在不使用优化算法时就可以达到较低的失真率。在WordNet上，在双曲空间中只使用了两个维度，该嵌入算法平均精度（MAP）就达到了0.989，Nickel等人提出的双曲空间结构使用200维也只获得了0.87的平均精度。
为了嵌入一般度量空间，论文中提出了多维尺度（h-MDS）的双曲线推广算法。该算法展示了如何从距离中精确恢复双曲点，算法显示，即使在维度很少的情况下，h-MDS算法也可以很好地恢复双曲点。
数据库及源码下载
论文在如下三个层次网络中做了双曲嵌入的实验，这些网络分别为：WordNet、Wikidata、UMLS（统一医学语言系统）和MusicBrainz（开放数据音乐数据库）。该算法通过“相似性”和“类比”的双曲线评估嵌入的好坏。并基于PyTorch实现了一个可以处理不完整信息并且可扩展的HyperE 嵌入算法。文章中各种实体嵌入可以在下面以GloVe格式下载。
WordNet：https://wordnet.princeton.edu/
Wikidata：https://www.wikidata.org/wiki/Wikidata:Main_Page
UMLS：https://www.wikidata.org/wiki/Wikidata:Main_Page
MusicBrainz：https://musicbrainz.org
读者们可以在GloVe格式的WordNet，Wikidata，UMLS和MusicBrainz中以各种维度（10d，20d，50d，100d）下载64位精度的实体嵌入。因为双曲线嵌入与欧几里得嵌入不同，嵌入的比例因子不是固定不变的，因此作者在顶行中写明了嵌入的比例因子。
通过将知识图谱中实体对应的双曲线距离除以所提供的比例因子，可以近似地恢复实体之间的输入图形的距离。该算法还提供了预处理脚本以创建输入图的边缘列表。这里还可以使用作者的公开的代码来查看如何使用双曲线实体嵌入。
实现双曲实体嵌入的公开代码：
https://github.com/belizgunel/hyperE/tree/master/demo
来自Wordnet的WordNet Hypernym，域主题和成员全名层次结构。（WordNet.zip 161MB）
https://stanford.box.com/shared/static/u06nzqy2eyi6eh01830ci156giepxrj0.zip
Wikidata实体层次结构，包括来自各个领域的100个属性，包括生物学，体育，经济学，政治学，计算机科学等等。（ Wikidata.zip 2.15GB）
https://stanford.box.com/shared/static/ozkvxryzib6kmjad9hyb0emq84to2ssz.zip
UMLS诊断层次结构来自ICD-9-CM和UMLS的ICD-10-CM词汇表。（UMLS.zip 123MB）
https://stanford.box.com/shared/static/yk0nwnix1a9nda13ws5hbdetm4zo9mvw.zip
MusicBrainz来自MusicBrainz的样本艺术家，专辑和歌曲层次结构。（MusicBrainz.zip 16MB）
https://stanford.box.com/shared/static/8anfeaia53pwsagvag9g6rlys932sj00.zip
双曲空间中的“词类比”
在许多自然语言处理（NLP）应用中，将词嵌入欧几里得空间中可以成功地编码单词之间的语义关系。评估词嵌入效果好坏的一种方法是“词类比”准确度。比如，经常在小学语文卷子中出的填空题目：
“北京(a)对中国(b)=华盛顿(c)对______ ”。
传统的NLP模型GloVe模型通过嵌入的余弦相似性找到词d，d的词嵌入最接近向量b -a + c。
在HyperE嵌入算法中，作者使用双曲线距离长短作为相似度量，距离越小相似性越高。换句话说，将具有最小双曲线距离的向量d作为b -a + c双曲线模拟的输出。我们将这个类比实验扩展到Wikidata中的实体层次结构，并尝试了一些具有不同关系的样本。
下边的表格是使用文章中的组合方法生成的实体嵌入做“词类似问答“的结果。嵌入为10维，64位精度。可以看出嵌入向量d正确的回答了”词类似“问题。
检测关系
知识图谱： 实体-关系-实体/实体-属性-属性值
在音乐数据嵌入中，歌曲 – 专辑连边权重为2，专辑 – 艺术家连边权重为1.我们可以使用这些权重和嵌入式层次结构通过简单地计算嵌入点之间的双曲线距离来检测实体之间的关系类型。
例如，第一行的两首歌曲来自甲壳虫乐队的“Sgt.Pepper’s Lonely Hearts Club Band”专辑，文章的嵌入识别出了这种关系。接下来第二行的两首歌是披头士乐队的歌曲，但来自不同的专辑。最后，滚石乐队和AC / DC乐队的歌曲显示为无关，双曲线中距离的远近可以很好的表示两首歌曲实际关系的远近。
嵌入效果
与欧几里得空间相比，双曲空间能够将知识图谱中的层次关系信息压缩到非常少的维度。保留几个输入的关系图中实体对之间的关系，通过实验的准确率及召回率的结果我们得知：双曲线空间嵌入通过保持实体间的距离实现多层嵌入。在此任务中，“正确”代表着，如果输入图形中的实体对有一条连边，则最终实体嵌入之间的双曲线距离除以基于输入图形计算的比例因子之后应当保持在1（±0.01）内。
每一个嵌入都是使用我们的组合方法生成的，维度是10维，精度为64位。下图是HyperE的精确率和召回率。
双曲空间可视化
在欧几里得空间中，圆周和圆盘区域分别随半径线性、平方地增长。然而，在双曲空间中，它们都相对于半径呈指数增长，这一性质特别有利于嵌入树型的分层结构。
下面介绍了不同嵌入方法的一些可视化。左图是使用作者基于随机梯度下降的优化方法嵌入一个简单的树，它最小化基于双曲线距离的损失函数。对于相同的输入图，右图是使用作者提出的组合结构，这是一种确切的算法，可以精确地放置树顶点。关于组合算法，在作者的论文中有详细的阐述。
论文题目：Representation Tradeoffs for Hyperbolic Embeddings
论文地址：https://arxiv.org/pdf/1804.03329.pdf
上图：优化的随机梯度下降法构造，下图：组合算法构造
相关工作
双曲线嵌入的研究是由最近的研究论文推动的，这些论文表明双曲线表示适用于各种层次结构，应用包括Tay等人的问答（QA）系统——HyperQA （2017），Chamberlain等人的顶点分类器（2017），以及Nickel＆Kiela（2017）中的链路预测。
Ganea等人（2018）提出了嵌入蕴涵关系，即用带有双曲锥的有向无环图作为启发式算法。Dhingra等人（2018）研究了双曲词和句子嵌入。其中许多论文使用双曲线几何的庞加莱模型 ; 作者的的工作和Nickel＆Kiela（2018）认为其他模型，如双曲面空间的双曲面模型，对于某些任务可能更简单。当然，总是可以在模型之间进行转换。
最近的研究方法试图将双曲线运算添加到神经网络中。Gulcehre等（2018）使用双曲面模型引入了双曲线形式的注意力机制。
双曲线运算也可以应用于支持向量机，如Cho等人的研究（2018）。
基于双曲线优化的下降方法也有了新的应用研究; 这些研究作品包括Enokida等（2018）用于测地线更新，Zhang和Sra（2018）用于加速黎曼梯度法，而Wilson＆Leimeister（2018）用于使用双曲面模型在双曲空间中进行梯度下降。
参考文献及论文地址
1.HyperE (2018) Representation Tradeoffs for Hyperbolic Embeddings
https://arxiv.org/pdf/1804.03329.pdf
2.HyperQA （2017）Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering
https://arxiv.org/pdf/1707.07847.pdf
3.Chamberlain（2017）Neural Embeddings of Graphs in Hyperbolic Space
https://arxiv.org/pdf/1705.10359.pdf
4.Nickel＆Kiela（2017）Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering
https://arxiv.org/pdf/1707.07847.pdf
5.Ganea (2017) Poincaré Embeddings for Learning Hierarchical Representations
https://arxiv.org/pdf/1705.08039.pdf
6.Nickel＆Kiela（2018）Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry
https://arxiv.org/pdf/1806.03417.pdf
7.Gulcehre（2018) Hyperbolic Attention Networks
https://arxiv.org/pdf/1805.09786.pdf
8.Hyunghoon Cho (2018) Large-Margin Classification in Hyperbolic Space Hyunghoon Cho
https://arxiv.org/pdf/1806.00437.pdf
9.Enokida (2018) Stable Geodesic Update on Hyperbolic Space and its Application to Poincaré Embeddings
https://arxiv.org/pdf/1805.10487.pdf
10.Zhang&Sra（2018）Towards Riemannian Accelerated Gradient Methods
https://arxiv.org/pdf/1806.02812.pdf
11.Wilson＆Leimeister（2018）Gradient descent in hyperbolic space
https://arxiv.org/pdf/1805.08207.pdf
12.Octavian-Eugen(2018) Hyperbolic Entailment Cones for Learning Hierarchical Embeddings
https://arxiv.org/pdf/1804.01882.pdf
13.Bhuwan Dhingra （2018）Embedding Text in Hyperbolic Spaces
https://arxiv.org/pdf/1806.04313.pdf
作者：Beliz Gunel, Fred Sala, Albert Gu, Christopher Ré
译者：陈孟园
审校：谷伟伟
编辑：集智小编
原文：https://hazyresearch.github.io/hyperE/
领域应用 | 为电商而生的知识图谱，如何感应用户需求？
中国中文信息学会发布《2018知识图谱发展报告》
转自AMiner 学术头条
中国中文信息学会成立于1981年6月。钱伟长、甄健民、安其春等为主要发起人。
中国中文信息学会是依法成立并经中国科学技术协会接纳的科学技术工作者的学术性群众团体，是具有独立社团法人资格的国家一级学会。
其中包括了如下专业委员会：
- 汉字编码专业委员会
- 民族语言文字信息专业委员会
- 基础理论专业委员会
- 汉字信息处理系统专业委员会
- 汉字设备专业委员会
- 自然语言处理专业委员会
- 计算语言学专业委员会
- 汉字字形信息专业委员会
- 教育专业委员会
- 速记专业委员会
- 人工智能与教育专业委员会
- 信息检索专业委员会
- 社会媒体处理专业委员会
- 语言与知识计算专业委员会
此次发布《2018知识图谱发展报告》的是语言与知识计算专业委员会。
中国中文信息学会“语言与知识计算专业委员会” 致力于促进语言与知识计算领域的学术研究和产业发展，特别是促进从语言资源中获取知识的方法和策略的探索，以及促进知识驱动的语言理解技术和方案的研究。
“语言与知识计算专业委员会”于2014年筹办，并于武汉召开了第一次专业委员会工作会议，选举清华大学李涓子教授担任第一届专业委员会主任。目前专委会共有委员63人，分别来自于国内外的知名高校、研究所和企业。
专委会目前主要面向的研究领域有：
- 知识表示
- 知识图谱构建与信息抽取
- 语义计算
- 自然语言理解
- 语义集成
- 知识存储
- 知识共享与基于知识的系统
- 知识推理
- 链接数据
《2018知识图谱发展报告》一共有163页，是语言与知识计算专委会邀请知识图谱技术领域专家对本学科方向和前沿技术的一次梳理,并在今后定期更新最新进展。
报告的定位是深度科普,旨在向政府、企业、媒体等对知识图谱感兴趣的研究机构和企业界介绍相关领域的基本概念、研究和应用方向,向高校、科研院所和高技术企业中从事相关工作的专业人士介绍相关领域的前沿技术和发展趋势。
报告目录如下（文末附下载链接）
第一章 知识表示与建模
第二章 知识表示学习
第三章 实体识别与链接
第四章 实体关系学习
第五章 事件知识学习
第六章 知识存储与查询
第七章 知识推理
第八章 通用和领域知识图谱
第九章 语义集成
第十章 语义搜索
第十一章 基于知识的问答
本文摘选了《第八章 通用和领域知识图谱》的部分内容，如需完整版报告，请至文末下载。
通用知识图谱案例
国外
国外的 DBpedia [Auer et al,2007]使用固定的模式从维基百科中抽取信息实体，当前拥有 127 种语言的超过两千八百万实体以及数亿 RDF 三元组;Yago[Suchanek et al,2007]则整合维基百科与 WordNet 的大规模本体， 拥有 10 种语言 约 459 万个实体，2400 万个事实;Babelnet [Navigli et al,2012]则采用将 WordNet词典与 Wikipedia 百科集成的方法，构建了一个目前最大规模的多语言词典知识 库，包含 271 种语言 1400 万同义词组、36.4 万词语关系和 3.8 亿链接关系。
国内
国内的 Zhishi.me 从开放的百科数据中抽取结构化数据，当前已融合了包括 百度百科、互动百科、中文维基三大百科的数据，拥有 1000 万个实体数据、一 亿两千万个 RDF 三元组;以通用百科为主线，结合垂直领域的 CN-DBPedia [Xu et al,2017]，则从百科类网站的纯文本页面中提取信息，经过滤、融合、推断等操 作后形成高质量的结构化数据;XLore[Wang et al,2013]则是基于中文维基百科、 英文维基百科、百度百科、互动百科构建的大规模中英文知识平衡知识图谱。
领域知识图谱案例
领域知识图谱常常用来辅助各种复杂的分析应用或决策支持，如下图所示，在多个领域均有应用，不同领域的构建方案与应用形式则有所不同。
本文将以电商、企业商业、图情、创投四个领域为例，从知识建模的角度给大家介绍。
电商知识建模
电商知识图谱以商品为核心，以人、货、场为主要框架。目前共涉及 9 大类一级本体和 27 大类二级本体。一级本体分别为:人、货、场、百科知识、行业竞对、品质、类目、资质和舆情。人货场构成了商品信息流通的闭环，其他本体主要给予商品更丰富的信息描述。下图描述了商品知识图谱的数据模型，数据来源包含国内-国外数据，商业-国家数据，线上-线下等多源数据。目前有百亿级的节点和百亿级的关系边。
图情知识建模
图情知识图谱的构建一般采用自顶向下的方式进行知识建模，通常从资源类型数据入手，整理出资源的发表者(人物)，发表机构(机构)，关键词(知识点)， 发表载体(刊物)等等类型的实体及各自之间的关系，同时通过人物、机构的主页进行实体属性的扩充。下图是一张典型的图情知识图谱 schema 模型，展示了概念与概念间的关系以及部分属性。
企业商业知识建模
构建企业商业知识图谱，通常关注企业与人物的任职关系、投资关系、分支机构关系。 从相应网站中抽取企业信息、人物形象、诉讼信息以及信用信息，再添加上市公司、股票等概念和相应属性。企业招投标信息、上市公司的股票信息可从相 关网站进行采集。企业的竞争关系、并购事件则从百科站点中进行抽取。这些信息存在于信息框、列表、表格等半结构化数据，以及无结构的纯文本中。其模式如下图所示。
创投知识建模
要定义创投知识图谱 schema，首先要理解创投领域的相关概念跟关系。创投领域 Schema 中涉及的概念主要包括初创公司、投资机构、投资人、公司高管、行业以及投融资事件等。融资事件是创投领域的核心，不同于实体节点，融资事件描述的是一个事实，具有抽象性。典型的创投 schema 如下图所示:
关注我们
你想要的科技资讯都在这
技术动态 | 人工智能开源软件发展现状连载——知识图谱开源软件
本文转载自公众号：中国人工智能开源软件发展联盟，欢迎大家点击文末二维码关注。