论文浅尝 | 基于常识知识图谱感知和图注意力机制的对话生成

 

OpenKG 祝各位读者中秋快乐!

链接:http://coai.cs.tsinghua.edu.cn/hml/media/files/2018_commonsense_ZhouHao_3_TYVQ7Iq.pdf

动机

在以前的工作中,对话生成的信息源是文本与对话记录。但是这样一来,如果遇到 OOV 的词,模型往往难以生成合适的、有信息量的回复,而会产生一些低质的、模棱两可的回复。

为了解决这个问题,有一些利用常识知识图谱生成对话的模型被陆续提出。当使用常识性知识图谱时,由于具备背景知识,模型更加可能理解用户的输入,这样就能生成更加合适的回复。但是,这些结合了文本、对话记录、常识知识图谱的方法,往往只使用了单一三元组,而忽略了一个子图的整体语义,会导致得到的信息不够丰富。

为了解决这些问题,文章提出了一种基于常识知识图谱的对话模型(commonsense knowledge aware conversational model,CCM)来理解对话,并且产生信息丰富且合适的回复。本文提出的方法,利用了大规模的常识性知识图谱。首先是理解用户请求,找到可能相关的知识图谱子图;再利用静态图注意力(static graph attention)机制,结合子图来理解用户请求;最后使用动态图注意力(dynamic graph attention)机制来读取子图,并产生合适的回复。通过这样的方法,本文提出的模型可以生成合适的、有丰富信息的对话,提高对话系统的质量。

贡献

文章的贡献有:

(1)首次尝试使用大规模常识性知识图谱来处理对话生成问题;

(2)对知识图谱子图,提出了静态/动态图注意力机制来吸收常识知识,利于理解用户请求与生成对话;

方法

⒈Encoder-Decoder 模型

经典的Encoder-Decoder模型是基于sequence-to-sequence(seq2seq)的。encoder模型将用户输入(user post)X 用隐状态 H 来表示,而decoder模型使用另一个GRU来循环生成每一个阶段的隐状态

其中 c_t 是上下文向量,通过注意力机制按步生成。最终,decoder模型根据概率分布生成了输出状态,并产生每一步的输出token。

 

⒉模型框架:如下图1所示为本文提出的CCM模型框架。

图1 CCM模型框架

如图1所示,基于n个词输入,会输出n个词作为回复,模型的目的就是预估这么一个概率分布:

,即将图信息 G 加入到概率分布的计算中。在信息读取时,根据每个输入的词 x,找到常识知识图谱中对应的子图(若没有对应的子图,则会生成一个特殊的图Not_A_Fact),每个子图又包含若干三元组。在信息读取时,词向量与这个词对应的子图向量拼接,而子图向量是由采用静态图注意力机制生成的。当生成回复时,采用动态图注意力机制来引用图信息,即读取每个字对应的子图和子图中的实体,并且在生成当前回复时,通过概率计算应该是生成通用词还是这个子图中的相关实体。

⒊知识编译模块:如图2所示,为如何利用图信息编译post的示意图。

图2 知识编译模块

如图所示,当编译到“rays”时,会把这个词在知识图谱中相关的子图得到(图2最上的黄色高两部分),并生成子图的向量。每一个子图都包含了key entity(即这里的rays),以及这个“rays”的邻居实体和相连关系。对于词“of”,由于无法找到对应的子图,所以就采用特殊子图Not_A_Fact来编译。之后,采用基于静态注意力机制,CCM会将子图映射为向量 g_i,然后把词向量w(x_t)和 g_i 拼接为e(x_t)=[w(x_t); g_i],并将这个 e(x_t) 替换传统encoder-decoder中的 e(x_t) 进行GRU计算。

对于静态图注意力机制,CCM是将子图中所有的三元组都考虑进来,而不是只计算一个三元组,这也是该模型的一个创新点。当得到子图时,且这个子图由三元组K表示, K(g_i)={k_1,k_2,…,k_(N_G)}。在计算时,就是将当前三元组的头实体与尾实体向量通过矩阵变换后相加,再经过正切激活函数后,与经过矩阵变换的关系进行点积,得到一个值。而将这个词向量与所有三元组进行计算后,再经过softmax,就得到了一个权重。把子图中所有头实体、尾实体按对相加,再基于权重计算加权和,就得到了图向量 g_i。

 

⒋知识生成模块

如下图3所示,为如何利用图信息生成回复的示意图。

图3 知识生成模块

在生成时,不同于静态图注意力机制,模型会读取所有相关的子图,而不是当前词对应的子图,而在读取时,读取注意力最大的就是图中粉色高亮的部分。生成时,会根据计算结果,来选择是生成通用字(generic word)还是子图中的实体。

在进行decoder时,公式改为

,而

是指,将生成的词向量,以及这个词来自的三元组向量进行拼接(如果生成的是一个通用词,那么三元组就是Not_A_Fact)。在这里,可以看到GRU的输入多了两个向量 c_t^g(来自于表示图信息的向量)和 c_t^k(表示三元组信息的向量)。

对于动态图注意力机制,是一种层次型的计算,即CCM先根据post相关的所有知识图谱子图来计算一个向量 c_t^g,再根据子图中的三元组再计算一个向量 c_t^k。对于上个阶段的隐状态输出 s_t,最终的 c_t^g 是图向量 g_i 的加权和。

然后,对于每个子图中的三元组 k_j,CCM又计算了一次注意力,最终的 c_t^k 是 k_j 的加权和,权重为对应图 g_i 的注意力权重与三元组 k_j 的注意力权重之积。

最终,每一个step的输出,是根据 s_t 来选择一个通用词或者子图中的实体。

 

⒌损失函数

损失函数为预期输出与实际输出的交叉熵,除此之外,为了监控选择通用词还是实体的概率,又增加了一个交叉熵。公式如下:

其中就是选择的概率,而就是一个Boolean值,表示在实际输出Y中是选择了通用词还是实体。

实验

⑴. 实验相关细节

常识性知识图谱选用了ConceptNet,对话数据集选用了reddit的一千万条数据集,如果一个post-response不能以一个三元组表示(一个实体出现于post,另一个出现于response),就将这个数据去除。然后对剩下的对话数据,根据post的词的出现频数,分为四类。

而基线系统选择了如下三个:只从对话数据中生成response的seq2seq模型、存储了以TransE形式表示知识图谱的MemNet模型、从三元组中copy一个词或生成通用词的CopyNet。

而选用metric的时候,采用了刻画回复内容是否语法正确且贴近主题的perplexity,以及有多少个知识图谱实体被生成的entity score。

 

⑵. 实验结果

如下图4所示,为根据perplexity和entity score进行的性能比较,可见CCM的perplexity最低,且选取entity的数量最多。并且,在低频词时,选用的entity更多。这表示在训练时比较罕见的词(实体)会需要更多的背景知识来生成答复。

图4 CCM与基线系统对比结果

另外,作者还采用众包的方式,来人为审核response的质量,并采用了两种度量值appropriateness(内容是否语法正确,是否与主题相关,是否有逻辑)与informativeness(内容是否提供了post之外的新信息)。如下图5所示,为基于众包的性能比较结果。

图5 CCM与基线系统基于众包的对比结果

从图5中可见,CCM对于三个基线系统来说,都有将近60%的回复是更优的。并且,在OOV的数据集上,CCM比seq2seq高出很多,这是由于CCM对于这些低频词或未登录词,可以用知识图谱去补全,而seq2seq没有这样的知识来源。

而在case study中,当在post中遇到未登录词“breakable”时,seq2seq和MemNet都只能输出一些通用的、模棱两可的、毫无信息量的回复。CopyNet能够利用知识图谱输出一些东西,但是并不合适。而CCM却可以输出一个合理的回复。

总结

本文提出了一种结合知识图谱信息的encoder-decoder方法,引入静态/动态图注意力机制有效地改善了对话系统中response的质量。通过自动的和基于众包的形式进行性能对比,CCM模型都是优于基线系统的。

 

论文笔记整理:花云程,东南大学博士,研究方向为知识图谱问答、自然语言处理。


OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

白雪 | NLP加持知识图谱在金融事件挖掘中的应用

本文转载自公众号:阡寻科技

9月15日讯,涵盖金融科技、人工智能及区块链领域的2018恒生技术开放日于今日开幕,阡寻科技联席CEO、复旦大学人工智能方向博士白雪受邀出席本次大会,分享了金融领域事件特点分析、常用的事件抽取方法以及金融知识图谱加持NLP等方面的实践与心得。与参会人员共同探讨了自然语言与知识图谱未来的发展方向,并对人工智能技术在金融领域的应用进行了展望。

【金融领域事件特点分析】

资本运作,并购、高管动向等事件会对金融产品价格产生冲击,这些事件会引发股票、期货等金融产品价格的波动,并且由于各方对事件解读的观点不同,对标的价格也会产生不同的影响,故需要对这些事件进行特点分析,通过文本数据解析与语义理解,从多维度建立立体的关联关系,来满足投资者对事件更快、更全、更准确的挖掘需求。

 

【常用的事件抽取方法】

事件抽取是对文本进行预处理、触发词抽取与论元识别等步骤后,从非结构化信息中抽取出特定的元素,并以结构化的形式呈现给用户。白博士向大家展示了事件抽取的大致流程,首先以基于规则或机器学习的方法来判断句子的属性,然后抽取事件骨干,同时围绕同一事件可能存在的多个表达句子,用实体对齐、同义词对齐等手段进行泛化,再通过抽取公共子串或“填坑”的方式来“拼凑”完整的事件表达式。

 

【金融知识图谱加持NLP】

金融行业产业链上的各元素之间存在着一定的逻辑关系,这些相近的元素可以从词库的扩充,子图近邻的相似等方面,进行语义理解与词法分析处理,对NLP进行加持与助力,进一步的,还能基于图谱路径进行事件的关联和推理。知识图谱在场景识别、关联查询、交叉验证等各种NLP和AI任务上都能起到积极作用。

在事件沿知识图谱的推理上,白博士以泰国特大洪水与新能源汽车销量上涨,分别对橡胶行业和下游碳酸锂电池生产企业股价的影响为例,分析了沿知识图谱多步推理的原理,此项技术在金融投资领域具有广泛的需求,可帮助人们及时发现投资机会与潜在风险。

白博士坦言NLP+知识图谱、事件抽取和推理等方向,尚处在研发应用初级阶段,未来发展空间很广,仍需大家不断的努力。

阡寻科技将深度发掘自然语言与知识图谱在金融科技、工业智能化、监管科技领域的应用,为市场带来股票对话机器人、事件预警、智能资讯、自动报告、智能公告、知识图谱构建与推理、智能矿山系统等多种产品,打造一个全方位覆盖行业产业链的数字信息平台。

继续阅读“白雪 | NLP加持知识图谱在金融事件挖掘中的应用”

徐阿衡 | 知识抽取-实体及关系抽取(一)

 

本文转载自公众号:徐阿衡。

这一篇是关于知识抽取,整理并补充了上学时的两篇笔记 NLP笔记 – Information Extraction 和 NLP笔记 – Relation Extraction,梳理了知识抽取的基本方法,包括传统机器学习及经典的深度学习方法。

知识抽取涉及的“知识”通常是 清楚的、事实性的信息,这些信息来自不同的来源和结构,而对不同数据源进行的知识抽取的方法各有不同,从结构化数据中获取知识用 D2R,其难点在于复杂表数据的处理,包括嵌套表、多列、外键关联等,从链接数据中获取知识用图映射,难点在于数据对齐,从半结构化数据中获取知识用包装器,难点在于 wrapper 的自动生成、更新和维护,这一篇主要讲从文本中获取知识,也就是我们广义上说的信息抽取。

信息抽取三个最重要/最受关注的子任务:

  • 实体抽取
也就是命名实体识别,包括实体的检测(find)和分类(classify)
  • 关系抽取
通常我们说的三元组(triple) 抽取,一个谓词(predicate)带 2 个形参(argument),如 Founding-location(IBM,New York)
  • 事件抽取
相当于一种多元关系的抽取

篇幅限制,这一篇主要整理实体抽取和关系抽取,下一篇再上事件抽取。

1. 相关竞赛与数据集

信息抽取相关的会议/数据集有 MUC、ACE、KBP、SemEval 等。其中,ACE(Automated Content Extraction) 对 MUC 定义的任务进行了融合、分类和细化,KBP(Knowledge Base Population) 对 ACE 定义的任务进一步修订,分了四个独立任务和一个整合任务,包括

  • Cold Start KB (CSKB)
端到端的冷启动知识构建
  • Entity Discovery and Linking (EDL)
实体发现与链接
  • Slot Filling (SF)
槽填充
  • Event
事件抽取
  • Belief/Sentiment (BeSt)
信念和情感

至于 SemEval 主要是词义消歧评测,目的是增加人们对词义、多义现象的理解。

ACE 的 17 类关系

具体的应用实例

常用的 Freebase relations

还有的一些世界范围内知名的高质量大规模开放知识图谱,如包括 DBpedia、Yago、Wikidata、BabelNet、ConceptNet 以及 Microsoft Concept Graph等,中文的有开放知识图谱平台 OpenKG……

2. 实体抽取

实体抽取或者说命名实体识别(NER)在信息抽取中扮演着重要角色,主要抽取的是文本中的原子信息元素,如人名、组织/机构名、地理位置、事件/日期、字符值、金额值等。实体抽取任务有两个关键词:find & classify,找到命名实体,并进行分类。

主要应用:

  • 命名实体作为索引和超链接
  • 情感分析的准备步骤,在情感分析的文本中需要识别公司和产品,才能进一步为情感词归类
  • 关系抽取(Relation Extraction)的准备步骤
  • QA 系统,大多数答案都是命名实体

2.1 传统机器学习方法

标准流程:

Training:

  1. 收集代表性的训练文档
  2. 为每个 token 标记命名实体(不属于任何实体就标 Others O)
  3. 设计适合该文本和类别的特征提取方法
  4. 训练一个 sequence classifier 来预测数据的 label

Testing:

  1. 收集测试文档
  2. 运行 sequence classifier 给每个 token 做标记
  3. 输出命名实体

2.1.1 编码方式

看一下最常用的两种 sequence labeling 的编码方式,IO encoding 简单的为每个 token 标注,如果不是 NE 就标为 O(other),所以一共需要 C+1 个类别(label)。而 IOB encoding 需要 2C+1 个类别(label),因为它标了 NE boundary,B 代表 begining,NE 开始的位置,I 代表 continue,承接上一个 NE,如果连续出现两个 B,自然就表示上一个 B 已经结束了。

在 Stanford NER 里,用的其实是 IO encoding,有两个原因,一是 IO encoding 运行速度更快,二是在实践中,两种编码方式的效果差不多。IO encoding 确定 boundary 的依据是,如果有连续的 token 类别不为 O,那么类别相同,同属一个 NE;类别不相同,就分割,相同的 sequence 属同一个 NE。而实际上,两个 NE 是相同类别这样的现象出现的很少,如上面的例子,Sue,Mengqiu Huang 两个同是 PER 类别,并不多见,更重要的是,在实践中,虽然 IOB encoding 能规定 boundary,而实际上它也很少能做对,它也会把 Sue Mengqiu Huang 分为同一个 PER,这主要是因为更多的类别会带来数据的稀疏。

2.1.2 特征选择

Features for sequence labeling:

再来看两个比较重要的 feature

Word substrings

Word substrings (包括前后缀)的作用是很大的,以下面的例子为例,NE 中间有 ‘oxa’ 的十有八九是 drug,NE 中间有 ‘:’ 的则大多都是 movie,而以 field 结尾的 NE 往往是 place。

Word shapes

可以做一个 mapping,把 单词长度(length)、大写(capitalization)、数字(numerals)、希腊字母(Greek eltters)、单词内部标点(internal punctuation) 这些字本身的特征都考虑进去。

如下表,把所有大写字母映射为 X,小写字母映射为 x,数字映射为 d…

2.1.3 序列模型

NLP 的很多数据都是序列类型,像 sequence of characters, words, phrases, lines, sentences,我们可以把这些任务当做是给每一个 item 打标签,如下图:

常见的序列模型有 有向图模型 如 HMM,假设特征之间相互独立,找到使得 P(X,Y) 最大的参数,生成式模型;无向图模型 如 CRF,没有特征独立的假设,找到使得 P(Y|X) 最大的参数,判别式模型。相对而言,CRF 优化的是联合概率(整个序列,实际就是最终目标),而不是每个时刻最优点的拼接,一般而言性能比 CRF 要好,在小数据上拟合也会更好。

整个流程如图所示:

讨论下最后的 inference

最基础的是 “decide one sequence at a time and move on”,也就是一个 greedy inference,比如在词性标注中,可能模型在位置 2 的时候挑了当前最好的 PoS tag,但是到了位置 4 的时候,其实发现位置 2 应该有更好的选择,然而,greedy inference 并不会 care 这些。因为它是贪婪的,只要当前最好就行了。除了 greedy inference,比较常见的还有 beam inference 和 viterbi inference。

2.1.3.1 Greedy Inference

优点:

  1. 速度快,没有额外的内存要求
  2. 非常易于实现
  3. 有很丰富的特征,表现不错

缺点:

  1. 贪婪

2.1.3.2 Beam Inference

  • 在每一个位置,都保留 top k 种可能(当前的完整序列)
  • 在每个状态下,考虑上一步保存的序列来进行推进

优点:

  1. 速度快,没有额外的内存要求
  2. 易于实现(不用动态规划)

缺点:

  1. 不精确,不能保证找到全局最优

2.1.3.3 Viterbi Inference

  • 动态规划
  • 需要维护一个 fix small window

优点:

  1. 非常精确,能保证找到全局最优序列

缺点:

  1. 难以实现远距离的 state-state interaction

2.2 深度学习方法

2.2.1 LSTM+CRF

最经典的 LSTM+CRF,端到端的判别式模型,LSTM 利用过去的输入特征,CRF 利用句子级的标注信息,可以有效地使用过去和未来的标注来预测当前的标注。

2.3 评价指标

评估 IR 系统或者文本分类的任务,我们通常会用到 precision,recall,F1 这种 set-based metrics,见信息检索评价的 Unranked Boolean Retrieval Model 部分,但是在这里对 NER 这种 sequence 类型任务的评估,如果用这些 metrics,可能出现 boundary error 之类的问题。因为 NER 的评估是按每个 entity 而不是每个 token 来计算的,我们需要看 entity 的 boundary。

以下面一句话为例

1 First Bank of Chicago

announced earnings…

正确的 NE 应该是 First Bank of Chicago,类别是 ORG,然而系统识别了 Bank of Chicago,类别 ORG,也就是说,右边界(right boundary)是对的,但是左边界(left boundary)是错误的,这其实是一个常见的错误。

1

2

3

4

5

正确的标注:

ORG – (1,4)

系统:

ORG – (2,4)

而计算 precision,recall 的时候,我们会发现,对 ORG – (1,4) 而言,系统产生了一个 false negative,对 ORG – (2,4) 而言,系统产生了一个 false positive!所以系统有了 2 个错误。F1 measure 对 precision,recall 进行加权平均,结果会更好一些,所以经常用来作为 NER 任务的评估手段。另外,专家提出了别的建议,比如说给出 partial credit,如 MUC scorer metric,然而,对哪种 case 给多少的 credit,也需要精心设计。

2.4 其他-实体链接

实体识别完成之后还需要进行归一化,比如万达集团、大连万达集团、万达集团有限公司这些实体其实是可以融合的。

主要步骤如下:

  1. 实体识别
命名实体识别,词典匹配
  2. 候选实体生成
表层名字扩展,搜索引擎,查询实体引用表
  3. 候选实体消歧
图方法,概率生成模型,主题模型,深度学习

补充一些开源系统:

  • http://acube.di.unipi.it/tagme
  • https://github.com/parthatalukdar/junto
  • http://orion.tw.rpi.edu/~zhengj3/wod/wikify.php
  • https://github.com/yahoo/FEL
  • https://github.com/yago-naga/aida
  • http://www.nzdl.org/wikification/about.html
  • http://aksw.org/Projects/AGDISTIS.html
  • https://github.com/dalab/pboh-entity-linking

-End-

原文链接:http://www.shuang0420.com/2018/09/15/%E7%9F%A5%E8%AF%86%E6%8A%BD%E5%8F%96-%E5%AE%9E%E4%BD%93%E5%8F%8A%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96/

继续阅读“徐阿衡 | 知识抽取-实体及关系抽取(一)”

学术前沿——双曲空间中的网络、单词及其知识图谱

选自集智俱乐部 

埃舍尔版版画是描绘了双曲空间

导语

康奈尔大学计算机科学系教授Chris De Sa 与斯坦福大学计算机科学系博士生Albert Gu 携手构建出高效的嵌入算法——使用双曲线组合结构嵌入算法,以更低的维度更好地嵌入文本、知识图谱等非结构化的数据。

编译:集智俱乐部翻译组

原题:HyperE: Hyperbolic Embeddings for Entities

神奇的双曲线嵌入算法

最早在2017年,Nickel&Kiela提出了使用双曲线代替欧几里得嵌入空间来表示分层数据(该过程也称嵌入),并且在嵌入图形时表现出了较好的结果。

由此,双曲线嵌入在机器学习界引起了广泛的关注。那么双曲线嵌入相对于传统的嵌入方法有什么优点?

  1. 双曲线嵌入可以在很少的维度上保留图形实体间的距离
  2. 充分表达层级结构

今天介绍的的这篇文章提出的一种双曲线嵌入的算法,该算法不仅可以完成知识库处理相关的任务,并且可以作为一个用来处理NLP任务,例如Question & Answering等。

在论文中,作者提出了解决优化潜在问题的新方法,并阐明了如何权衡每种方法。当嵌入分层数据结构(如同义词或类型层次结构)时,双曲线嵌入可以用较少的维度,表达出复杂的网络信息。

例如,给定一棵树形的网络,该论文给出了一个组合结构,可以将树嵌入双曲空间中,在不使用优化算法时就可以达到较低的失真率。在WordNet上,在双曲空间中只使用了两个维度,该嵌入算法平均精度(MAP)就达到了0.989,Nickel等人提出的双曲空间结构使用200维也只获得了0.87的平均精度

为了嵌入一般度量空间,论文中提出了多维尺度(h-MDS)的双曲线推广算法。该算法展示了如何从距离中精确恢复双曲点,算法显示,即使在维度很少的情况下,h-MDS算法也可以很好地恢复双曲点。

数据库及源码下载

论文在如下三个层次网络中做了双曲嵌入的实验,这些网络分别为:WordNet、Wikidata、UMLS(统一医学语言系统)和MusicBrainz(开放数据音乐数据库)。该算法通过“相似性”和“类比”的双曲线评估嵌入的好坏。并基于PyTorch实现了一个可以处理不完整信息并且可扩展的HyperE 嵌入算法。文章中各种实体嵌入可以在下面以GloVe格式下载。

WordNet:https://wordnet.princeton.edu/

Wikidata:https://www.wikidata.org/wiki/Wikidata:Main_Page

UMLS:https://www.wikidata.org/wiki/Wikidata:Main_Page

MusicBrainz:https://musicbrainz.org

读者们可以在GloVe格式的WordNet,Wikidata,UMLS和MusicBrainz中以各种维度(10d,20d,50d,100d)下载64位精度的实体嵌入。因为双曲线嵌入与欧几里得嵌入不同,嵌入的比例因子不是固定不变的,因此作者在顶行中写明了嵌入的比例因子。

通过将知识图谱中实体对应的双曲线距离除以所提供的比例因子,可以近似地恢复实体之间的输入图形的距离。该算法还提供了预处理脚本以创建输入图的边缘列表。这里还可以使用作者的公开的代码来查看如何使用双曲线实体嵌入。

实现双曲实体嵌入的公开代码:

https://github.com/belizgunel/hyperE/tree/master/demo

来自Wordnet的WordNet Hypernym,域主题和成员全名层次结构。(WordNet.zip 161MB)

https://stanford.box.com/shared/static/u06nzqy2eyi6eh01830ci156giepxrj0.zip

Wikidata实体层次结构,包括来自各个领域的100个属性,包括生物学,体育,经济学,政治学,计算机科学等等。( Wikidata.zip 2.15GB)

https://stanford.box.com/shared/static/ozkvxryzib6kmjad9hyb0emq84to2ssz.zip

UMLS诊断层次结构来自ICD-9-CM和UMLS的ICD-10-CM词汇表。(UMLS.zip 123MB)

https://stanford.box.com/shared/static/yk0nwnix1a9nda13ws5hbdetm4zo9mvw.zip

MusicBrainz来自MusicBrainz的样本艺术家,专辑和歌曲层次结构。(MusicBrainz.zip 16MB)

https://stanford.box.com/shared/static/8anfeaia53pwsagvag9g6rlys932sj00.zip

双曲空间中的“词类比”

在许多自然语言处理(NLP)应用中,将词嵌入欧几里得空间中可以成功地编码单词之间的语义关系。评估词嵌入效果好坏的一种方法是“词类比”准确度。比如,经常在小学语文卷子中出的填空题目:

“北京(a)对中国(b)=华盛顿(c)对______ ”。

传统的NLP模型GloVe模型通过嵌入的余弦相似性找到词d,d的词嵌入最接近向量b -a + c。

在HyperE嵌入算法中,作者使用双曲线距离长短作为相似度量,距离越小相似性越高。换句话说,将具有最小双曲线距离的向量d作为b -a + c双曲线模拟的输出。我们将这个类比实验扩展到Wikidata中的实体层次结构,并尝试了一些具有不同关系的样本。

下边的表格是使用文章中的组合方法生成的实体嵌入做“词类似问答“的结果。嵌入为10维,64位精度。可以看出嵌入向量d正确的回答了”词类似“问题。

检测关系

知识图谱: 实体-关系-实体/实体-属性-属性值

在音乐数据嵌入中,歌曲 – 专辑连边权重为2,专辑 – 艺术家连边权重为1.我们可以使用这些权重和嵌入式层次结构通过简单地计算嵌入点之间的双曲线距离来检测实体之间的关系类型。

例如,第一行的两首歌曲来自甲壳虫乐队的“Sgt.Pepper’s Lonely Hearts Club Band”专辑,文章的嵌入识别出了这种关系。接下来第二行的两首歌是披头士乐队的歌曲,但来自不同的专辑。最后,滚石乐队和AC / DC乐队的歌曲显示为无关,双曲线中距离的远近可以很好的表示两首歌曲实际关系的远近。

嵌入效果

与欧几里得空间相比,双曲空间能够将知识图谱中的层次关系信息压缩到非常少的维度。保留几个输入的关系图中实体对之间的关系,通过实验的准确率及召回率的结果我们得知:双曲线空间嵌入通过保持实体间的距离实现多层嵌入。在此任务中,“正确”代表着,如果输入图形中的实体对有一条连边,则最终实体嵌入之间的双曲线距离除以基于输入图形计算的比例因子之后应当保持在1(±0.01)内。

每一个嵌入都是使用我们的组合方法生成的,维度是10维,精度为64位。下图是HyperE的精确率和召回率。

双曲空间可视化

在欧几里得空间中,圆周和圆盘区域分别随半径线性、平方地增长。然而,在双曲空间中,它们都相对于半径呈指数增长,这一性质特别有利于嵌入树型的分层结构。

下面介绍了不同嵌入方法的一些可视化。左图是使用作者基于随机梯度下降的优化方法嵌入一个简单的树,它最小化基于双曲线距离的损失函数。对于相同的输入图,右图是使用作者提出的组合结构,这是一种确切的算法,可以精确地放置树顶点。关于组合算法,在作者的论文中有详细的阐述。

论文题目:Representation Tradeoffs for Hyperbolic Embeddings

论文地址:https://arxiv.org/pdf/1804.03329.pdf

上图:优化的随机梯度下降法构造,下图:组合算法构造

相关工作

双曲线嵌入的研究是由最近的研究论文推动的,这些论文表明双曲线表示适用于各种层次结构,应用包括Tay等人的问答(QA)系统——HyperQA (2017),Chamberlain等人的顶点分类器(2017),以及Nickel&Kiela(2017)中的链路预测。

Ganea等人(2018)提出了嵌入蕴涵关系,即用带有双曲锥的有向无环图作为启发式算法。Dhingra等人(2018)研究了双曲词和句子嵌入。其中许多论文使用双曲线几何的庞加莱模型 ; 作者的的工作和Nickel&Kiela(2018)认为其他模型,如双曲面空间的双曲面模型,对于某些任务可能更简单。当然,总是可以在模型之间进行转换。

最近的研究方法试图将双曲线运算添加到神经网络中。Gulcehre等(2018)使用双曲面模型引入了双曲线形式的注意力机制。

双曲线运算也可以应用于支持向量机,如Cho等人的研究(2018)。

基于双曲线优化的下降方法也有了新的应用研究; 这些研究作品包括Enokida等(2018)用于测地线更新,Zhang和Sra(2018)用于加速黎曼梯度法,而Wilson&Leimeister(2018)用于使用双曲面模型在双曲空间中进行梯度下降。

 

参考文献及论文地址

1.HyperE (2018) Representation Tradeoffs for Hyperbolic Embeddings

https://arxiv.org/pdf/1804.03329.pdf

2.HyperQA (2017)Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering

https://arxiv.org/pdf/1707.07847.pdf

3.Chamberlain(2017)Neural Embeddings of Graphs in Hyperbolic Space

https://arxiv.org/pdf/1705.10359.pdf

4.Nickel&Kiela(2017)Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering

https://arxiv.org/pdf/1707.07847.pdf

5.Ganea (2017) Poincaré Embeddings for Learning Hierarchical Representations

https://arxiv.org/pdf/1705.08039.pdf

6.Nickel&Kiela(2018)Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry

https://arxiv.org/pdf/1806.03417.pdf

7.Gulcehre(2018) Hyperbolic Attention Networks

https://arxiv.org/pdf/1805.09786.pdf

8.Hyunghoon Cho (2018) Large-Margin Classification in Hyperbolic Space Hyunghoon Cho

https://arxiv.org/pdf/1806.00437.pdf

9.Enokida (2018) Stable Geodesic Update on Hyperbolic Space and its Application to Poincaré Embeddings

https://arxiv.org/pdf/1805.10487.pdf

10.Zhang&Sra(2018)Towards Riemannian Accelerated Gradient Methods

https://arxiv.org/pdf/1806.02812.pdf

11.Wilson&Leimeister(2018)Gradient descent in hyperbolic space

https://arxiv.org/pdf/1805.08207.pdf

12.Octavian-Eugen(2018) Hyperbolic Entailment Cones for Learning Hierarchical Embeddings

https://arxiv.org/pdf/1804.01882.pdf

13.Bhuwan Dhingra (2018)Embedding Text in Hyperbolic Spaces

https://arxiv.org/pdf/1806.04313.pdf

作者:Beliz Gunel, Fred Sala, Albert Gu, Christopher Ré

译者:陈孟园

审校:谷伟伟

编辑:集智小编

原文:https://hazyresearch.github.io/hyperE/

 

 

 

中国中文信息学会发布《2018知识图谱发展报告》

转自AMiner 学术头条 

中国中文信息学会成立于1981年6月。钱伟长、甄健民、安其春等为主要发起人。

中国中文信息学会是依法成立并经中国科学技术协会接纳的科学技术工作者的学术性群众团体,是具有独立社团法人资格的国家一级学会

其中包括了如下专业委员会:

  • 汉字编码专业委员会
  • 民族语言文字信息专业委员会
  • 基础理论专业委员会
  • 汉字信息处理系统专业委员会
  • 汉字设备专业委员会
  • 自然语言处理专业委员会
  • 计算语言学专业委员会
  • 汉字字形信息专业委员会
  • 教育专业委员会
  • 速记专业委员会
  • 人工智能与教育专业委员会
  • 信息检索专业委员会
  • 社会媒体处理专业委员会
  • 语言与知识计算专业委员会

此次发布《2018知识图谱发展报告》的是语言与知识计算专业委员会。

中国中文信息学会“语言与知识计算专业委员会” 致力于促进语言与知识计算领域的学术研究和产业发展,特别是促进从语言资源中获取知识的方法和策略的探索,以及促进知识驱动的语言理解技术和方案的研究。

“语言与知识计算专业委员会”于2014年筹办,并于武汉召开了第一次专业委员会工作会议,选举清华大学李涓子教授担任第一届专业委员会主任。目前专委会共有委员63人,分别来自于国内外的知名高校、研究所和企业。

专委会目前主要面向的研究领域有:

  •  知识表示
  • 知识图谱构建与信息抽取
  •  语义计算
  • 自然语言理解
  •  语义集成
  • 知识存储
  • 知识共享与基于知识的系统
  • 知识推理
  • 链接数据

《2018知识图谱发展报告》一共有163页,是语言与知识计算专委会邀请知识图谱技术领域专家对本学科方向和前沿技术的一次梳理,并在今后定期更新最新进展。

报告的定位是深度科普,旨在向政府、企业、媒体等对知识图谱感兴趣的研究机构和企业界介绍相关领域的基本概念、研究和应用方向,向高校、科研院所和高技术企业中从事相关工作的专业人士介绍相关领域的前沿技术和发展趋势。

报告目录如下(文末附下载链接)

第一章 知识表示与建模

第二章 知识表示学习

第三章 实体识别与链接

第四章 实体关系学习

第五章 事件知识学习

第六章 知识存储与查询

第七章 知识推理

第八章 通用和领域知识图谱

第九章 语义集成

第十章 语义搜索

第十一章 基于知识的问答

本文摘选了《第八章 通用和领域知识图谱》的部分内容,如需完整版报告,请至文末下载。

通用知识图谱案例

国外

国外的 DBpedia [Auer et al,2007]使用固定的模式从维基百科中抽取信息实体,当前拥有 127 种语言的超过两千八百万实体以及数亿 RDF 三元组;Yago[Suchanek et al,2007]则整合维基百科与 WordNet 的大规模本体, 拥有 10 种语言 约 459 万个实体,2400 万个事实;Babelnet [Navigli et al,2012]则采用将 WordNet词典与 Wikipedia 百科集成的方法,构建了一个目前最大规模的多语言词典知识 库,包含 271 种语言 1400 万同义词组、36.4 万词语关系和 3.8 亿链接关系。

国内

国内的 Zhishi.me 从开放的百科数据中抽取结构化数据,当前已融合了包括 百度百科、互动百科、中文维基三大百科的数据,拥有 1000 万个实体数据、一 亿两千万个 RDF 三元组;以通用百科为主线,结合垂直领域的 CN-DBPedia [Xu et al,2017],则从百科类网站的纯文本页面中提取信息,经过滤、融合、推断等操 作后形成高质量的结构化数据;XLore[Wang et al,2013]则是基于中文维基百科、 英文维基百科、百度百科、互动百科构建的大规模中英文知识平衡知识图谱。

领域知识图谱案例

领域知识图谱常常用来辅助各种复杂的分析应用或决策支持,如下图所示,在多个领域均有应用,不同领域的构建方案与应用形式则有所不同。

本文将以电商、企业商业、图情、创投四个领域为例,从知识建模的角度给大家介绍。

电商知识建模

电商知识图谱以商品为核心,以人、货、场为主要框架。目前共涉及 9 大类一级本体和 27 大类二级本体。一级本体分别为:人、货、场、百科知识、行业竞对、品质、类目、资质和舆情。人货场构成了商品信息流通的闭环,其他本体主要给予商品更丰富的信息描述。下图描述了商品知识图谱的数据模型,数据来源包含国内-国外数据,商业-国家数据,线上-线下等多源数据。目前有百亿级的节点和百亿级的关系边。

图情知识建模

图情知识图谱的构建一般采用自顶向下的方式进行知识建模,通常从资源类型数据入手,整理出资源的发表者(人物),发表机构(机构),关键词(知识点), 发表载体(刊物)等等类型的实体及各自之间的关系,同时通过人物、机构的主页进行实体属性的扩充。下图是一张典型的图情知识图谱 schema 模型,展示了概念与概念间的关系以及部分属性。

企业商业知识建模

构建企业商业知识图谱,通常关注企业与人物的任职关系、投资关系、分支机构关系。 从相应网站中抽取企业信息、人物形象、诉讼信息以及信用信息,再添加上市公司、股票等概念和相应属性。企业招投标信息、上市公司的股票信息可从相 关网站进行采集。企业的竞争关系、并购事件则从百科站点中进行抽取。这些信息存在于信息框、列表、表格等半结构化数据,以及无结构的纯文本中。其模式如下图所示。

创投知识建模

要定义创投知识图谱 schema,首先要理解创投领域的相关概念跟关系。创投领域 Schema 中涉及的概念主要包括初创公司、投资机构、投资人、公司高管、行业以及投融资事件等。融资事件是创投领域的核心,不同于实体节点,融资事件描述的是一个事实,具有抽象性。典型的创投 schema 如下图所示:


关注我们

你想要的科技资讯都在这

 

 

研讨会 | 认知计算是下一代计算范式?CCFTF12 期研讨会邀您一起探讨!

认知计算是下一代计算范式。认知系统会从自身与数据、与人的交互中学习,不断自我提高,从而随着时间推移变得更加智能。认知技术会融入许多IT解决方案,赋予它们一种类人的“思考能力”。CCFTF12期研讨会期待和业界的“探索者们”一起探讨认知计算。

◆ ◆ ◆ ◆

“技术团队自己的顶级交流平台”

中国计算机学会技术前线研讨会

CCF TF第12期

主题 语言认知与知识计算

2018年09月16日

上海·建国宾馆四层九州A厅

◆ ◆ ◆ ◆

人机自然语言认知涉及到语法、语义、语用等三个层面,越往后越难。为了推动语言认知与知识计算的发展,不仅需要引入自然语言理解、认知语言学、心理语言学、社会语言学等多学科的综合参与,更需要引入知识图谱技术对信息进行结构化、语义化和智能化的处理与应用。

认知计算是下一代计算范式。认知系统会从自身与数据、与人的交互中学习,不断自我提高,从而随着时间推移变得更加智能。认知技术会融入许多IT解决方案,赋予它们一种类人的“思考能力”。这些新功能将支持人类完成以前无法完成的很多事情,比如更深入地理解世界的运转方式、预测行为的后果并制定更好的决策等。另据IDC预测,到2020年,50%的商业分析软件将包含基于认知计算功能的分析工具,同时知识认知服务将嵌入新的应用之中。

所以我们不禁好奇,语言认知与知识计算时代还将创造出怎样的奇迹?还会带给我们怎样的惊喜?CCFTF12期研讨会期待和业界的“探索者们”一起探讨这些问题。

会议主席

王昊奋

王昊奋,上海乐言信息科技有限公司CTO,中文知识图谱zhishi.me创始人、OpenKG发起人之一、CCF理事、CCF术语审定工委主任、中文信息学会语言与知识计算委员会副秘书长,共发表80余篇高水平论文,在知识图谱、问答系统和聊天机器人等诸多领域有丰富的研发经验。其带队构建的语义搜索系统在Billion Triple Challenge中荣获全球第2名;在著名的本体匹配竞赛OAEI的实体匹配任务中斩获得全球第1名。曾主持并参与多项国家自然科学基金、863重大专项和国家科技支撑项目,以学术负责人身份参与Paypal、Google、Intel、IBM、百度等企业的合作项目。

特邀讲师

云知声AI Labs

资深技术专家

刘升平

主题报告一:知性会话——基于知识图谱的人机对话系统方法与实践

主题简介:人机对话系统,或者会话交互,有望成为物联网时代的主要交互方式。而语言的理解与表达和知识是密切相关的,知识图谱作为一种大规模知识的表示形式,在人机对话系统中各模块都有重要的应用。而知性对话,则是以知识图谱为核心的人机会话交互服务。本次报告介绍了知性会话的架构和关键技术,并结合工业级的人机对话系统实践经验,阐述了知识图谱在人机对话系统的核心模块,包括口语理解,自然应答生成,聊天,问答,主动交互等方面的应用。

个人简介:刘升平,前IBM中国研究院资深研究员,中文信息学会语言与知识计算专委会,医疗健康与生物信息处理专委会委员。2005年获得北京大学数学学院信息科学系博士。曾在语义网,机器学习、信息检索,医学信息学等领域发表过20多篇论文。在IBM中国研究院信息与知识组工作期间,多次获得过IBM研究成就奖。目前在云知声领导NLP和智慧医疗团队,主要从事要从事自然语言理解和生成,人机对话系统,聊天机器人,知识图谱,临床辅助诊断等研发工作。

阿里巴巴集团机器智能技术实验室资深算法专家

陈博兴

主题报告二:阿里机器翻译——场景、挑战与最新技术

主题简介:在这个报告中,我们介绍机器翻译技术在跨境电商领域的应用。具体内容包括:机器翻译在跨境电商领域的应用场景、面临的挑战和我们在数据收集、模型选择和工程架构上采取的策略;以及为了改善翻译性能和提高训练和翻译效率我们采用的一些技术,包括翻译干预、词尾预测、以及分布式训练等等。最后介绍阿里巴巴机器翻译的一些创新研究,以及采用这些研究成果在国际评测中取得的世界一流成绩。

个人简介:陈博兴,阿里巴巴集团机器智能技术实验室资深算法专家。他的研究方向是机器翻译,自然语言处理和机器学习。在加入阿里之前,他是加拿大国家研究委员会(NRC)的终身研究员,再之前是新加坡信息与通信研究所的研究员,意大利FBK-IRST和法国格勒诺布尔大学的博士后。他本科毕业于北京大学,博士毕业于中国科学院。他和同事合作先后发表了50多篇会议和期刊论文,获得过ACL 2013的最佳论文奖提名和MT Summit 2013的最佳论文奖;他长期担任NLP领域所有顶级会议和期刊的审稿人或程序委员会成员。他领导的团队先后在各种机器翻译评测中取得优异成绩,获得了WMT 2018五个语向的第一名,WMT 2017俄语到英语第一名,NIST 2012机器翻译中文到英文第一名,IWSLT 2007口语机器翻译比赛中文到英文第一名,和IWSLT 2005比赛中文到英文和日语到英语第一名等等。

小米AI Lab智能问答

技术总监

刘作鹏

主题报告三:小米智能问答成长之路

主题简介:小米的智能问答服务从一个原型系统开始,经过一年多的持续演进,总结出一套面向变化的、易扩展的系统架构,很好地应对了知识规模指数级扩大、用户请求急剧增长、技术复杂度迅速提升等挑战。通过引入知识图谱和机器学习相关技术,明显提升了知识构建、问题理解、答案匹配等关键环节的效果。目前小米的智能问答分三个子系统 ,分别基于KBQA、FAQ 问答和阅读理解技术构建而成,三个子系统相互补充,也都在迅速地进化的过程中。

个人简介:刘作鹏,小米AI Lab智能问答技术总监,有10多年人工智能相关工作经验。耗时一年多,从零开始为小米搭建出知识问答、知识图谱、智能客服三个系统,核心指标国内领先。2009年到2015年,任职于雅虎全球(北京)研发中心,作为雅虎&微软搜索联盟技术负责人,所承担的项目曾为雅虎带来数十亿美金的收入增长。在百度工作时间,设计并实现了凤巢的广告选择平台,成为了国内第一个日请求数突破20亿的互联网服务。

平安医疗科技研究院医疗文本处理团队负责人

倪渊

主题报告四:自然语言处理在医疗领域的应用

主题简介:医疗领域有大量需要自然语言交互的工作,耗费了大量的人力。比如诊前对于患者就诊科室以及就医流程相关问题,医院往往需要有专业的人员在门诊大厅,回答相关问题;诊后对于患者的健康咨询和随访,需要家庭医生定期上门或者电话来进行。在中国医生资源缺乏的情况下,导致医生的工作负担重而患者的管理质量低。平安医疗科技通过构建医疗知识图谱来打造医疗人工智能的大脑,并通过对话问答技术,来和患者智能交互,为患者提供智能分诊/导诊服务以及智能患教问答和随访服务。本次报告将主要介绍平安如何运用自然语言处理技术来打造智能的患者服务。

个人简介:倪渊,博士。2003年毕业于复旦大学计算机科学与技术专业,2007年毕业于新加坡国立大学计算机系。之后加入IBM中国研究院,从事自然语言处理,知识图谱等相关领域的研究。在IBM期间,倪渊参与过著名人工智能项目沃森机器人的开发。2018年,倪渊加入平安医疗科技研究院,带领医疗文本处理团队。倪渊博士在著名国际会议,比如SIGMOD, WWW, ISWC等上,发表过20多篇文本,并且获得20多项国际专利。

文因互联 CEO,联合创始人

鲍捷

主题报告五:在知识图谱工程中如何进行规则建模

主题简介:知识图谱技术侧重于实例结构化数据的提取和建模,但是得到知识图谱后,为实现后续的应用如处理自动化,规则建模是不可缺少的。本讲座介绍知识图谱上规则建模的实践方法,关注如何全周期控制成本,如规则建立的成本,规则管理的成本,规则推理的成本,规则调试的成本等。针对金融监管、贷款风控,投资研究等,分别给出规则建模的具体案例。

个人简介:鲍捷,博士,文因互联 CEO,联合创始人。他曾是三星美国研发中心研究员,伦斯勒理工学院(RPI)博士后,麻省理工学院(MIT)分布式信息组(DIG)访问研究员,以及雷神 BBN 技术公司访问科学家。2007 年,他于爱荷华州立大学(Iowa State University)获得博士学位。他的研究领域涉及人工智能很多方向,如自然语言处理,语义网,机器学习,描述逻辑,信息论,神经网络,图像识别等。鲍捷博士已经发表 70 多篇论文。他曾是 W3C OWL(Web本体语言)工作组成员,在此期间,合作撰写了 OWL2 的 W3C 规范文档。他先后参与组织了 50 多场国际学术会议和学术研讨会。他是中国中文信息学会语言与知识计算专委会委员,W3C顾问委员会委员,中国计算机协会会刊编委,中文开放知识图谱联盟(OpenKG)发起人之一。

特邀嘉宾

浙江大学教授、博士生导师

陈华钧

个人简介:陈华钧,浙江大学计算机科学与技术学院教授、博士生导师。主要研究方向为知识图谱、自然语言处理、大数据与知识发现、生物医学信息等。浙江省大数据智能计算重点实验室副主任、中文开放知识图谱OpenKG发起人。在IJCAI, WWW, KR, ISWC, EMNLP, AAAI/IAAI, ICDE, IEEE Magazine on Computational Intelligence, IEEE Intelligent System,  TKDE, Briefings in Bioinforamtics, BMC Bioinformatics 等国际顶级会议或期刊上发表多篇论文,并曾获国际语义网会议ISWC最佳论文奖。作为主要参与者,获得教育部技术发明一等奖、国家科技进步二等奖等奖励。

东南大学教授,博士生导师

漆桂林

个人简介:漆桂林,东南大学教授、博士生导师,获得“江苏省六大人才高峰”资助。2006 年从英国贝尔法斯特女皇大学获得计算机科学博士学位。2006 年8 月至2009 年8 月,在德国Karlsruhe 大学AIFB 研究所从事博士后研究。是开放知识图谱联盟openKG的联合创始人之一。是Data Intelligence期刊执行主编,并且担任语义Web权威期刊Journal of Web Semantics的副主编和Semantic Web Journal的编委。是新华社中国经济信息社特约专家。发表高质量学术论文150余篇,获得多项发明专利授权。在知识图谱和知识工程、大数据语义分析、不确定性推理等领域有将近20年的研究和产业化经验。

时间:2018年09月16日

地点:上海市徐汇区漕溪北路439号上海建国宾馆四层九州A厅

日程安排

09:00 – 09:10    开场致辞

09:10 – 10:30    鲍捷-文因互联 CEO,联合创始人

在知识图谱工程中如何进行规则建模

10:30 – 10:40    Break

10:40 – 12:00    陈博兴-阿里巴巴集团机器智能技术实验室的资深算法专家

阿里机器翻译——场景、挑战与最新技术

12:00 – 13:00     午餐

13:00 – 14:20     刘作鹏-小米AI Lab智能问答技术总监

小米智能问答成长之路

14:20 – 14:30     Break

14:30 – 15:50     倪渊-平安医疗科技研究院医疗文本处理团队负责人

自然语言处理在医疗领域的应用

15:50 – 16:00     Break

16:00 – 17:20     刘升平-云知声AI Labs资深技术专家

知性会话——基于知识图谱的人机对话系统方法与实践

17:20 – 17:30     Break

17:30 – 18:00     Panel  探讨语言认知与知识计算之机遇与挑战

缴费标准

申请团体入会,享受免费名额,咨询电话166-0111-0821

CCF会员参会价:1000元

非CCF会员参会并入会价:1300元(会员资格有效期至2019年底)

学生非CCF会员参会并入会价:1050元(会员资格有效期至2019年底)

非CCF会员价:1700元

参会方式

扫描二维码网上报名:

会议联系方式

联系人:李逸舟

电话:010-6260 1379-20/166-0111-0821

邮箱:tf@ccf.org.cn

中国计算机学会   

微信号:ccfvoice

长按识别二维码关注我们


OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。