技术动态 | 揭开知识库问答 KB-QA 的面纱 8 · 深度学习下篇(二)

作者,四川大学博士生,刘大一恒。本文已经获得 ChatbotMagazine 公众号授权。
内容速览

☛ 引入注意力机制的KB-QA

☛ 深度学习篇总结

在上一篇 技术动态 | 揭开知识库问答 KB-QA 的面纱 7 · 深度学习下篇(一)中我们介绍了关于如何将记忆网络应用到KB-QA中的文章。今天我们将给大家介绍另一篇使用深度学习另一种经典模型进行KB-QA的文章,带注意力机制的循环神经网络(Recurrent Neural Networks with Attention Mechanism)。这也是深度学习用于自然语言处理领域(Deep Learning for NLP)中相当火热的方法,就让我们一起来看看如何将它应用到KB-QA中吧。

继续阅读“技术动态 | 揭开知识库问答 KB-QA 的面纱 8 · 深度学习下篇(二)”

基于新标注模式的实体和关系联合抽取方法 | 论文访谈间 #07


「论文访谈间」是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目,旨在让国内优质论文得到更多关注和认可。 
这是第 7 期「论文访谈间」


论文作者 | 郑孙聪,王峰,包红云,郝悦星,周鹏,徐波

(中科院自动化研究所)

特约记者 | 钟世敏(西华大学)



本期论文访谈间我们将以“川普百科信息抽取”为例,来向大家介绍来自中科院自动化研究所的郑孙聪同学,王峰同学,包红云老师,郝悦星同学,周鹏同学,徐波老师的相关工作。他们的论文“Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme”发表在今年的 ACL 2017 上,并被评为 ACL 2017 杰出论文。


实体和关系的联合抽取问题作为信息抽取的关键任务,其实现方法可以简单分为两类:一类是串联抽取方法。另一类是联合抽取方法。串联抽取方法将该问题分解为两个串联的子任务,即先采用实体识别模型抽取实体,再采用关系抽取模型得到实体对之间的关系,其优势是便于单独优化实体识别任务和关系抽取任务,但缺点是它们以获取三元组的中间产物(实体或者关系类型)为目标,而实体识别的结果会进一步影响关系抽取的结果,导致误差累积。不同于串联抽取方法,联合抽取方法使用一个模型同时抽取实体及其关系,能够更好的整合实体及其关系之间的信息。但现有的联合抽取方法也存在诸多问题,比如:大部分的联合抽取模型需要人工参与构建特征;基于 end to end 的联合抽取模型,因在模型实现过程中分开抽取实体及其关系而导致信息冗余等问题。近期郑孙聪同学,王峰同学,包红云老师,郝悦星同学,周鹏同学,徐波老师在论文“Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme”中提出了一个新的模型框架来解决此类问题,并在公开数据集 NYT 上取得了很好的效果。


接下来我们先来看看该模型能够干些什么。如下图,模型的输入为一句非结构化的文本,输出为一个预定义关系类型的三元组。


为了实现该任务,作者首先提出了一种新的标注模式,将信息抽取任务转化为序列标注任务。如下图:



标注模式将文本中的词分为两类,第一类代表与抽取结果无关的词,用标签”O”来表示。第二类代表与抽取结果相关的词,这一类词的标签由三部分组成:当前词在 entity中的位置–关系类型–entity 在关系中的角色。作者使用“BIES”(Begin,Inside,End,Single)标注,来表示当前词在 entity 中的位置。而关系类型则是从预先设定的关系类型集中获得的。entity  在关系中的角色信息,用“1”,2”来表示。其中1”表示,当前词属于三元组(Entity1,RelationType,Entity2)的 Entity1,同理”2”表示,当前词属于 Entity2。最后根据标注结果将同种关系类型的两个相邻顺序实体组合为一个三元组。例如:通过标注标签可知,United”与States”组合形成了实体United States”,实体United States”与实体Trump”组合成了三元组 {United States, Country-President, Trump}。


当输入为文本语句的时候,如何自动实现对文本词序列的标注工作呢?接下来作者提出了一个端到端的模型来实现了该工作。模型结构如下图:



其中:


  • 词嵌入层将每个词的 one-hot 表示向量转化为低维稠密的词嵌入向量(维度为 300) 

  • Bi-LSTM 编码层(层数为 300)用于获得词的编码信息

  • LSTM 解码层(层数为 600)用于产生标签序列。其中加入偏移损失来增强实体标签的关联性


对话作者


关于新标注模式的适用性,作者认为本论文主要考虑一个词只属于一个三元组的情况,对于三元组重叠问题,即多个三元组都包含同一个词的情况,将在以后的工作中进行探讨。当说到关系数量增多导致标签总数大幅度增加,是否对输出层有影响的问题时,作者向我们解释到,关系数量增多会导致输出层的标签总数增加,对结果会有影响,如果训练集足够丰富本模型任然可以表现出很好的效果。


关于模型与实验,在实验部分作者将本模型(LSTM-LSTM-Bias)与经典模型(LSTM-CRF,LSTM-LSTM)进行比较,根据实验结果作者分析到,CRF 旨在最大化整个标签序列的联合概率,LSTM 能够学习序列元素之间的长距离依赖关系。由于关联标签之间可能彼此具有较长距离,所以基于 LSTM 的解码方式比 CRF 稍好。LSTM-LSTM-Bias 增加了偏置权重以增强特殊标签的作用,并削弱无效标签的影响。因此,它可以获得比常见端对端模型更好地效果。此外,由于关联实体对在文本中的位置是随机的,难以用一个固定结构的模型来增强二者之间的联系,目前想到的思路是通过设计有效地目标函数来增强实体对标签之间的关联性。此外,如何记录已经预测出来的特殊标签信息并用于辅助预测下一个关联标签,目前也没还没想到比较好的思路。


关于模型的应用场景,作者说到,从任务的应用背景回答,该模型可以用于丰富已有的知识图谱资源。如今各种智能化应用,如:自动问答、智能搜索、个性化推荐等,都需要知识图谱的支撑。为推动各领域智能化应用的发展,需要不断的去丰富和完善已有的知识图谱。不断涌现的网络文本数据中存在着大量的知识信息,基于人工整理的方式的成本太高,而且也难以跟上知识出现的步伐。因此,本文方法作为一种从非结构化文本数据中自动化地抽取实体以及他们之间关系进而形成结构化信息的技术,对丰富已有知识资源具有着十分重要的意义。


欢迎点击「阅读原文」查看论文:

Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme


关于中国中文信息学会青工委


中国中文信息学会青年工作委员会是中国中文信息学会的下属学术组织,专门面向全国中文信息处理领域的青年学者和学生开展工作。


关于PaperWeekly


PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。


点击 | 阅读原文 | 查看论文

技术动态 | 基于深度学习知识库问答研究进展

本文整理自刘康博士在 4 月 29 日广州知识图谱与问答系统论坛上的演讲。

大家好。我这个报告的题目是基于深度学习的知识库问答研究进展。其实就是想跟大家介绍,目前在做面向知识库问答的时候,一个解决的方案是用 Deep Learning 来做。

1 问答系统的历史

那么首先的话我们来回顾一下问答的一些历史的一些情况。我们现在用搜索引擎的话,其实用户来访问数据,还是以文档列表的形式。当用户问一个问题的时候,是需要用户在下面排序的结果中,来找到自己所需要的答案,其实搜索引擎并不能直接给你最精准的答案。另外,我们现在有各种各样的可穿戴设备,屏幕的缩小需要我们这个系统能够自动的从我们的数据库,或者我们的文本库里面,抽取最精准的答案。

继续阅读“技术动态 | 基于深度学习知识库问答研究进展”

技术动态 | 揭开知识库问答 KB-QA 的面纱 7 · 深度学习下篇(一)

作者,四川大学博士生,刘大一恒。本文已经获得 ChatbotMagazine 公众号授权。
内容速览

☛ 什么是记忆网络

☛ 基于记忆网络的KB-QA

☛ 小结

在上两期,我们分别介绍了使用深度学习的卷积神经网络对向量建模和语义解析方法进行提升的两篇经典论文。(详情翻查公众号历史记录。)

继续阅读“技术动态 | 揭开知识库问答 KB-QA 的面纱 7 · 深度学习下篇(一)”

领域应用 | 从数据到智慧:证券行业知识图谱应用实践

摘  要:大数据时代以其海量的数据,极大丰富了人们获取知识的来源与途径,为人们更好的掌握与认知事物规律,提供了越来越丰富的手段。与此同时,随着数据量尤其是非结构化数据的急剧增长,数据的分析与理解已经远远超过人类的理解与分析速度,在某些应用场景甚至会出现随着数据的增长而应用效能下降的“拉弗曲线”效应,困扰着行业的进一步发展。

抛开应用场景的数据解决方案通常都不能取得良好的效果,就针对证券行业这一特定行业而言,存在着结构与非结构化数据并存、数据分析结果要求准确度极高、数据分析结果经济效益明显直接的特点,对我们的分析手段提出了新的要求与挑战。

金融知识图谱,一改传统数据分门别类的存储方式,以一种“活”的方式将实体、属性、关系等非结构化、结构化数据固化并联系起来。构建金融知识图谱作为证券文本语义理解和知识搜索的关键基础技术,为未来证券领域文本分析、舆情监控、知识发现、模式挖掘、推理决策等提供了坚实支撑。

金融知识图谱在证券行业的应用目前尚处于探索阶段,如智能投研,智能公告等等,均可以大大提高传统业务效率。然而,构造和应用领域知识图谱,尚面临着各种挑战和难题,需要行业专家和人工智能专家协作起来,以专家+大数据的方式构筑自生长模式,从而真正将海量非结构化信息自动化利用起来,成为领域应用决策的坚实支持。

关键词:知识图谱; 智能投研; 大数据;

继续阅读“领域应用 | 从数据到智慧:证券行业知识图谱应用实践”

技术动态 | 揭开知识库问答 KB-QA 的面纱 6 · 深度学习中篇

​作者,四川大学博士生,刘大一恒。本文已经获得 ChatbotMagazine 公众号授权。
内容速览
☛ 语义解析方法的再思考
☛ 什么是查询图
☛ 查询图的阶段生成
☛ 各阶段的特征
☛ 实验分析与总结
在上期,我们介绍了深度学习对传统向量建模KB-QA方法进行提升的一篇代表论文,可以看出它的效果击败了当时所有的传统方法。本期,我们将以深度学习提升语义解析方法的一篇代表作为例,作为深度学习篇的中篇,为大家进一步揭开知识库问答的面纱。

继续阅读“技术动态 | 揭开知识库问答 KB-QA 的面纱 6 · 深度学习中篇”

领域应用 | 基于知识图谱的厨房领域问答系统构建

本文整理自广州索答信息科技有限公司 CTO 徐叶强在 4 月 29 日广州知识图谱与问答系统论坛上的演讲。

大家好,我是索答科技的徐叶强。首先感谢杜剑锋老师的邀请,还有我们的蒋院长给我们专门一个平台,有幸在这个地方,给大家分享一下我们索答科技目前做的一个产品里面所用到的一些技术,以及解决的一些问题,那么下面我会分成四个部分,跟大家一起分享。

继续阅读“领域应用 | 基于知识图谱的厨房领域问答系统构建”