论文浅尝 | 基于动态记忆的原型网络进行元学习以实现少样本事件探测

 

浙大KG

浙江大学知识引擎实验室

本文转载自公众号:浙大KG。

论文题目:Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection

本文作者:邓淑敏,浙江大学在读博士,研究方向为低资源条件下知识图谱自动化构建关键技术研究

发表会议:WSDM 2020

论文链接:https://arxiv.org/abs/1910.11621

FewEvent数据集链接: https://github.com/231sm/Low_Resource_KBP

    事件抽取(EE)是一项旨在从非结构化文本中提取结构事件信息的任务,它可以分两个子任务:事件检测(event detection)与元素抽取(argument extraction)。事件检测需要找到事件描述文本中的触发词,并将其对应到指定的事件类型,元素抽取需要找到事件的参与元素,并划分它们在事件中扮演的角色。本文基于目前事件抽取数据集的稀疏问题,以及考虑到现实世界中的新事件层出不穷,重新审视了事件检测任务。在元学习的设置下,将事件检测建模成少样本学习任务(遵循N-Way-K-Shot的实验设定),称之为少样本事件检测(FSED)

图1: 模型架构

本文提出了一个基于动态记忆的原型网络(DMB-PN),该网络利用动态记忆网络(DMN)为事件学习更好的原型,模型架构如上图所示。传统的原型网络简单地通过平均计算事件描述(event mention)文本的编码来表示事件原型,这样的做法只会用一次event mention的编码。考虑到每个事件的样本比较少,我们希望尽可能多地利用样本的信息,因此区别于传统的原型网络,DMB-PN整合了DMN,会多次从event mention中提取上下文信息,也就是说DMB-PN会多次使用event mention的编码,并且进行记忆存储和更新。我们分别在固定事件类别数N的设置下进行K-Shot的评估,以及在固定每个事件类样本数K的设置下进行N-Way的评估。实验表明,DMB-PN不仅比原型网络处理样本稀疏性的性能更好,而且在类型数目增多和样本数目减少的时候性能更加稳定。

此外,动态记忆网络还用于学习模型中的事件原型和句子编码。具体来说,我们在典型的DMN模块中使用触发词作为问题来产生存储向量,从而产生对触发词更敏感的句子编码。由于DMN的多跳机制,使得它更有利于充分利用事件实例,因此基于DMN的模型在句子编码方面更健壮,特别是在少样本场景中。

部分实验结果如下所示:

表1: 5-Way-X-Shot的实验结果比较

表2: 10-Way-X-Shot的实验结果比较

图2: X-Way-15-Shot的实验结果比较

总而言之,这篇文章研究工作的主要贡献是:

(1)正式定义和提出“少样本事件检测”的新问题,并生成了一个专门针对该问题名为FewEvent的新数据集;

(2)提出了一个基于动态记忆的原型网络的新框架DMB-PN,该框架利用动态记忆网络不仅可以为事件类型学习更好的原型,还可以为事件描述文本生成更健壮的句子编码;

(3)实验表明,与记忆机制集成的原型网络的性能优于一系列的传统模型,特别是当事件类型的种类相对较多且样本数量非常少时,这是因为它具有从事件实例中多次提取上下文信息的能力。

如果对本文的工作感兴趣,欢迎大家阅读原文,也欢迎大家和我们交流。

 

 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

发表评论

邮箱地址不会被公开。 必填项已用*标注