基于预训练模型的因果事件抽取方法、装置和计算机设备

本申请涉及信息抽取，特别是涉及一种基于预训练模型的因果事件抽取方法、装置和计算机设备。

背景技术：

1、早期的事件抽取通常使用基于规则模式匹配的方法。随着大规模语料库的构建和统计学习的兴起，出现了基于统计学习的方法。基于规则模式匹配的方法在特定领域可以取得良好成果，但其流程复杂、容易产生级联错误，并受限于特定领域文本格式，这在经济领域文本的复杂多样性中尤为明显。基于统计学习的方法需要依赖复杂的特征工程，自然语言处理工具和大量已标注数据作为训练集。尽管现有的经济领域中文本数据丰富，但可用的标注数据相对较少，相关类型数据集规模小，而小规模的数据集基本无法进行复杂模型的训练，导致测试结果不稳定。

2、随着人工智能的发展，深度学习在自然语言处理领域取得显著进步，基于深度学习的事件抽取方法成为事件抽取的研究热点和主流方向。相较于统计学习的方法，基于深度学习的方法简化了特征工程，减少了对领域专家知识的需求。与基于规则模式匹配的方法和基于统计学习的方法相比，基于深度学习的方法通过深度学习模型可以更有效地捕获数据特征。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于预训练模型的因果事件抽取方法、装置和计算机设备。

2、一种基于预训练模型的因果事件抽取方法，该方法包括：

3、获取待处理的原始文本数据，采用基于位置的辅助标注方式在原始文本数据中标注出因果对。

4、将标注后的数据进行向量表示，得到文本序列。

5、将文本序列采用bert预训练模型提取文本语义特征，得到词表示向量。

6、将词表示向量采用lstm网络进行编码，得到编码后的句子表示。

7、将编码后的句子表示分别采用第一全连接层和第二全连接层，将特征的形状扩展成为位置辅助标记矩阵的形状。

8、将两个全连接层的输出经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵。

9、根据因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示。

10、在其中一个实施例中，因果事件表示采用将因果事件三元组，因果事件三元组为，其中，c为因事件，i为影响，e为果事件。

11、在其中一个实施例中，获取待处理的原始文本数据，采用基于位置的辅助标注方式在原始文本数据中标注出因果对，包括：

12、获取待处理的原始文本数据。

13、将原始文本数据中的因事件和果事件以其事件的头索引head和尾索引tail进行存储标记。

14、在其中一个实施例中，将两个全连接层提取的特征经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵，包括：

15、将两个全连接层提取的特征经过相应的激活函数处理后采用第三全连接层进行处理，将提取得到的以的形式存储在因事件矩阵中，将提取得到的果事件以的形式存储在果事件矩阵中，将提到得到的因事件的头索引和果事件的头索引以的形式存储在关系头部矩阵中表示事件对之间的因果关系；其中、分别为因事件的头索引和尾索引，、分别为果事件的头索引和尾索引。

16、在其中一个实施例中，根据因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示，包括：

17、如果因事件矩阵中的和果事件矩阵中的在因果关系头部矩阵中找到，则抽取得到对应的因果关系三元组。

18、在其中一个实施例中，激活函数为elu激活函数。

19、一种基于预训练模型的因果事件抽取装置，该装置包括：

20、标注模块，用于获取待处理的原始文本数据，采用基于位置的辅助标注方式在原始文本数据中标注出因果对。

21、文本语义特征提取模块，用于将标注后的数据进行向量表示，得到文本序列；将文本序列采用bert预训练模型提取文本语义特征，得到词表示向量。

22、lstm编码模块，用于将词表示向量采用lstm网络进行编码，得到编码后的句子表示。

23、特征形状扩展模块，用于将编码后的句子表示分别采用第一全连接层和第二全连接层，将特征的形状扩展成为位置辅助标记矩阵的形状。

24、特征矩阵确定模块，用于将两个全连接层提取的特征经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵。

25、因果事件抽取模块，用于根据因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示。

26、在其中一个实施例中，因果事件抽取模块中因果事件表示采用将因果事件三元组，因果事件三元组为，其中，c为因事件，i为影响，e为果事件。

27、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

28、获取待处理的原始文本数据，采用基于位置的辅助标注方式在原始文本数据中标注出因果对。

29、将标注后的数据进行向量表示，得到文本序列。

30、将文本序列采用bert预训练模型提取文本语义特征，得到词表示向量。

31、将词表示向量采用lstm网络进行编码，得到编码后的句子表示。

32、将编码后的句子表示分别采用第一全连接层和第二全连接层，将特征的形状扩展成为位置辅助标记矩阵的形状。

33、将两个全连接层的输出经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵。

34、根据因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示。

35、上述基于预训练模型的因果事件抽取方法、装置和计算机设备，所述方法采用基于位置的辅助标注方式在原始文本数据中标注出因果对；将标注后的数据进行向量表示，得到文本序列；将文本序列采用bert预训练模型提取文本语义特征，得到词表示向量；将词表示向量采用lstm网络进行编码，得到编码后的句子表示；将编码后的句子表示分别采用第一全连接层和第二全连接网络，将特征的形状扩展成为位置辅助标记矩阵的形状；将两个全连接层的输出经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵；根据因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示。采用本方法在句子级别的经济领域数据集上抽取具有因果关联的事件对，提高了因果事件抽取的准确率。

技术特征：

1.一种基于预训练模型的因果事件抽取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于预训练模型的因果事件抽取方法，其特征在于，所述因果事件表示采用将因果事件三元组，因果事件三元组为，其中，c为因事件，i为影响，e为果事件。

3.根据权利要求1所述的基于预训练模型的因果事件抽取方法，其特征在于，获取待处理的原始文本数据，采用基于位置的辅助标注方式在所述原始文本数据中标注出因果对，包括：

4.根据权利要求3所述的基于预训练模型的因果事件抽取方法，其特征在于，将两个全连接层提取的特征经过相应的激活函数处理后采用第三全连接层进行处理，得到因事件矩阵、关系头部矩阵和果事件矩阵，包括：

5.根据权利要求4所述的基于预训练模型的因果事件抽取方法，其特征在于，根据所述因事件矩阵、所述关系头部矩阵和所述果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示，包括：

6.根据权利要求1所述的基于预训练模型的因果事件抽取方法，其特征在于，所述激活函数为elu激活函数。

7.一种基于预训练模型的因果事件抽取装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述因果事件抽取模块中所述因果事件表示采用将因果事件三元组，因果事件三元组为，其中，c为因事件，i为影响，e为果事件。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的基于预训练模型的因果事件抽取方法。

技术总结
本申请涉及一种基于预训练模型的因果事件抽取方法、装置和计算机设备。所述方法采用基于位置的辅助标注方式在原始文本数据中标注出因果对；将标注后的数据进行向量表示，将得到的文本序列采用BERT预训练模型提取文本语义特征，然后采用LSTM网络进行编码，将编码后的句子表示分别采用第一全连接层和第二全连接层，将特征的形状扩展成为位置辅助标记矩阵的形状；将得到的输出经过相应的激活函数后采用第三全连接层进行处理，根据得到的因事件矩阵、关系头部矩阵和果事件矩阵，通过索引将应时间对联系起来，得到因果事件表示。采用本方法在句子级别的经济领域数据集上抽取具有因果关联的事件对，提高了因果事件抽取的准确率。

技术研发人员：乔凤才,邓劲生,张鑫,蒋林承,宋省身
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/12/5