一种基于小样本学习的知识图谱实体链接预测方法

1.本发明属于元学习与知识表示学习技术领域，具体涉及一种基于小样本学习的知识图谱实体链接预测方法。


背景技术：

2.现有多数的机器学习模型都依赖于大量的数据进行训练，然而针对特殊领域或者复杂的任务时，少量的样本数据限制了已有模型的能力，使得模型无法达到相应的效果。研究人员针对小样本的问题提出了众多解决办法，在计算机视觉领域、图像分类任务中已经形成了许多性能优异的模型，但是在知识图谱领域中发展较为缓慢。以三元组形式表示的知识图谱中普遍存在长尾现象，只有极少数的三元组关系拥有大量对应的头尾实体，在小样本数据的条件下进行知识图谱实体链接预测的任务亟待解决。
3.知识表示学习利用机器学习技术获取每个实体或者关系的向量化表达，能够将描述的文本对象表示为一个低维的实值向量，利用对象在空间的相对距离，反映它们之前的语义关系。由于内容被映射到向量空间中，相应的算法可以使用数值计算，并且基于向量的表示会更加适用于机器学习算法。
4.元学习的目的是让模型本身获得一种学习能力，这种能力能够保证模型自动学习到一些模型训练之外可以学习到的知识，包括模型的超参数、神经网络的初始参数、神经网络的结构和优化器等元知识。在小样本学习中，元学习从大量的先验任务中学习到元知识，利用以往的先验知识来指导模型在新任务中的更快的学习。在基于元学习的知识图谱补全的任务可理解为实体链接预测问题，通过训练集中真实的三元组数据训练元学习器，使得元学习器能够获得以下能力：从完整的三元组中抽取关系信息，转移到缺失的三元组中，并且可以仅仅通过少量实例来加速任务中的学习过程。


技术实现要素：

5.本发明的目的在于解决知识图谱中常见的长尾现象带来的三元组数量不足以支撑现有模型训练从而难以推断出缺失三元组的问题，提供一种基于小样本学习的知识图谱实体链接预测方法。
6.一种基于小样本学习的知识图谱实体链接预测方法，包括以下步骤：
7.步骤1：在知识库中提取大量的由头实体、关系、尾实体构成的三元组，将这些三元组整理为后续模型训练所需的数据集；
8.步骤2：根据元学习的数据集处理标准，将整体数据集分为两个部分m
train
训练集和m
test
测试集，为保证基于小样本的模型训练正确性，要求
9.步骤3：定义以向量方式表达的三元组为(h,r,t)；其中，h，t分别表示头、尾实体向量；r表示关系向量；将步骤2中的m
train
和m
test
根据实体的自身语义复杂度以动态向量维度的方式进行初始化；
10.步骤4：对于m
train
中具有相同关系r的三元组加入到任务taskr中，定义t是所有关
系任务的集合，taskr∈t；
11.步骤5：根据步骤4中的t抽取任意一项任务task
′r，对于多数task
′r会包含多个三元组信息，将task
′r中的多个三元组划分出支持集sr和查询集qr；
12.步骤6：对步骤5中的支持集sr中某个实体对使用基于元学习的机器学习方法进行关系信息提取；
13.步骤7：利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数，不断进行梯度更新，得到最终的关系信息向量；
14.步骤7.1：对步骤5中的sr头尾实体数量对应关系分类，针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成，加快模型训练的速度；
15.步骤7.2：将步骤6.3中得到的关系向量以及实体对(hi,ti)通过超平面转换分别得到使用三元组评估函数允许头尾实体在涉及不同关系时具有分布式表示的特点；
16.步骤7.3：根据步骤7.2中三元组评估函数定义损失函数定义损失函数其中，γ为边界超参数；分别代表正样本与负样本的得分；c是约束的超参数；
17.步骤7.4：计算步骤7.3中损失函数对于当前任务的关系信息向量的梯度变化量遵循梯度更新的规则，按照实现对关系信息向量的快速更新；其中，为更新后的关系信息；α为学习率；
18.步骤7.5：重复步骤7.1到7.4，持续更新直到遍历支持集sr中的全部三元组；
19.步骤8：将步骤5中的查询集qr所有三元组按照步骤6、步骤7完成关系信息更新，得到最终关系信息向量
20.步骤9：对步骤3中测试集m
test
，按照步骤5分解出支持集s
rt
和查询集q
rt
，将s
rt
以步骤6到步骤7最终得到的关系信息向量对三元组中的关系进行初始化，训练完整三元组的向量表示；
21.步骤10：将步骤9中的查询集q
rt
中的实体向量带入三元组中缺失的部分，结合步骤7.2中的评分函数计算得分，通过mrr、hit@k等评测方法确定最终补全的实体。
22.进一步地，所述步骤6具体包括：
23.步骤6.1：从支持集sr取出实体对(hi,ti)，通过若干层全连接神经网络的计算得到实体对(hi,ti)对于关系r的表示
24.步骤6.2：计算支持集sr中的三元组个数n，重复步骤6.1得到支持集sr中所有实体对关系r的表示之和
25.步骤6.3：计算对关系r的信息提取结果为
26.本发明的有益效果在于：
27.本发明利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的
提取以及快速更新；考虑数据集中的三元组会存在复杂的头尾实体数量对应关系，通过预先统计出完整三元组中的头尾实体数量，根据头尾实体所占比例确定负样本的生成方式；通过知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算。本发明通过将更新后的关系信息向量映射到超平面，并将实体向量进行超平面投影分解，使得模型能够有效缓解训练过程中过度收敛的情况。
附图说明
28.图1为本发明的一种基于小样本学习的知识图谱实体链接预测方法的流程图。
具体实施方式
29.下面结合附图对本发明做进一步描述。
30.本发明属于知识图谱补全领域中的实体链接预测方法，涉及元学习，知识表示学习等相关技术。本发明是为了解决知识图谱中常见的长尾现象带来的三元组数量不足以支撑现有模型训练从而难以推断出缺失三元组的问题。传统的知识图谱补全任务中，可根据模型学习现有的足够数量的三元组用以补全知识图谱，但针对只存在少量三元组的关系应用已有的模型进行知识图谱补全任务的效果无法达到令人满意的程度。本发明提出了一种结合元学习和知识嵌入表示学习的知识图谱实体链接预测技术，可以在小样本的条件下针对某种三元组关系完成缺失三元组的推理从而到达补全知识图谱的目的。
31.一种基于小样本学习的知识图谱实体链接预测方法，包括以下步骤：
32.步骤1：在权威知识库中提取大量的由头实体、关系、尾实体构成的三元组，将这些三元组整理为后续模型训练所需的数据集。
33.步骤2：根据元学习的数据集处理标准，将整体数据集分为两个部分m
train
训练集和m
test
测试集，为保证基于小样本的模型训练正确性，要求
34.步骤3：定义以向量方式表达的三元组为(h,r,t)，其中h，t分别表示头、尾实体向量，r表示关系向量，将步骤2中的m
train
和m
test
根据实体的自身语义复杂度以动态向量维度的方式进行初始化。
35.步骤4：对于m
train
中具有相同关系r的三元组加入到任务taskr中，定义t是所有关系任务的集合，其中taskr∈t。
36.步骤5：根据步骤4中的t抽取任意一项任务task
′r，对于多数task
′r会包含多个三元组信息，将task
′r中的多个三元组划分出支持集sr和查询集qr。
37.步骤6：对步骤5中的支持集sr中某个实体对使用基于元学习的机器学习方法进行关系信息提取。
38.步骤6.1：从支持集sr取出实体对(hi,ti)，通过若干层全连接神经网络的计算得到实体对(hi,ti)对于关系r的表示
39.步骤6.2：计算支持集sr中的三元组个数n，重复步骤6.1得到支持集sr中所有实体对关系r的表示之和
40.步骤6.3：计算对关系r的信息提取结果为
41.步骤7：利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数，不断进行梯度更新，得到最终的关系信息向量。
42.步骤7.1：对步骤5中的sr头尾实体数量对应关系分类，针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成，加快模型训练的速度。
43.步骤7.2：将步骤6.3中得到的关系向量以及实体对(hi,ti)通过超平面转换分别得到使用三元组评估函数允许头尾实体在涉及不同关系时具有分布式表示的特点。
44.步骤7.3：根据步骤7.2中三元组评估函数定义损失函数定义损失函数其中γ为边界超参数，分别代表正样本与负样本的得分，c是约束的超参数。
45.步骤7.4：计算步骤7.3中损失函数对于当前任务的关系信息向量的梯度变化量遵循梯度更新的规则，按照实现对关系信息向量的快速更新，为更新后的关系信息，α为学习率。
46.步骤7.5：重复步骤7.1到7.4，持续更新直到遍历支持集sr中的全部三元组。
47.步骤8：将步骤5中的查询集qr所有三元组按照步骤6、步骤7完成关系信息更新，得到最终关系信息向量
48.步骤9：对步骤3中测试集m
test
，按照步骤5分解出支持集s
rt
和查询集q
rt
，将s
rt
以步骤6到步骤7最终得到的关系信息向量对三元组中的关系进行初始化，训练完整三元组的向量表示。
49.步骤10：将步骤9中的查询集q
rt
中的实体向量带入三元组中缺失的部分，结合步骤7.2中的评分函数计算得分，通过mrr、hit@k等评测方法确定最终补全的实体。
50.实施例1：
51.图1为本发明所述的一种基于小样本学习的知识图谱实体链接预测方法流程示意图。该方法的具体实施步骤包括：
52.步骤1：从wiki等知识库中抽取完整的三元组信息以及实体信息，将整体的数据分为元训练集m
train
和元测试集m
test
，根据元学习训练的特点，要求数据集中的训练集与测试集不允许有重复的三元组及实体信息即
53.步骤2：三元组以向量方式表示的维度需根据其来源的知识库的数据量以及三元组本身语义复杂度进行动态调整，其中语义复杂度指的是三元组中的实体是否依靠于背景知识图谱进行辅助表示。
54.步骤3：元训练集m
train
和元测试集m
test
选出不同关系r对应的三元组构建元训练任务t
train
以及元测试任务t
test
，t
train
和t
test
分别包含各自的支持集和查询集，即t
train
＝{s
train
,q
train
}，t
test
＝{s
test
,q
test
}。
55.步骤4：某个关系r的元训练任务t
train
中的查询集中存在n个实体对，每个实体对
(hi,ti)进行头尾实体的链接计算即得到全连接网络的预输入，通过多层全连接神经网络计算出实体对的关系信息对查询集中所有的实体对执行上述操作并求平均值得到最终的关系信息
56.步骤5：为保证实体在不同关系下有不同的表示方式并充分考虑到传统知识表示学习对于一对多、多对一、多对多等复杂实体数量对应关系的处理效果差的情况，首先进行以关系信息向量为基准信息的超平面wr构建，然后将查询集中的头尾实体进行投影计算hi⊥
＝h
i-w
rthi
wr、ti⊥
＝t
i-w
rt
tiwr，制定三元组真值评分函数，制定三元组真值评分函数同时定义损失函数其中γ为边界超参数，c是约束整体损失的超参数，分别代表正样本与负样本的得分，负样本的生成以头尾实体所占总实体数的比例为参考值，头实体比例大则随机替换头实体，相反则随机替换尾实体。查询集中的实体对以及上述损失函数以梯度下降的方式对关系信息更新，梯度变化量以的规则进行更新，α为梯度下降的步长。利用支持集中更新好的关系信息在查询集中以上述相同的方式进行训练，当模型效果好时得到最终的实体链接预测模型。
57.步骤6：采用训练好的实体链接预测模型对元测试任务m
test
进行预测，根据mrr和hit@k等评测方法得出m
test
中的查询集的有效分数，选取最高的候选实体作为预测的结果。
58.与现有的技术相比，本发明的有益效果是：数据初始化可根据头尾实体以及关系的语义复杂度调整向量初始化的自身维度，能够保证三元组中的关系信息表达更加完整；利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的提取以及快速更新；考虑数据集中的三元组会存在复杂的头尾实体数量对应关系，传统的负样本生成方式易导致正样本得分受到影响，需预先统计出完整三元组中的头尾实体数量，根据头尾实体所占比例确定负样本的生成方式；知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算，本发明通过将更新后的关系信息向量映射到超平面，并将实体向量进行超平面投影分解，使得模型能够有效缓解训练过程中过度收敛的情况。
59.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于小样本学习的知识图谱实体链接预测方法，其特征在于，包括以下步骤：步骤1：在知识库中提取大量的由头实体、关系、尾实体构成的三元组，将这些三元组整理为后续模型训练所需的数据集；步骤2：根据元学习的数据集处理标准，将整体数据集分为两个部分m
train
训练集和m
test
测试集，为保证基于小样本的模型训练正确性，要求步骤3：定义以向量方式表达的三元组为(h,r,t)；其中，h，t分别表示头、尾实体向量；r表示关系向量；将步骤2中的m
train
和m
test
根据实体的自身语义复杂度以动态向量维度的方式进行初始化；步骤4：对于m
train
中具有相同关系r的三元组加入到任务task
r
中，定义t是所有关系任务的集合，task
r
∈t；步骤5：根据步骤4中的t抽取任意一项任务task
′
r
，对于多数task
′
r
会包含多个三元组信息，将task
′
r
中的多个三元组划分出支持集s
r
和查询集q
r
；步骤6：对步骤5中的支持集s
r
中某个实体对使用基于元学习的机器学习方法进行关系信息提取；步骤7：利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数，不断进行梯度更新，得到最终的关系信息向量；步骤7.1：对步骤5中的s
r
头尾实体数量对应关系分类，针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成，加快模型训练的速度；步骤7.2：将步骤6.3中得到的关系向量以及实体对(h
i
,t
i
)通过超平面转换分别得到使用三元组评估函数允许头尾实体在涉及不同关系时具有分布式表示的特点；步骤7.3：根据步骤7.2中三元组评估函数定义损失函数定义损失函数其中，γ为边界超参数；分别代表正样本与负样本的得分；c是约束的超参数；步骤7.4：计算步骤7.3中损失函数对于当前任务的关系信息向量的梯度变化量遵循梯度更新的规则，按照实现对关系信息向量的快速更新；其中，为更新后的关系信息；α为学习率；步骤7.5：重复步骤7.1到7.4，持续更新直到遍历支持集s
r
中的全部三元组；步骤8：将步骤5中的查询集q
r
所有三元组按照步骤6、步骤7完成关系信息更新，得到最终关系信息向量步骤9：对步骤3中测试集m
test
，按照步骤5分解出支持集s
rt
和查询集q
rt
，将s
rt
以步骤6到步骤7最终得到的关系信息向量对三元组中的关系进行初始化，训练完整三元组的向量表示；步骤10：将步骤9中的查询集q
rt
中的实体向量带入三元组中缺失的部分，结合步骤7.2中的评分函数计算得分，通过mrr、hit@k等评测方法确定最终补全的实体。
2.根据权利要求1所述的一种基于小样本学习的知识图谱实体链接预测方法，其特征在于：所述步骤6具体包括：步骤6.1：从支持集s
r
取出实体对(h
i
,t
i
)，通过若干层全连接神经网络的计算得到实体对(h
i
,t
i
)对于关系r的表示步骤6.2：计算支持集s
r
中的三元组个数n，重复步骤6.1得到支持集s
r
中所有实体对关系r的表示之和步骤6.3：计算对关系r的信息提取结果为

技术总结
本发明属于元学习与知识表示学习技术领域，具体涉及一种基于小样本学习的知识图谱实体链接预测方法。本发明利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的提取以及快速更新；考虑数据集中的三元组会存在复杂的头尾实体数量对应关系，通过预先统计出完整三元组中的头尾实体数量，根据头尾实体所占比例确定负样本的生成方式；通过知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算。本发明通过将更新后的关系信息向量映射到超平面，并将实体向量进行超平面投影分解，使得模型能够有效缓解训练过程中过度收敛的情况。效缓解训练过程中过度收敛的情况。效缓解训练过程中过度收敛的情况。


技术研发人员：刘泽超 马万朋 孙建国 刘瑞男 武俊鹏 申林山
受保护的技术使用者：哈尔滨工程大学
技术研发日：2021.11.26
技术公布日：2022/3/8