一种场景识别模型训练方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种场景识别模型训练方法、装置、设备及介质。


背景技术：

2.随着智能设备的快速发展，人们日常观看的视频图像越来越多，视频内容涉及到的产品也越来越丰富。自动识别并分类图像的场景类别有助于帮助机器更好的理解图像，并且帮助下游算法开发针对不同场景的功能。
3.现有技术中，大部分基于神经网络的场景识别模型都是在封闭的图像集中训练和测试的，即系统默认只能识别封闭训练图像集中包含的场景种类，然而在实际应用中，真实的图像类别是不可穷举的，面对未知场景类别的图像，若基于封闭的图像集训练完成的场景识别模型，识别未知场景类别的图像对应的场景，则可能将该未知类别的图像划分到错误的场景类别中，影响模型识别场景类别的精度，进而影响下游算法的处理。


技术实现要素：

4.本技术提供了一种场景识别模型训练方法、装置、设备及介质，用以解决现有技术中基于封闭的图像集训练完成的场景识别模型识别未知场景类别的图像的场景时，可能将该未知场景类别的图像划分到错误的场景类别中，影响模型识别的精度的问题。
5.本技术提供了一种场景识别模型训练方法，所述方法包括：
6.获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；
7.将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；
8.针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
9.进一步地，确定保存的场景类别对应的类中心特征向量包括：
10.根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图
像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；
11.若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；
12.若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
13.进一步地，所述根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量包括：
14.针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
15.进一步地，所述根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值包括：
16.确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；
17.将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
18.进一步地，所述根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值包括：
19.确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；
20.将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
21.进一步地，所述根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值包括：
22.确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；
23.将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；
24.将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
25.进一步地，所述根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值包括：
26.确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；
27.将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；
28.将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
29.进一步地，将目标欧式距离与预设的数值的乘积确定为子损失值包括：
30.确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向
量之间的余弦相似度；
31.根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
32.本技术还提供了一种显示设备，该显示设备包括：
33.控制器，所述控制器用于执行：
34.接收待识别图像，基于预先训练完成的场景识别模型，识别所述待识别图像所归属的目标场景类别；
35.输出模块，用于输出所述目标场景类别。
36.本技术还提供了一种场景识别模型训练装置，该装置包括：
37.获取模块，用于获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；
38.训练模块，用于针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
39.进一步地，所述获取模块，还用于根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
40.进一步地，所述获取模块，具体用于针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
41.进一步地，所述训练模块，具体用于确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
42.进一步地，所述训练模块，具体用于确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
43.进一步地，所述训练模块，具体用于确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
44.进一步地，所述训练模块，具体用于确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
45.进一步地，所述训练模块，具体用于确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度；根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
46.本技术还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述场景识别模型训练方法的步骤。
47.本技术还提供了一种计算机可读存储介质，其存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行上述任一项所述场景识别模型训练方法的步骤。
48.由于本技术中，在对原始场景识模型进行训练时，样本集中既包含已知场景类别的第一样本图像，还包含未知场景类别的第二样本图像，并将样本集中包含的每个样本图像都输入到原始识别模型中，针对每个第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，并针对每个第二样本图像，获取该第二样本图像的第二特征向量，也就是说，只基于该原始识别模型提取该第二样本图像的第二特征向量，而不让原始识别模型对该第二样本图像的特征进行学习，能够有效的保证后续在基于训练完成的场景识别模型识别未知场景类别的图像的场景类别时，不会将该未知场景类别的图像划分到错误的场景类别中，提高了场景类别的识别精度。
附图说明
49.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1为本技术一些实施例提供的一种场景识别模型训练方法的过程示意图；
51.图2为本技术一些实施例提供的场景识别模型训练的过程示意图；
52.图3为本技术一些实施例提供的一种原始场景识别模型的结构示意图；
53.图4为本技术一些实施例提供的一种显示设备的结构示意图；
54.图5为本技术一些实施例提供的一种场景识别模型训练装置结构示意图；
55.图6为本技术一些实施例提供的一种电子设备的结构示意图。
具体实施方式
56.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
57.在本技术中，获取样本集中的每个样本图像及每个样本图像对应的标签，该标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值，将该样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量，针对每个第一样本图像，根据该第一样本图像的该场景概率向量以及保存的该第一样本图像的标签中标识的场景类别对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，该目标场景类别为根据该目标场景类别值确定的，根据该第一样本图像的第一特征向量以及保存的除该目标场景类别值以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值，根据该第一子损失值、该第二子损失值、该第三子损失值以及该第四子损失值，确定目标损失值，根据该目标损失值，对该原始场景识别模型进行训练。
58.实施例1：
59.为了保证在识别未知场景类别的图像对应的场景类别时，不会将该未知场景类别的图像划分到错误的场景类别中，提高场景类别的识别精度，本技术实施例提供了一种场景识别模型训练方法、装置、设备及介质。
60.图1为本技术一些实施例提供的一种场景识别模型训练方法的过程示意图，该过程包括以下步骤：
61.s101：获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值。
62.本技术实施例提供的场景识别模型训练方法应用于电子设备，该电子设备可以为智能终端、pc或者服务器等等。
63.在本技术中，为了获得精度高的场景识别模型，预先配置有样本集，并根据样本集中包含的每个样本图像对该场景识别模型进行训练。为了保证在识别未知场景类别的图像对应的场景类别时，不会将该未知场景类别的图像划分到错误的场景类别中，样本集中除了包含已知场景类别的样本图像，还包含未知场景类别的样本图像。其中，该已知场景类别包含跳舞场景、唱歌场景以及游戏场景等等。
64.在本技术中，为了便于后续对场景识别模型进行训练，样本集中除了包含各个样本图像以外，还包含各个样本图像对应的标签，其中，该标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值。在本技术中，预先针对每种已
知的场景类别设置了对应的场景类别值，比如，若已知场景类别包含游戏场景类别和唱歌场景类别，则可以将游戏场景类别对应的场景类别值设置为1，将唱歌场景类别对应的场景类别值设置为0.8，具体的，该已知场景类别对应的场景类别值根据需求进行设置，不同的场景类别对应的场景类别值不同。若样本图像为未知场景类别的样本图像，那该样本图像携带的标签可以为明显区别于已知场景类别的标签，具体的，可以将已知场景类别对应的场景类别值设为数值，将未知场景类别对应的标签设置为字符等等，具体的，该未知场景类别的标签根据需求进行设置。
65.s102：将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量。
66.为了对原始场景识别模型进行训练，在本技术中，在获得样本集后，将该样本集中的每个样本图像依次都输入到该原始场景识别模型中，为了便于描述，将样本集中包含的样本图像中已知场景类别对应的样本图像称为第一样本图像，将样本集中包含的样本图像中未知场景类别对应的样本图像称为第二样本图像。
67.针对每个已知场景类别对应的第一样本图像，该原始场景识别模型获得该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，其中，该第一特征向量中的各个分量为该第一样本图像对应的各个特征对应的特征值，该目标场景类别值为该原始场景识别模型预测的该第一样本图像的目标场景类别对应的类别值，比如，若预测该第一样本图像对应的目标场景类别为游戏场景类别，则该第一样本图像对应的目标场景类别值为1。其中，该场景概率向量包括该第一样本图像分别归属于每个场景类别的概率值，该每个场景类别是由样本集中各个样本图像所归属的场景类别确定的。
68.针对每个未知场景类别对应的第二样本图像，为了避免该原始识别模型对第二样本图像的未知场景类别进行学习，在本技术中，针对每个第二样本图像，该原始识别模型，不对该第二样本图像进行场景类别识别，也就是说，不确定该第二样本图像对应的目标场景类别值以及场景概率向量，只获取该第二样本图像的第二特征向量，其中，该第二特征向量中的各个分量为该第二样本图像对应的各个特征对应的特征值。
69.s103：针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
70.在本技术中，由于样本集中样本图像均对应有标签，即标识了对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值，因此，在本技术中，可以在获取了样本集中包含的第一样本图像的第一特征向量、目标场景类别值以及场景概率向
量，以及第二样本图像的第二特征向量后，对原始场景识别模型进行训练。
71.由于原始场景识别模型是否训练完成的标准为该原始场景识别模型当前的每个第一样本图像对应的损失值是否达到收敛条件，若是，则说明当前训练的原始场景识别模型拥有较高的识别能力，识别准确率较高，因此可以确定该原始场景模型训练完成。在本技术中，为了完成对该原始场景模型的训练，在确定样本集中包含的第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，以及第二样本图像的第二特征向量后，可以根据该第一样本图像的第一特征向量、目标场景类别以及场景概率向量，以及第二样本图像的第二特征向量确定目标损失值，根据该目标损失值，对该原始场景识别模型进行训练。
72.具体的，在本技术中针对每个已知场景类别，保存有该场景类别的场景类别值对应的向量，在确定目标损失值的过程中，若该第一样本图像的场景概率向量与保存的该第一样本图像的标签中标识的场景类别值对应的向量越接近，则说明当前场景识别模型的识别准确率越高，此时目标损失值也越小。因此可以根据该第一样本图像的场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值。其中，该第一子损失值为目标损失值的一部分。
73.具体的，可以根据该第一样本图像的场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量之间的欧式距离，确定为第一子损失值，还可以确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量之间的第一差值向量，并将该第一差值向量对应的模长确定为第一子损失值，其中，该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量越接近，该第一差值向量对应的模长越小，该第一子损失值越小。
74.其中，该第一差值向量中包含的分量的数目与场景概率向量包含的分量的数目、保存的场景类别值对应的向量包含的分量的数目相同。
75.由于该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量越接近，则说明当前场景识别模型的识别准确率越高，此时目标损失值越小，因此还可以根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，该第二子损失值为该目标损失值的一部分。其中，该第一样本图像的目标场景类别为根据预先保存的场景类别值与场景类别的对应关系以及该第一样本图像的目标场景类别值确定的，具体的，因为第一样本图像的目标场景类别值已经确定，则根据预先保存的场景类别值与场景类别的对应关系，确定该目标场景类别值对应的目标场景类别。
76.具体的，可以确定该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第二差值向量，并将该第二差值向量对应的模长确定为第二子损失值，其中，该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量越接近，该第二差值向量对应的模长越小，该第二子损失值越小。
77.其中，该第二差值向量中包含的分量的数目与第一特征向量包含的分量的数目、保存的目标场景类别对应的第一类中心特征向量包含的分量的数目相同。
78.由于该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量越远，则说明当前场景识别模型的识别准确率越
高，此时目标损失值越小，因此可以根据该第一样本图像的第一特征向量以及保存的除该第一样本图像对应的目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，其中，该第三子损失值为该目标损失值的一部分。
79.具体的，可以确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量之间的第三差值向量，并将该第三差值向量对应的模长对应的负数确定为第三子损失值。
80.其中，该第三差值向量中包含的分量的数目与第一特征向量包含的分量的数目、保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量包含的分量的数目相同。
81.由于该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量越远，则说明当前场景识别模型的识别准确率越高，此时目标损失值越小，因此可以根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值，其中，该第四子损失值为该目标损失值的一部分。
82.具体的，可以确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量的平均向量之间的第四差值向量，并将该第四差值向量对应的模长的负数确定为第四子损失值。
83.其中，该第四差值向量中包含的分量的数目与第一特征向量包含的分量的数目、每个第二样本图像的第二特征向量的平均向量包含的分量的数目相同。
84.为了确定目标损失，在本技术中，根据第一子损失值、第二子损失值、第三子损失值以及第四子损失值，确定目标损失值，具体的，可以根据第一子损失值以及预设的第一权重、第二子损失值以及预设的第二权重、第三子损失值以及预设的第三权重、第四子损失值以及预设的第四权重，确定权重和，将该权重和确定为目标损失值，基于该目标损失值，对该原始场景识别模型进行训练。还可以将该第一子损失值、第二子损失值、第三子损失值以及第四子损失值中最大的损失值确定为目标损失值，基于该目标损失值，对该原始场景识别模型进行训练。
85.由于本技术中，在对原始场景识模型进行训练时，样本集中既包含已知场景类别的第一样本图像，还包含未知场景类别的第二样本图像，并将样本集中包含的每个样本图像都输入到原始识别模型中，针对每个第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，并针对每个第二样本图像，获取该第二样本图像的第二特征向量，也就是说，只基于该原始识别模型提取该第二样本图像的第二特征向量，而不让原始识别模型对该第二样本图像的特征进行学习，能够有效的保证后续在基于训练完成的场景识别模型识别未知场景类别的图像的场景类别时，不会将该未知场景类别的图像划分到错误的场景类别中，提高了场景类别的识别精度。
86.实施例2：
87.为了确定保存的每个场景类别对应的类中心特征向量，在上述实施例的基础上，在本技术实施例中，确定保存的场景类别对应的类中心特征向量包括：
88.根据每个第一样本图像的目标场景类别，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；
89.若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；
90.若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值向量以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
91.为了确定每个场景类别对应的类中心特征向量并保存，在本技术中，在将样本集中的每个样本图像输入到原始场景识别模型中，获得每个第一样本图像的目标场景类别值之后，可以先根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中。其中，被划分到同一场景类别中的第一样本图像的目标类别值相同，但是场景类别值不一定相同，也就是对应的目标场景类别是相同，但场景类别不一样相同。针对划分后得到的每个场景类别，也就是同一目标场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量，具体的，可以将该场景类别中包含的所有第一样本图像对应的第一特征向量的平均向量确定为该候选类中心特征向量。
92.由于在对原始场景识别模型进行训练的过程中，是基于很多个样本集对该原始场景识别模型进行多次训练的，也就是说，将该多个样本集依次输入到该场景识别模型中进行训练。为了便于描述，将第一次输入到原始模型中进行训练的样本集称为第一次用于训练的样本集，将除了该第一次用于训练的样本集以外的，后续需要依次进入该场景识别模型中进行训练的其他样本集称为非第一次用于训练的样本集。
93.在确定该候选类中心特征向量后，若当前用于训练原始场景识别模型中的样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新。
94.若当前用于训练原始场景识别模型中的样本集非第一次用于训练的样本集，为了确定每个场景类别对应的类中心特征向量，可以针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据该差值向量以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
95.具体的，针对每个场景类别，根据该场景类别的候选类中心特征向量，确定保存的该场景类别的类中心特征向量的过程，可通过如下公式表示：
[0096][0097]
其中，n表征第几次进行模型训练，为更新后的保存的该场景类别i 对应的类中心特征向量，为场景类别i对应的候选类中心特征向量，为更新前的保存的该场景类别i对应的类中心特征向量，w为预设的第一数值。
[0098]
为了确定场景类别对应的候选类中心特征向量，在上述各实施例的基础上，在本技术实施例中，所述根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量包括：
[0099]
针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
[0100]
在本技术中，针对每个场景类别，确定该场景类别中包含的每个第一样本图像后，可以基于该每个第一样本图像的第一特征向量，确定该场景类别对应的候选类中心特征向量，具体的，可以根据每个第一样本图像的第一特征向量以及预设的第一权重值，确定加权平均向量，将该加权平均向量确定为该场景类别对应的候选类中心特征向量。
[0101]
由于在将各个第一样本图像划分到对应的场景类别时，可能会出现划分错误的情况，也就是说，该第一样本图像中可能存在被错误识别场景类别的样本图像，此时，被错误识别的第一样本图像的目标场景类别值与标签中标识的场景类别值不一致，若直接基于每个第一样本图像的第一特征向量，确定该样本类别对应的候选类中心特征向量，则影响确定的该场景类别对应的候选类中心特征向量的准确性。因此，在本技术中，为了避免被识别错误而影响确定的候选类中心特征向量的准确性，可以先针对该场景类别中包含的每个第一样本图像，确定目标场景类别值与标签中标识的场景类别值一致的第一样本图像，该目标场景类别值与标签中标识的场景类别值一致的第一样本图像也就是目标第一样本图像，其中，该目标第一样本图像为被正确识别场景类别的第一样本图像。在确定该场景类别对应的目标第一样本图像后，基于该目标第一样本图像的第一特征向量，确定该样本类别对应的候选类中心特征向量。
[0102]
具体的，可以根据每个目标第一样本图像的第一特征向量以及预设的第一权重值，确定加权平均向量，将该加权平均向量确定为该场景类别对应的候选类中心特征向量。其中，该预设的第一权重值可以为根据需求进行设置的，还可以为通过原始场景识别模型，获取目标第一样本图像归属于该场景类别的概率值。
[0103]
具体的，若该预设的第一权重值根据需求进行设置的，则根据目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量时，可通过如下公式确定：
[0104][0105]
其中，ci为场景类别i的候选类中心特征向量，为被正确识别为场景类别 i的第j个目标第一样本图像的第一特征向量，为被正确识别为场景类别i的目标第一样本图像的数量，预设的第一权重值为1。
[0106]
若通过当前原始场景识别模型，将目标第一样本图像归属于该场景类别的概率值确定为该目标第一样本图像的第一权重值，则根据目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量时，可通过如下公式确定：
[0107][0108]
其中，ci为场景类别i的候选类中心特征向量，为被正确识别为场景类别 i的第j个目标第一样本图像的第一特征向量，为被正确识别为场景类别i的目标第一样本图像的数量，为通过当前原始场景识别模型，获取的第j个目标第一样本图像归属于场景类别i的概率值。
[0109]
实施例3：
[0110]
为了确定第一子损失值，在上述各实施例的基础上，在本技术实施例中，所述根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值包括：
[0111]
确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；
[0112]
将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
[0113]
为了确定第一子损失值，在本技术中，可以针对每个第一样本图像，先确定该第一样本图像的场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵，然后将交叉熵与预设的第二数值的第一乘积，确定为该第一样本图像对应的第一子损失值，其中，该预设的第二数值大于0，且该预设的第二数值可以根据需求进行设置。
[0114]
其中，确定向量的交叉熵的过程为现有技术，在此不做赘述。
[0115]
具体的，根据以下公式，确定第一子损失值：
[0116][0117]
其中，为第一子损失值，y为场景概率向量，为该第一样本图像的标签中标识的场景类别值对应的向量，ω1为预设的第二数值。
[0118]
为了确定第二子损失值，在上述各实施例的基础上，在本技术实施例中，所述根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值包括：
[0119]
确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；
[0120]
将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
[0121]
在本技术中，为了确定第二子损失值，可以针对每个第一样本图像，先确定该第一样本图像的第一特征向量与该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离，然后将该第一目标欧式距离与预设的第三数值的第二乘积确定为该第一样本图像对应的第二子损失值，其中，该预设的第三数值大于0，且该预设的第三数值根据需求进行设置。
[0122]
其中，确定欧式距离的过程为现有技术，在此不做赘述。
[0123]
具体的，根据以下公式，确定第二子损失值：
[0124][0125]
其中，为第二子损失值，xi为第一样本图像的第一特征向量，ci为该第一样本图像所属的目标场景类别对应的第一类中心特征向量，ω2为预设的三数值，d(xi,ci)为xi与ci的第一目标欧式距离。
[0126]
为了确定第三子损失值，在上述各实施例的基础上，在本技术实施例中，所述根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值包括：
[0127]
确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；
[0128]
将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；
[0129]
将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
[0130]
在本技术中，为了确定第三子损失值，针对每个第一样本图像，可以先确定该第一样本图像的第一特征向量以及保存的除该目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离，然后将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离，将该第二目标欧式距离与预设的第四数值的第三乘积确定为该第一样本图像对应的第三子损失值。其中，该预设的第四数值小于0。
[0131]
确定欧式距离的过程为现有技术，在此不做赘述。
[0132]
具体的，根据以下公式，确定第三子损失值：
[0133][0134]
其中，为第三子损失值，xi为第一样本图像的第一特征向量，cm为保存的除该目标场景类别以外的其他场景类别中的第m个场景类别对应的第二类中心特征向量，ω3为预设的第四数值，d(xi,cm)为xi与cm之间的第二目标欧式距离，m为保存的除该目标场景类别以外的其他场景类别的总数目。
[0135]
为了确定第四子损失值，在上述各实施例的基础上，在本技术实施例中，所述根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值包括：
[0136]
确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；
[0137]
将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；
[0138]
将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
[0139]
由于该训练集中的未知场景的第二样本图像存在多个，在本技术中，为了确定第四子损失值，可以先根据每个第二样本图像对应的第二特征值向量，确定平均向量，然后针对每个第一样本图像，确定该第一样本图像的第一特征值向量与该平均向量之间的目标欧
氏距离，将该目标欧式距离确定为该第一样本图像对应的第四子损失值。
[0140]
在本技术中，为了确定第四子损失值，还可以针对每个第一样本图像，先确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离，将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离，然后将该第三目标欧式距离与预设的第五数值的第四乘积确定为该第一样本图像对应的第四子损失值。其中，该预设的第五数值小于0。
[0141]
其中，该欧式距离的过程为现有技术，在此不做赘述。
[0142]
具体的，根据以下公式，确定第四子损失值：
[0143][0144]
其中，为第四子损失值，xi为第一样本图像的第一特征向量，ck为第k 个第二样本图像的第二特征向量，ω4为预设的第五数值，d(xi,ck)为xi与ck之间的第二目标欧式距离，n为第二样本图像的总数目。
[0145]
为了确定子损失值，在上述各实施例的基础上，在本技术实施例中，将目标欧式距离与预设的数值的乘积确定为子损失值包括：
[0146]
确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度；
[0147]
根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
[0148]
在本技术中，可以直接将目标欧式距离与预设的数值的乘积确定为子损失值，也就是说，可以将第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值，将第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值，将第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
[0149]
由于欧式距离代表两个向量在绝对距离上的靠近程度，余弦相似度代表两个向量在方向上的靠近程度，因此为了提高确定第二子损失值、第三子损失值以及第四子损失值的准确性，还可以将目标欧式距离与预设的数值的乘积确定为目标欧式距离之后，确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度，然后根据目标欧式距离与预设的第二权重值、该余弦相似度与预设的第三权重值，确定权重和，将该权重和确定为子损失值。
[0150]
其中，确定余弦相似度的过程为现有技术，在此不做赘述。
[0151]
具体的，在确定子损失值时，假设第一样本图像的第一特征向量为(a,b), 保存的场景类别对应的类中心特征向量为(ai，bi)，则可以根据目标欧式距离以及预设的权重值确定：
[0152][0153]
其中，d(x，yi)表示第一样本图像的第一特征向量x与第i个场景类别的类保存的场景类别对应的类中心特征向量之间的目标欧式距离，α1为预设的权重值。
[0154]
在根据目标欧式距离与余弦相似度，确定子损失值时，可以通过如下公式确定：
[0155][0156]
其中，d(x，yi)表示第一样本图像的第一特征向量x与第i个场景类别的类保存的场景类别对应的类中心特征向量之间的目标欧式距离，cos_sim(x,yi) 表示第一样本图像的第一特征向量x与第i个场景类别的类保存的场景类别对应的类中心特征向量之间的余弦相似度，α1为预设的第二权重值，α2为预设的第三权重值。
[0157]
图2为本技术一些实施例提供的场景识别模型训练的过程示意图，现针对图2进行说明。
[0158]
s201：构建原始场景识别模型。
[0159]
s202：随机构建每个场景类别的类中心特征向量。
[0160]
s203：获取样本集中每个样本图像以及每个样本图像对应的标签。
[0161]
其中，该标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值。
[0162]
s204：通过原始场景识别模型，确定第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，并确定第二样本图像的第二特征向量。
[0163]
其中，该第一样本图像为已知场景类别对应的样本图像，该第二样本图像为未知场景类别对应的样本图像。
[0164]
s205：根据第一特征向量、目标场景类别值、场景概率向量以及第二特征向量，确定目标损失值，并根据该目标损失值，对该原始场景识别模型进行训练。
[0165]
s206：确定每个第一样本图像的目标损失值的和是否小于预设的损失值阈值，若小于，则执行s207，否则，执行s208。
[0166]
s207：获取到训练完成的场景识别模型并保存。
[0167]
s208：根据该目标损失值的和对原始场景识别模型的参数的参数值进行调整，执行s203。
[0168]
图3为本技术一些实施例提供的一种原始场景识别模型的结构示意图，现针对图3进行说明。
[0169]
将样本集中包含的每个第一样本图像输入到原始场景识别模型之后，通过该原始场景识别模型中的特征提取层，可以获取输入的样本图像的样本特征向量。其中，该样本图像的样本特征向量包含已知场景的第一样本图像的第一样特征向量以及未知场景的第二样本图像的第二特征向量。
[0170]
然后样本图像通过原始场景识别模型中的特征输出层，该特征输出层将该样本特征向量输出，其中，该样本特征的输出包括第一特征向量和第二特征向量的输出，通过原始场景识别模型中的分类输出层，基于该第一特征向量，可以获取并输出第一样本图像对应的场景概率向量，而不会基于该第二特征向量，获取并输出第二样本图像对应的场景概率向量。
[0171]
实施例4：
[0172]
为了识别待识别图像的场景类别，本技术还提供了一种显示设备，图4为本技术一些实施例提供的一种显示设备400的结构示意图，该显示设备400包括：
[0173]
控制器401，所述控制器401用于执行：
[0174]
接收待识别图像，基于预先训练完成的场景识别模型，识别所述待识别图像所归属的目标场景类别；
[0175]
输出模块402，用于输出所述目标场景类别。
[0176]
在本技术中，为了识别并输出待识别图像的场景类别，将预先训练完成的场景识别模型部署在一个显示设备上，该显示设备可以为电视机、pc等等。
[0177]
在本技术中，显示设备包含控制器和输出模块，该控制器用于接收到待识别图像后，基于预先训练完成的场景识别模型，识别该待识别图像所归属的目标场景类别，并将该目标场景类别通过显示设备的输出模块输出，也就是说，将该目标场景类别发送给输出模块。其中，该预先训练完成的场景识别模型是基于上述实施例的场景识别模型训练方法训练的。
[0178]
输出模块在接收到该目标场景类别时，可以将该目标场景类别通过文字的形式进行输出，比如，若输出模块接收到的目标场景类别为“游戏场景”，则可以在显示设备上显示“当前待识别图像的场景类别为游戏场景”的文字，此外，该输出模块在接收到该目标场景类别后，还可以将该目标场景类别通过语音的形式进行输出，比如，若输出模块接收到的目标场景类别为“跳舞场景”，则可以在显示设备上播放“当前待识别图像的场景类别为跳舞场景”的语音。
[0179]
在本技术中，为了帮助下游算法提供针对不同场景的功能，输出模块还可以将接收到目标场景类别输出给下游模块，以使下游模块利用下游算法提供针对该目标场景类别对应的功能。
[0180]
实施例5：
[0181]
图5为本技术一些实施例提供的一种场景识别模型训练装置结构示意图，该装置包括：
[0182]
获取模块501，用于获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；
[0183]
训练模块502，用于针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
[0184]
在一种可能的实施方式中，所述获取模块501，还用于根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景
类别对应的候选类中心特征向量；若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
[0185]
在一种可能的实施方式中，所述获取模块501，具体用于针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
[0186]
在一种可能的实施方式中，所述训练模块502，具体用于确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
[0187]
在一种可能的实施方式中，所述训练模块502，具体用于确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
[0188]
在一种可能的实施方式中，所述训练模块502，具体用于确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
[0189]
在一种可能的实施方式中，所述训练模块502，具体用于确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
[0190]
在一种可能的实施方式中，所述训练模块502，具体用于确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度；根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
[0191]
实施例6：
[0192]
在上述各实施例的基础上，本技术一些实施例还提供了一种电子设备，如图6所示，包括：处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。
[0193]
所述存储器603中存储有计算机程序，当所述程序被所述处理器601执行时，使得所述处理器601执行如下步骤：
[0194]
获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；
[0195]
将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；
[0196]
针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
[0197]
进一步地，所述处理器601，还用于根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
[0198]
进一步地，所述处理器601，还用于针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
[0199]
进一步地，所述处理器601，还用于确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
[0200]
进一步地，所述处理器601，还用于确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
[0201]
进一步地，所述处理器601，还用于确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
[0202]
进一步地，所述处理器601，还用于确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
[0203]
进一步地，所述处理器601，还用于确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度；根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
[0204]
上述服务器提到的通信总线可以是外设部件互连标准(peripheralcomponent interconnect，pci)总线或扩展工业标准结构(extended industrystandard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0205]
通信接口602用于上述电子设备与其他设备之间的通信。
[0206]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0207]
上述处理器可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0208]
实施例7：
[0209]
在上述各实施例的基础上，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
[0210]
获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；
[0211]
将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；
[0212]
针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。
[0213]
进一步地，确定保存的场景类别对应的类中心特征向量包括：
[0214]
根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；
[0215]
若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；
[0216]
若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。
[0217]
进一步地，所述根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量包括：
[0218]
针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。
[0219]
进一步地，所述根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值包括：
[0220]
确定该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量的交叉熵；
[0221]
将所述交叉熵与预设的第二数值的第一乘积，确定为第一子损失值。
[0222]
进一步地，所述根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值包括：
[0223]
确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；
[0224]
将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。
[0225]
进一步地，所述根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值包括：
[0226]
确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；
[0227]
将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；
[0228]
将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。
[0229]
进一步地，所述根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值包括：
[0230]
确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；
[0231]
将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；
[0232]
将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。
[0233]
进一步地，将目标欧式距离与预设的数值的乘积确定为子损失值包括：
[0234]
确定该第一样本图像的第一特征向量以及保存的场景类别对应的类中心特征向量之间的余弦相似度；
[0235]
根据目标欧式距离与预设的第二权重值、所述余弦相似度与预设的第三权重值，确定权重和，将所述权重和确定为子损失值。
[0236]
由于本技术中，在对原始场景识模型进行训练时，样本集中既包含已知场景类别的第一样本图像，还包含未知场景类别的第二样本图像，并将样本集中包含的每个样本图像都输入到原始识别模型中，针对每个第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，并针对每个第二样本图像，获取该第二样本图像的第二特征向量，也就是说，只基于该原始识别模型提取该第二样本图像的第二特征向量，而不让原始识别模型对该第二样本图像的特征进行学习，能够有效的保证后续在基于训练完成的场景识别模型识别未知场景类别的图像的场景类别时，不会将该未知场景类别的图像划分到错误的场景类别中，提高了场景类别的识别精度。
[0237]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0238]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0239]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0240]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0241]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种场景识别模型训练方法，其特征在于，所述方法包括：获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。2.根据权利要求1所述的方法，其特征在于，确定保存的场景类别对应的类中心特征向量包括：根据每个第一样本图像的目标场景类别值，将目标场景类别值相同的第一样本图像划分到同一场景类别中；针对每个场景类别，根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量；若所述样本集为第一次用于训练的样本集，则针对每个场景类别，根据该场景类别对应的候选类中心特征向量对保存的该场景类别对应的类中心特征向量进行更新；若所述样本集非第一次用于训练的样本集，则针对每个场景类别，确定保存的该场景类别对应的类中心特征向量以及该场景类别对应的候选类中心特征向量的差值向量，并根据所述差值以及预设的第一数值的乘积，对该场景类别对应的类中心特征向量进行更新。3.根据权利要求2所述的方法，其特征在于，所述根据该场景类别中包含的所有第一样本图像对应的第一特征向量，获得该场景类别对应的候选类中心特征向量包括：针对该场景类别中包含的每个第一样本图像，将目标场景类别值与标签中标识的场景类别值一致的第一样本图像确定为目标第一样本图像；根据该场景类别中包含的每个所述目标第一样本图像的第一特征向量及预设的第一权重值，确定加权平均向量；将所述加权平均向量确定为该场景类别对应的候选类中心特征向量。4.根据权利要求1所述的方法，其特征在于，所述根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值包括：确定该第一样本图像的第一特征向量以及该第一样本图像所属的目标场景类别对应的第一类中心特征向量之间的第一目标欧式距离；将所述第一目标欧式距离与预设的第三数值的第二乘积确定为第二子损失值。5.根据权利要求1所述的方法，其特征在于，所述根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第
三子损失值包括：确定该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的每个其他场景类别对应的第二类中心特征向量之间的第二欧式距离；将每个其他场景类别对应的第二欧式距离的加权平均值，确定为第二目标欧式距离；将所述第二目标欧式距离与预设的第四数值的第三乘积确定为第三子损失值。6.根据权利要求1所述的方法，其特征在于，所述根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值包括：确定该第一样本图像的第一特征向量以及每个第二样本图像的第二特征向量之间的第三欧式距离；将每个第二样本图像对应的第三欧式距离的加权平均值，确定为第三目标欧式距离；将所述第三目标欧式距离与预设的第五数值的第四乘积确定为第四子损失值。7.一种显示设备，其特征在于，所述显示设备包括：控制器，所述控制器用于执行：接收待识别图像，基于预先训练完成的场景识别模型，识别所述待识别图像所归属的目标场景类别；输出模块，用于输出所述目标场景类别。8.一种场景识别模型训练装置，其特征在于，所述装置包括：获取模块，用于获取样本集中的每个样本图像及每个样本图像对应的标签，所述标签用于标识对应的样本图像的场景类别是否已知，以及为已知场景类别时对应的场景类别值；将所述样本集中的每个样本图像输入到原始场景识别模型中，针对每个已知场景类别对应的第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，针对每个未知场景的第二样本图像，获取该第二样本图像的第二特征向量；训练模块，用于针对每个第一样本图像，根据该第一样本图像的所述场景概率向量以及保存的该第一样本图像的标签中标识的场景类别值对应的向量，确定第一子损失值，根据该第一样本图像的第一特征向量以及保存的该第一样本图像所属的目标场景类别对应的第一类中心特征向量，确定第二子损失值，其中，所述目标场景类别为根据所述目标场景类别值确定的；根据该第一样本图像的第一特征向量以及保存的除所述目标场景类别以外的其他场景类别对应的第二类中心特征向量，确定第三子损失值，根据该第一样本图像的第一特征向量以及基于每个第二样本图像的第二特征向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值，根据所述目标损失值，对所述原始场景识别模型进行训练。9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述权利要求1-6任一所述场景识别模型训练方法的步骤。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-6任一所述场景识别模型训练方法的步骤。

技术总结
本申请公开了一种场景识别模型训练方法、装置、设备及介质，由于本申请中，样本集中既包含已知场景类别的第一样本图像，还包含未知场景类别的第二样本图像，并将样本集中包含的每个样本图像都输入到原始识别模型中，针对每个第一样本图像，获取该第一样本图像的第一特征向量、目标场景类别值以及场景概率向量，并针对每个第二样本图像，获取该第二样本图像的第二特征向量，也就是说，只基于原始识别模型提取第二样本图像的第二特征向量，而不让原始识别模型对第二样本图像的特征进行学习，有效保证后续基于训练完成的场景识别模型识别未知场景类别的图像的场景类别时，不将未知场景类别的图像划分到错误的场景类别中，提高了场景类别的识别精度。类别的识别精度。类别的识别精度。


技术研发人员：常河河 查林 白晓楠
受保护的技术使用者：青岛信芯微电子科技股份有限公司
技术研发日：2021.11.12
技术公布日：2022/3/8