一种图像分类方法、装置、存储介质及电子设备与流程

1.本说明书涉及图像处理领域，尤其涉及一种图像分类方法、装置、存储介质及电子设备。


背景技术：

2.图像分类技术作为图像处理领域中的重要技术之一，凭借其简单直接却泛用性极高的功能，拥有着极为广泛的应用场景。例如人脸识别、物品检测、场景分类等。也正因如此，人们对图像分类技术所实现的效果的期望也越来越高。为了使图像分类技术拥有更好的分类效果，研究人员对图像分类技术的钻研一直在进行着。
3.目前，大多数图像分类技术都是通过以卷积神经网络(convolutional neural networks，cnn)为基础的各种神经网络模型来实现的。近年来，不断有分类效果更好的模型被提出，例如mobilenet系列、shufflenet系列等。每一个新的用于图像分类的模型被提出时，都会有更高的精准度。但另一方面，通过对比这些精准度较高的神经网络所公开的数据与指标会发现，这些神经网络的分类效率都相对较慢。
4.显然，在如今的快节奏生活模式下，用户对分类效率的要求同样很高。因此，对于用于图像分类的神经网络来说，分类效率的重要性不亚于分类的精准度。图像分类的精准度固然重要，但过度牺牲分类效率换取更高的分类精准度并不是一个好的策略。现有技术中的图像分类模型虽然有着较高的精准度，但图像分类效率较慢。换句话说，现有技术的图像分类模型存在着无法兼顾分类精准度与分类效率的问题。


技术实现要素：

5.本说明书提供一种图像分类方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
6.本说明书采用下述技术方案：
7.本说明书提供了一种图像分类方法，包括：
8.获取待处理图像；
9.将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征；
10.对所述待处理图像特征进行拆分，得到至少两个拆分图像特征；
11.将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理；
12.将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征；
13.根据所述融合图像特征，对待处理图像进行分类。
14.可选的，所述图像特征提取子网包括：提取层、第一处理层；
15.通过所述图像特征提取子网提取所述待处理图像的待处理图像特征，具体包括：
16.通过所述提取层提取所述待处理图像的初始图像特征；
17.通过所述第一处理层减小所述初始图像特征的通道数量，得到待处理图像特征。
18.可选的，所述特征融合子网包括：拼接层、融合层、第二处理层；
19.通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征，具体包括：
20.通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；
21.通过所述第二处理层增加所述拼接图像特征的通道数量，得到扩充拼接图像特征；
22.将所述扩充拼接图像特征与所述初始图像特征通过所述融合层进行融合，得到融合图像特征。
23.可选的，每个特征处理子网均包括若干卷积层；
24.并行地通过特征处理子网对各自输入的拆分图像特征进行处理，具体包括：
25.针对每个特征处理子网，通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，其中，经过各特征处理子网处理后的各拆分图像特征的通道数量的和值与所述待处理图像特征的通道数量相同。
26.可选的，通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，具体包括：
27.针对该特征处理子网中的每个卷积层，将残差卷积核与该卷积层对应的标准卷积核进行融合，得到该卷积层对应的融合卷积核；
28.通过该卷积层对应的融合卷积核对输入该卷积层的拆分图像特征进行卷积。
29.可选的，一个特征处理子网中包含普通卷积层和下采样卷积层；
30.通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，具体包括：
31.通过所述该处理子网中的普通卷积层对输入该特征处理子网的拆分图像特征进行卷积，通过该特征处理子网中的下采样卷积层减小输入该特征处理子网的拆分图像特征的尺寸和通道数量。
32.可选的，所述特征融合子网包括：拼接层、融合层、第三处理层；
33.通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征，具体包括：
34.通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；
35.通过所述第三处理层对初始图像特征进行处理，以减小所述初始图像特征的尺寸和通道数量，得到下采样图像特征，其中，所述初始图像特征是通过图像特征提取子网中的提取层提取出的初始图像特征，所述下采样图像特征的尺寸和通道数量与所述拼接图像特征的尺寸和通道数量相同；
36.将所述拼接图像特征与所述下采样图像特征通过所述融合层进行融合，得到融合图像特征。
37.本说明书提供的一种图像分类的装置，所述装置包括：
38.获取模块，获取待处理图像；
39.特征提取模块，将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征；
40.拆分模块，对所述待处理图像特征进行拆分，得到至少两个拆分图像特征；
41.特征处理模块，将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理；
42.融合模块，将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征；
43.分类模块，根据所述融合图像特征，对待处理图像进行分类。
44.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像分类方法。
45.本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像分类方法。
46.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
47.本说明书提供的图像分类方法采用预先训练的图像分类模型对待处理图像进行分类，在利用模型中的图像特征提取子网提取出待处理图像的图像特征后，将待处理图像的图像特征拆分为多个拆分图像特征，通过模型中的多个并行的特征处理子网同时处理每个拆分图像特征，最后将经过处理后的每个拆分图像特征通过模型中的融合子网进行融合，得到融合图像特征，并根据融合图像特征对待处理图像进行分类。上述方法对待处理图像特征采用拆分与并行处理的方式，有效减少了处理待处理图像特征所需要的时间，提高了图像分类模型进行图像分类时的效率。
附图说明
48.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
49.图1为本说明书中一种图像分类方法的流程示意图；
50.图2为本说明书中采用的图像分类模型的结构示意图；
51.图3为本说明书中特征处理子网的一种结构示意图；
52.图4为本说明书中图像特征提取子网的一种结构示意图；
53.图5为本说明书中特征融合子网的一种结构示意图；
54.图6为本说明书中对图像进行下采样处理时特征处理子网的一种结构示意图；
55.图7为本说明书中对图像进行下采样处理时特征融合子网的一种结构示意图；
56.图8为本说明书中残差卷积核与标准卷积核进行融合的示意图；
57.图9为本说明书提供的一种图像分类装置的示意图；
58.图10为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
59.图像分类技术作为图像处理领域最核心的技术之一，近年来，不断有新的神经网络在图像分类技术上取得突破。以用于移动端的神经网络为例，如谷歌所提出的mobilenet系列网络、旷视所提出的shufflenet系列网络，都进一步探索了用于图像分类的神经网络的性能上限。然而，在这些神经网络中，性能上的突破大多都表现在了图像分类的精准度上，图像分类效率的提升微乎其微。
60.现有的高性能神经网络大多以残差网络为基础，网络中具有额外的残差结构；同时，这些高性能网络为了加强每层之间特征的传递，大多采用了密集连接。这些方法虽然会使神经网络在进行图像分类时给出更准确的结果，但同时也导致了神经网络需要处理大量的额外信息，需要大量的额外访存，最终导致神经网络对图像分类的效率较低。
61.可以看出，现有图像分类技术的方法虽然有着很高的精准度，但却牺牲了图像分类的效率，无法兼顾图像分类的效率与精准度。为了解决这一技术问题，本说明书提出了一种图像分类方法，能够在保证相对较高的图像分类精准度的同时，大幅提升图像分类的效率，较好地平衡了图像分类的效率与精准度。
62.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
63.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
64.以下结合附图，详细说明本说明书各实施例提供的技术方案。
65.图1为本说明书中一种图像分类方法的流程示意图，具体包括以下步骤：
66.s100：获取待处理图像。
67.本说明书所提供的图像分类方法中的所有步骤，均可以由任何具有计算功能的电子设备执行，例如终端、服务器等设备。
68.对于图像处理领域中的任何技术来说，待处理图像都是基础，在图像分类技术中也不例外。作为图像分类的对象，需要首先获取待处理图像，才能保证后续步骤的进行。
69.s102：将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征。
70.本说明书所提供的图像分类方法采用一个预先训练的图像分类模型来完成图像分类任务中的部分工作，该图像分类模型的结构图如图2所示，其中，该图像分类模型包括图像特征提取子网、至少两个特征处理子网、特征融合子网。将在步骤s100中获取的待处理图像输入进图像分类模型中，并通过图像分类模型中的图像特征提取子网提取待处理图像的待处理图像特征，用于后续步骤。
71.需要说明的是，本说明书所提供的图像分类模型可以应用在任何以卷积神经网络为基础的网络上，包括但不限于卷积神经网络、残差神经网络等。
72.s104：对所述待处理图像特征进行拆分，得到至少两个拆分图像特征。
73.通常情况下，目前使用较为广泛的电子设备在仅对一个图像特征进行处理时，性能往往是溢出的。即使同时处理多个图像特征，电子设备对于每一个图像特征的处理速度也不会比单独处理该图像特征时下降太多。因此，可以在不过多影响电子设备处理速度情况下，将在步骤s102中得到的待处理图像特征拆分成多个拆分图像特征，并在后续步骤中通过并行处理的方式去处理每一个拆分图像特征，从而加快整体的效率。
74.需要说明的是，通常情况下，图像特征存在通道、宽、高三个维度，宽和高可一起称为尺寸。其中，对待处理图像特征的拆分是在待处理图像特征的通道维度上的拆分，而拆分的方法可以根据需求进行设置，每个拆分图像特征的通道数可以相同，也可以不同。
75.s106：将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理。
76.如步骤s104中所提到的，以并行的方式去处理每个拆分图像特征能够加快处理效率。因此，可采用每个特征处理子网处理一个拆分图像特征的方式，同时处理所有拆分图像特征，使处理效率最大化。其中，每个特征处理子网处理拆分图像特征的方式可以根据输入进该特征处理子网的拆分图像特征进行设定，且每个特征处理子网的内部结构可以相同，也可以不同，本说明书在此不做限制。
77.s108：将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征。
78.对待处理图像特征的拆分将完整的图像特征信息分离到了每个拆分图像特征上，每个拆分图像特征只能反映出图像的部分特征信息，因此，可通过图像分类模型中的特征融合子网将每个经过所述特征处理子网处理后的拆分图像特征融合到一起，得到能够完整的反映出图像全部特征信息的融合图像特征。
79.在对拆分图像特征进行融合时，可以有多种融合方法，例如，可以直接将所有拆分图像特征拼接在一起，也可以根据需求为每个拆分图像特征分配不同的权重后再进行拼接，本说明书在此不做限制。
80.s110：根据所述融合图像特征，对待处理图像进行分类。
81.在得到融合图像特征后，即可根据融合图像特征对待处理图像进行分类，完成图像分类任务。
82.从上述步骤中可以看出，本说明书提供的图像分类方法，在通过图像特征提取子网提取出待处理图像对应的待处理图像特征后，对待处理图像特征进行拆分，得到至少两个的拆分图像特征，采用并行处理的方式通过特征处理子网对拆分图像特征进行处理，最后通过特征融合子网将拆分图像特征融合到一起，得到能够反应完整图像特征信息的融合图像特征，在保证图像分类精准度的基础上，有效提高了图像分类的效率。
83.本说明书提供的图像分类方法可用于多种不同场景中，例如，在人脸识别方面，除开基础的根据人脸图像判断对应的人物信息之外，还可用于快速检测目标人物是否佩戴口罩或快速检测目标人物是否处于黑/白名单之中；此外，在物体识别方面也有着广泛的应用，如检测一个物体是否为指定类别的物体或为一个物体进行分类。此类应用场景中的功能在日常生活中会被大量重复地使用到，因此执行此类功能的效率十分关键，提升此类功能的实现效率可以为用户节省大量时间。采用本说明书中所提供的图像分类方法即可快速
有效地实现此类功能。
84.在部分应用场景下，可能会需要更高的图像分类精准度，为此，可在步骤s108中通过特征融合子网对输入的各拆分图像特征进行融合时，可额外将步骤s102中得到的待处理图像的原始特征，即待处理图像特征也融合进来，以提高。具体的，可对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征，将拼接图像特征与待处理图像特征进行融合，得到融合图像特征。
85.图3是图像分类模型中特征每个处理子网的内部结构示意图，每个特征处理子网包括若干卷积层，卷积层的具体数量x可以根据需求进行设定。在拆分图像特征输入进特征处理子网后，会被特征处理子网中的每个卷积层依次进行处理。同时，各特征处理子网在对各拆分图像特征进行处理时，会使经过各特征处理子网处理后的各拆分图像特征的通道数量的和值与所述待处理图像特征的通道数量相同，以保证各拆分图像特征在进行拼接后得到的拼接图像特征的通道数量与待处理图像特征的通道数量相同。
86.由于经过各特征处理子网处理后的各拆分图像特征的通道数量的和值与所述待处理图像特征的通道数量相同，拼接图像特征与待处理图像特征在融合时能够最大程度地不丢失特征信息，融合效果较好。出于同样的目的，在对拼接图像特征与待处理图像特征进行融合时，可以采用叠加的方法进行融合。上述方法能够使图像分类的精准度得到进一步提高，且几乎不会影响图像分类效率。
87.在此之上，在对图像特征进行处理时，可以通过减小图像特征通道数量的方式来降低需要处理的信息量，从而进一步提高图像分类的效率。此时，图像特征提取子网的结构可如图4所示，图像特征提取子网中包括：提取层、第一处理层。通过所述提取层提取所述待处理图像的初始图像特征；通过所述第一处理层减小所述初始图像特征的通道数量，得到待处理图像特征。在对此时的待处理图像特征进行后续处理时，可根据通道数量减小量的不同，不同幅度的提高图像分类效率。
88.其中，减小初始图像特征通道数量的方法可以有许多种，例如，可以利用调整卷积核通过卷积的方式减小初始图像特征通道数量，具体的，可以用m表示初始图像特征的通道数量，用n表示待处理图像特征的通道数量，h表示初始图像特征与待处理图像特征的高，w表示初始图像特征与待处理图像特征的宽，其中m＞n。此时，初始图像特征可表示为m
×h×
w，待处理图像特征可表示为n
×h×
w。采用n个调整卷积核对初始图像特征进行卷积，得到n个单通道图像特征；对n个单通道图像特征进行拼接，得到待处理图像特征；其中，所述调整卷积核的通道数量为m，高为1，宽为1；所述单通道图像特征的通道数量为1，高为h，宽为w。采用此方法即可通过卷积的方式降低图像特征的通道数量，其中，m、n、h、w在满足要求的情况下可以设置为任意值，例如n可以是m的一半，即n＝m/2。除此之外，还可以通过直接舍弃部分通道中的数据，或将部分通道加权合并为一个通道的方式来减小初始图像特征的通道数量，本说明书对此不再进行赘述。
89.但此时，待处理图像的原始特征已不再是待处理图像特征，而是由提取层提取出的初始图像特征，而经过各特征处理子网处理后的各拆分图像特征在拼接后得到的拼接图像特征的通道数量与待处理图像特征的通道数量相同，比初始图像特征的通道数量要少。因此，为了能够与初始图像特征进行效果较好的融合，需要对拼接图像特征进行一些处理。
90.具体的，此时特征融合子网的结构可如图5所示，特征融合子网中包括：拼接层、融
合层、第二处理层。通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第二处理层增加所述拼接图像特征的通道数量，得到扩充拼接图像特征；将所述扩充拼接图像特征与所述初始图像特征通过所述融合层进行融合，得到融合图像特征。
91.其中，增加拼接图像特征的通道数量的方法也可以有多种，但为了保证后续融合时能取得最好的效果，增加拼接图像特征通道数量的方法应与上述减小初始图像特征的通道数量的方法相对应，例如，若在减小初始图像特征的通道数量时采用了上述利用调整卷积核进行卷积的方法，则此时，同样可利用调整卷积核对拼接图像特征进行卷积，增加拼接图像特征的通道数量，具体的，可以用n表示拼接图像特征的通道数量，用m表示扩充拼接图像特征的通道数量，h表示拼接图像特征与扩充拼接图像特征的高，w表示拼接图像特征与扩充拼接图像特征的宽，其中n＜m。此时，拼接图像特征可表示为n
×h×
w，扩充拼接图像特征可表示为m
×h×
w。采用m个调整卷积核对拼接图像特征进行卷积，得到m个单通道图像特征；对m个单通道图像特征进行拼接，得到扩充拼接图像特征；其中，所述调整卷积核的通道数量为n，高为1，宽为1；所述单通道图像特征的通道数量为1，高为h，宽为w。其中，与上述减小初始图像特征的方法中对应的，n的数量仍可为m的一半，即n＝m/2。
92.在与初始图像特征进行融合之前，通过特征融合子网内的第二处理层将拼接图像特征的通道数量增加至与初始图像特征的通道数量相同，得到扩充拼接图像特征，利用扩充拼接图像特征便能够与初始图像特征进行效果较好的融合。通过这种方法能够加快图像分类模型处理图像特征的速度，使图像分类效率得到进一步的提升。
93.此外，当待处理图像较大时，其对应的图像特征的尺寸和通道数量可能都会较大，处理起来较为复杂，此时，可以通过下采样的方式缩小需要处理的图像特征，即减小图像的尺寸与通道数量，从而减少需要处理的信息量，从而减少处理图像特征所需的时间，加快图像分类效率。
94.可利用如图4所示的图像特征提取子网对待处理图像进行提取，得到初始图像特征和通道数量减少的待处理图像特征。此时每个特征处理子网的结构可如图6所示，一个特征处理子网中包含普通卷积层和下采样卷积层。通常情况下，下采样卷积层只有一个，普通卷积层的数量y可根据需求进行设定。通过所述该处理子网中的普通卷积层对输入该特征处理子网的拆分图像特征进行卷积，通过该特征处理子网中的下采样卷积层减小输入该特征处理子网的拆分图像特征的尺寸和通道数量。
95.其中，通过下采样卷积层减小输入该特征处理子网的拆分图像特征的尺寸和通道数量的方法可以上文中提到的利用调整卷积核通过卷积减小图像特征通道数量的方法为基础，增大调整卷积核的尺寸或扩大卷积的步长，即可同时减小拆分图像特征的尺寸和通道数量。例如，设经过下采样卷积层处理前的拆分图像特征的通道数量为p，高为h，宽为w，经过下采样卷积层处理后的拆分图像特征的通道数量为q，高为h/2，宽为w/2，其中，p＞q，则可采用q个调整卷积核对未经过下采样卷积层处理的拼接图像特征进行步长为2的卷积，得到q个单通道图像特征；对q个单通道图像特征进行拼接，得到经过下采样卷积层处理后的拼接图像特征；其中，所述调整卷积核的通道数量为p，高为2，宽为2；所述单通道图像特征的通道数量为1，高为h/2，宽为w/2。同样的，在满足要求的条件下，此处的p、q、h、w的值可设定为任意值，例如，q可以为p的一半，即q＝p/2。
96.值得一提的是，图6中给出的为下采样卷积层在前，普通卷积层在后的特征处理子网结构，在实际应用中，普通卷积层和下采样卷积层的先后顺序可自由设置，并且每个特征处理子网内部的结构都可不相同。
97.相对应的，此时特征融合子网的结构可如图7所示，此时特征融合子网中包括：拼接层、融合层、第三处理层。通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第三处理层对初始图像特征进行处理，以减小所述初始图像特征的尺寸和通道数量，得到下采样图像特征，其中，所述初始图像特征是通过图像特征提取子网中的提取层提取出的初始图像特征，所述下采样图像特征的尺寸和通道数量与所述拼接图像特征的尺寸和通道数量相同；将所述拼接图像特征与所述下采样图像特征通过所述融合层进行融合，得到融合图像特征。
98.此时，拼接图像特征的尺寸与通道数量与初始图像特征都已不相同，因此也需要对初始图像特征进行下采样操作。即，通过第三处理层减小初始图像特征的尺寸和通道数量，得到下采样图像特征。在减小初始图像特征的尺寸和通道数量时，既可采用上文中提到的通过调整卷积核进行卷积的方式来完成，也可以通过池化的方式来完成，本说明书在此不做限制。
99.为了保证模型的性能不会退化，大多数图像分类模型在对待处理图像进行处理时都会额外提取残差信息。同样的，本模型也可以残差网络为基础进行使用。然而，额外提取残差信息会明显地导致图像分类的效率变慢。因此，为了解决这一问题，可以将用于提取残差信息的残差卷积核直接融合进特征处理子网中，从而不再需要额外的步骤来获取残差信息。具体的，可针对特征处理子网中的每个卷积层，将残差卷积核与该卷积层对应的标准卷积核进行融合，得到该卷积层对应的融合卷积核；通过该卷积层对应的融合卷积核对输入该卷积层的拆分图像特征进行卷积。此时，输入该卷积层的拆分图像特征通过融合卷积核进行卷积后会额外带有残差信息。
100.其中，融合操作可如图8所示，假设特征处理子网中的每个处理层中原有的标准卷积核在尺寸上为3
×
3，用于提取残差信息的残差卷积核在尺寸上为1
×
1，那么可以将残差卷积核看作一个只有中间有权重，其他8个位置权重为0的3
×
3卷积核，进而可以直接采用叠加的方式将残差卷积核与标准卷积核叠加在一起，得到融合卷积核。
101.本说明书所提供的图像分类方法采用的图像分类模型，可采用多种方法进行训练，如监督学习、强化学习等，且在针对不同的应用场景下可进行不同内容的训练。例如，在人脸识别的应用场景下，可将样本人脸图像与对应的标注作为训练数据输入进模型中进行学习，通过模型判断人脸图像所对应人物信息，并与训练数据中的标注进行比较，以模型的判断结果与训练数据中的标注的差异最小化为优化目标，不断调整模型内的参数，直到模型判断的准确率满足要求。又例如，在物体识别的应用场景下，可将不同种类的物体作为训练数据输入进模型中进行学习，并通过模型去对物体进行分类，通过损失函数对模型的分类进行反馈，以损失函数最小化为优化目标，不断调整模型内部参数，直到模型分类的准确率满足要求。
102.以上是本说明书提供的图像分类方法，基于同样的思路，本说明书还提供了相应的图像分类装置，如图9所示。
103.图9为本说明书提供的一种图像分类装置示意图，具体包括：
104.获取模块200，获取待处理图像；
105.特征提取模块202，将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征；
106.拆分模块204，对所述待处理图像特征进行拆分，得到至少两个拆分图像特征；
107.特征处理模块206，将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理；
108.融合模块208，将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征；
109.分类模块210，根据所述融合图像特征，对待处理图像进行分类。
110.在一可选的实施例：
111.所述图像特征提取子网包括：提取层、第一处理层；
112.所述特征提取模块202，具体用于通过所述提取层提取所述待处理图像的初始图像特征；通过所述第一处理层减小所述初始图像特征的通道数量，得到待处理图像特征。
113.在一可选的实施例：所述特征融合子网包括：拼接层、融合层、第二处理层；
114.所述融合模块208，具体用于通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第二处理层增加所述拼接图像特征的通道数量，得到扩充拼接图像特征；将所述扩充拼接图像特征与所述初始图像特征通过所述融合层进行融合，得到融合图像特征。
115.在一可选的实施例：
116.每个特征处理子网均包括若干卷积层；
117.所述特征处理模块206，具体用于针对每个特征处理子网，通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，其中，经过各特征处理子网处理后的各拆分图像特征的通道数量的和值与所述待处理图像特征的通道数量相同。
118.在一可选的实施例：
119.所述特征处理模块206，具体用于针对该特征处理子网中的每个卷积层，将残差卷积核与该卷积层对应的标准卷积核进行融合，得到该卷积层对应的融合卷积核；通过该卷积层对应的融合卷积核对输入该卷积层的拆分图像特征进行卷积。
120.在一可选的实施例：
121.一个特征处理子网中包含普通卷积层和下采样卷积层；
122.所述特征处理模块206，具体用于通过所述该处理子网中的普通卷积层对输入该特征处理子网的拆分图像特征进行卷积，通过该特征处理子网中的下采样卷积层减小输入该特征处理子网的拆分图像特征的尺寸和通道数量。
123.在一可选的实施例：
124.所述特征融合子网包括：拼接层、融合层、第三处理层；
125.所述特征融合模块208，具体用于通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第三处理层对初始图像特征进行处理，以减小所述初始图像特征的尺寸和通道数量，得到下采样图像特征，其中，所述初
始图像特征是通过图像特征提取子网中的提取层提取出的初始图像特征，所述下采样图像特征的尺寸和通道数量与所述拼接图像特征的尺寸和通道数量相同；将所述拼接图像特征与所述下采样图像特征通过所述融合层进行融合，得到融合图像特征。
126.本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的图像分类方法。
127.本说明书还提供了图10所示的电子设备的示意结构图。如图10所述，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的图像分类方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
128.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
129.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种
功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
130.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
131.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
132.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
133.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
134.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
135.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
136.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
137.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
138.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
139.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
140.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
141.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
142.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
143.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种图像分类方法，其特征在于，包括：获取待处理图像；将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征；对所述待处理图像特征进行拆分，得到至少两个拆分图像特征；将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理；将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征；根据所述融合图像特征，对待处理图像进行分类。2.如权利要求1所述的方法，其特征在于，所述图像特征提取子网包括：提取层、第一处理层；通过所述图像特征提取子网提取所述待处理图像的待处理图像特征，具体包括：通过所述提取层提取所述待处理图像的初始图像特征；通过所述第一处理层减小所述初始图像特征的通道数量，得到待处理图像特征。3.如权利要求2所述的方法，其特征在于，所述特征融合子网包括：拼接层、融合层、第二处理层；通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征，具体包括：通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第二处理层增加所述拼接图像特征的通道数量，得到扩充拼接图像特征；将所述扩充拼接图像特征与所述初始图像特征通过所述融合层进行融合，得到融合图像特征。4.如权利要求1所述的方法，其特征在于，每个特征处理子网均包括若干卷积层；并行地通过特征处理子网对各自输入的拆分图像特征进行处理，具体包括：针对每个特征处理子网，通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，其中，经过各特征处理子网处理后的各拆分图像特征的通道数量的和值与所述待处理图像特征的通道数量相同。5.如权利要求4所述的方法，其特征在于，通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，具体包括：针对该特征处理子网中的每个卷积层，将残差卷积核与该卷积层对应的标准卷积核进行融合，得到该卷积层对应的融合卷积核；通过该卷积层对应的融合卷积核对输入该卷积层的拆分图像特征进行卷积。6.如权利要求4所述的方法，其特征在于，一个特征处理子网中包含普通卷积层和下采样卷积层；通过该特征处理子网中的每个卷积层依次对输入该特征处理子网的拆分图像特征进行处理，具体包括：
通过所述该处理子网中的普通卷积层对输入该特征处理子网的拆分图像特征进行卷积，通过该特征处理子网中的下采样卷积层减小输入该特征处理子网的拆分图像特征的尺寸和通道数量。7.如权利要求6所述的方法，其特征在于，所述特征融合子网包括：拼接层、融合层、第三处理层；通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征，具体包括：通过所述拼接层对经过各特征处理子网处理后的各拆分图像特征进行拼接，得到拼接图像特征；通过所述第三处理层对初始图像特征进行处理，以减小所述初始图像特征的尺寸和通道数量，得到下采样图像特征，其中，所述初始图像特征是通过图像特征提取子网中的提取层提取出的初始图像特征，所述下采样图像特征的尺寸和通道数量与所述拼接图像特征的尺寸和通道数量相同；将所述拼接图像特征与所述下采样图像特征通过所述融合层进行融合，得到融合图像特征。8.一种图像分类装置，其特征在于，包括：获取模块，获取待处理图像；特征提取模块，将所述待处理图像输入到预先训练的图像分类模型中的图像特征提取子网，以通过所述图像特征提取子网提取所述待处理图像的待处理图像特征；拆分模块，对所述待处理图像特征进行拆分，得到至少两个拆分图像特征；特征处理模块，将每个拆分图像特征分别输入所述图像分类模型中的每个特征处理子网，以并行地通过各特征处理子网对各自输入的拆分图像特征进行处理；融合模块，将每个经过所述特征处理子网处理后的拆分图像特征输入所述图像分类模型中的特征融合子网，以通过所述特征融合子网对输入的各拆分图像特征进行融合，得到融合图像特征；分类模块，根据所述融合图像特征，对待处理图像进行分类。9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。10.一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

技术总结
本说明书提供的图像分类方法采用预先训练的图像分类模型对待处理图像进行分类，在利用模型中的图像特征提取子网提取出待处理图像的图像特征后，将待处理图像的图像特征拆分为多个拆分图像特征，通过模型中的多个并行的特征处理子网同时处理每个拆分图像特征，最后将经过处理后的每个拆分图像特征通过模型中的融合子网进行融合，得到融合图像特征，并根据融合图像特征对待处理图像进行分类。上述方法对待处理图像特征采用拆分与并行处理的方式，有效减少了处理待处理图像特征所需要的时间，提高了图像分类模型进行图像分类时的效率。率。率。


技术研发人员：赖申其 柴振华 魏晓林
受保护的技术使用者：北京三快在线科技有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8