一种小样本图像分类方法及系统与流程

1.本发明属于计算机视觉领域，更具体地，涉及一种小样本图像分类方法及系统。


背景技术：

2.深度学习依赖于大数据，在大数据的驱动下，神经网络能够进行有效学习。而现实生活中常常面临“小样本”问题，特定目标在较长时间内甚至面临“单样本”、“零样本”的情况，这些仅有局部特征的小样本数据，无法满足传统有监督的深度学习技术训练数据量级的要求。
3.目前主流的深度学习算法在进行图像特征提取时普遍存在两个问题：一方面由于样本数量的限制，直接利用卷积神经网络对图像进行特征提取，无法获得最为有效的特征进行图像分类；另一方面，由于小样本数据分布不均匀，极端的数据分布会导致特征距离度量出现偏差，分类结果出错，降低分类的正确率。因此，如何针对小样本图像进行有效地特征提取是一项重要且具有挑战性的技术难题。


技术实现要素：

4.针对现有技术的缺陷，本发明的目的在于提供一种小样本图像分类方法及系统，旨在解决现有的深度学习算法在进行图像特征提取时，无法获得有效的特征进行图像分类的问题，以及由于小样本数据分布不均匀，导致分类结果出错的问题。
5.为实现上述目的，本发明提供了一种小样本图像分类方法，包括如下步骤：
6.将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；根据所述小样本图像的特征向量对小样本图像进行分类；
7.其中，训练深度残差收缩网络的过程为：
8.将基类输入至深度残差收缩网络中进行表征学习阶段的特征提取，获取基类的特征向量；同时将新类输入至深度残差收缩网络中进行小样本学习阶段的特征提取，获取新类的特征向量；
9.计算所述基类和新类的特征向量之间的距离集合，筛选出与新类特征向量距离最近的若干个基类的特征向量；
10.训练深度残差收缩网络时，采用筛选出的若干所述基类的特征向量对新类的特征向量进行校准，完成对深度残差收缩网络的训练；
11.其中，新类包括支持集和查询集；支持集由在已知标定真值的若干类图像中选取若干样本获取；所述查询集为未知分类的图像集合；所述深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络；所述注意力机制用于辅助深度残差网络注意图像特征；软阈值函数用于小样本图像、新类和基类的特征向量筛选，获取满足阈值条件的特征向量。
12.优选地，软阈值函数为：
[0013][0014]
其中，x表示特征向量；y为软阈值函数值；τ为阈值。
[0015]
优选地，训练深度残差收缩网络的方法为：
[0016]
基于mini-imagenet数据集，使用交叉熵分类损失函数对深度残差收缩网络进行训练；其中，mini-imagenet数据集为已知图像分类的数据集；
[0017]
优选地，筛选与新类特征向量距离最近的若干个基类的方法为：
[0018]
基于基类中各类特征向量的均值和新类的特征向量，计算基类各类与新类之间的距离集合；
[0019]
从距离集合中挑选基类特征向量与新类特征向量距离最近的若干个基类，构成与新类最相似的若干个基类。
[0020]
优选地，采用筛选出的若干基类的特征向量对新类的特征向量进行校准的表达式为：
[0021][0022][0023]
其中，μi表示基类中第i类特征向量的均值；σi为基类中第i类的特征向量的协方差；和表示新类具有高斯分布的特征向量的均值和方差；sk表示距离集合s中距离最近的k个基类；μ
′
和σ
′
分别为新类的特征向量的均值和方差。
[0024]
另一方面，本发明提供了一种小样本图像分类系统，包括：网络构建模块、迁移学习模块、数据校准模块和分类模块；
[0025]
网络构建模块用于在在深度残差网络的基础上，结合注意力机制senet和软阈值函数，构建深度残差收缩网络；且用于将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；
[0026]
迁移学习模块用于将基类输入至深度残差收缩网络中进行表征学习阶段的特征提取，获取基类的特征向量；同时将新类输入至深度残差收缩网络中进行小样本学习阶段的特征提取，获取新类的特征向量；
[0027]
数据校准模块，用于计算所述基类和新类的特征向量之间的距离集合，筛选出与新类特征向量距离最近的若干个基类的特征向量；采用筛选出的若干所述基类的特征向量对新类的特征向量进行校准，完成对深度残差收缩网络的训练；
[0028]
分类模块，用于根据所述小样本图像的特征向量对小样本图像进行分类；
[0029]
其中，新类包括支持集和查询集；支持集由在已知标定真值的若干类图像中选取若干样本获取；所述查询集为未知分类的图像集合；所述深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络；所述注意力机制用于辅助深度残差网络注意图
像特征；软阈值函数用于小样本图像、新类和基类的特征向量进行筛选，获取满足阈值条件的特征向量。
[0030]
优选地，所述软阈值函数为：
[0031][0032]
其中，x表示特征向量；y为软阈值函数值；τ为阈值。
[0033]
优选地，训练所述深度残差收缩网络的方法为：
[0034]
基于mini-imagenet数据集，使用交叉熵分类损失函数对深度残差收缩网络进行训练。
[0035]
优选地，筛选与新类特征向量距离最近的若干个基类的方法为：
[0036]
基于所述基类中各类特征向量的均值和新类的特征向量，计算所述基类各类与新类之间的距离集合；
[0037]
从距离集合中挑选基类特征向量与新类特征向量距离最近的若干个基类，构成与新类最相似的若干个基类。
[0038]
优选地，采用筛选出的若干基类的特征向量对新类的特征向量进行校准的表达式为：
[0039][0040][0041]
其中，μi表示基类中第i类特征向量的均值；σi为基类中第i类的特征向量的协方差；和表示新类具有高斯分布的特征向量的均值和方差；sk表示距离集合中距离最近的k个基类；μ
′
和σ
′
分别为新类的特征向量的均值和方差。
[0042]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0043]
本发明提供的深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络，其中，注意力机制用于辅助深度残差网络注意图像特征；软阈值函数用于对新类和基类的图像特征进行筛选，获取重要的图像特征，即可以提取出更具判别性的特征，提高了分类的准确性。
[0044]
本发明提供的数据校验模块，使用基类的特征向量对小样本学习阶段提取的特征向量进行校准，降低小样本条件下因数据偏斜导致的准确率降低的情况。
[0045]
本发明使用基类进行迁移学习，对深度残差收缩网络进行预训练，预训练后的深度残差收缩网络作为小样本学习的特征提取器；在小样本阶段利用该特征提取器对新类进行特征提取，可以获得更加准确的权重参数，有效的避免了只使用小样本进行训练可能产生的过拟合问题，同时在预训练的基础上进行学习，可以更快的收敛，降低训练时间。
附图说明
[0046]
图1是本发明实施例提供的基于深度残差收缩网络的小样本特征提取系统的流程框图；
[0047]
图2是本发明实施例提供的senet网络结构；
[0048]
图3是本发明实施例提供的深度残差收缩网络结构；
[0049]
图4是本发明实施例提供的小样本特征提取方法的分步骤流程框图；
[0050]
图5是本发明实施例提供的小样本分类系统的模块框图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
概念解释：深度残差网络(deep residual network，resnet)的提出可以有效解决深度神经网络模型对小样本数据难以训练的问题，提高了深度神经网络模型的特征表达能力。而深度残差收缩网络(deep residual network，drsn)是深度残差网络的一种改进版本，是深度残差网络、注意力机制和软阈值函数的集成；深度残差收缩网络的工作原理可以理解为通过注意力机制注意到重要的特征，然后通过软阈值函数将重要特征保留下来，将不重要的特征置为零，从而加强深度神经网络从含有噪声的信号中提取有用特征的能力。
[0053]
本发明提供的一种基于深度残差收缩网络的小样本分类方法及系统主要内容为：在深度残差网络的基础上引入一个小型网络，并插入一个新增的数据校准模块，构建小样本的图像特征提取网络(深度残差收缩网络)；该网络(深度残差收缩网络)通过引入的小型网络，获取一组阈值，将低于阈值的特征视为噪声数据，置为0；数据校准模块是利用基类数据的特征向量的均值和方差，对小样本数据的特征向量的均值和方差进行校准，提高深度残差收缩网络对图像的特征提取的效果，提高小样本条件下图像分类与识别的准确性。
[0054]
实施例
[0055]
如图1和图4所示，本发明实施例提供了一种基于深度残差收缩网络的小样本图像分类方法，包括以下步骤：
[0056]
s1：构建小样本学习数据集
[0057]
小样本学习(few-shot learning)是指训练类别较少的情况下，机器仍然能够进行有效的学习；小样本学习希望机器通过学习大量的基类(baseclass)后，仅仅需要少量样本就可以快速学习到新类(newclass)；当类别下的训练样本只有一个时，小样本学习被称为one-shot learning；当类别下的训练样本有多个时，被称为few-shot learning；小样本图像分类方法的实验评价指标通常被称为n-way k-shot任务；n-way k-shot任务是指：在mini-imagenet数据集(已知标定真值的数据集)中选取n类图像样本，每类图像选取k个样本，构成n*k个样本的支持集(supportset)；选取q张未分类的图像作为查询集(queryset)，该任务是在已有支持集的基础上，对查询集的图像进行正确分类，其中查询集和支持集组成新类(newclass)；mini-imagenet数据集中其余样本作为基类(baseclass)；本发明采用5-way 1-shot和5-way 5-shot两类任务，以5-way 1-shot为例，在mini-imagenet数据集中随机抽选出5类目标，每类中随机抽选1个训练样本；此外每类中抽取15个测试样本，总共进
行1000轮小样本学习的训练；
[0058]
s2：构建特征提取网络
[0059]
在深度残差网络(deep residual network，resnet)的基础上，结合如图2所示的注意力机制senet和软阈值函数，构建深度残差收缩网络，可以有效地从噪声数据中提高特征提取的能力；软阈值化是信号处理中一种常用的去噪方式，其去噪的基本思想是先对输入信号分解；然后对阈值内分解后的所有信号进行过滤；最后将过滤后的所有信号重构；另外，软阈值函数求导后梯度只有0和1，这样避免了梯度爆炸和梯度消失现象；软阈值函数表达式如下：
[0060][0061]
其中，x为输入，y为输出，τ为阈值；
[0062]
深度残差网络在senet的基础上引入一个用于获取一组阈值小型网络，将senet中的“重新加权”替换为“软阈值化”，深度残差收缩网络结构如图3所示；该小型网络所输出的阈值τ是各个特征通道的绝对值的平均值与一组0到1之间的系数α的乘积：
[0063][0064]
s3：预训练
[0065]
基于迁移学习的思想，在mini-imagenet数据集上使用交叉熵分类损失函数对深度残差收缩网络进行预训练，将预训练好的深度残差收缩网络作为小样本图像分类任务中的特征提取器；
[0066]
s4：特征提取
[0067]
在表征学习阶段和小样本学习阶段，将训练好的深度残差收缩网络对基类数据和新类数据进行特征提取，得到基类和新类的特征向量；
[0068]
s5：数据校准
[0069]
小样本条件下的数据分布常常与实际的数据分布之间存在很大差异，当训练模型输入极端的样本分布时会降低模型的准确率；因此本发明利用基类数据的特征向量的均值和方差，对新类的特征向量的均值和方差进行校准；
[0070]
本发明假设特征向量的每一个维度都服从高斯分布，相似类的特征具有相似的均值和方差，其中高斯分布的均值和方差可以在相似类之间转移，本发明采用的高斯变换如下：
[0071][0072]
其中，x表示特征向量；
[0073]
基类中第i类的特征向量的均值和协方差分别计算为：
[0074]
[0075][0076]
其中，xj表示基类中第i类的第j个样本的特征向量，ni表示基类中第i类的样本总数；μi为基类中第i类的特征向量的均值；σi为基类中第i类的特征向量的协方差；
[0077]
首先本发明计算基类和新类之间的距离集合s：
[0078][0079]
其中，i表示基类中第i类的类别；μi表示基类中第i类特征向量的均值；表示新类对应的高斯分布的特征向量；
[0080]
从距离集合s中挑选基类特征向量与新类特征向量距离最近的k个基类，即为最相似的k类数据集合sk，利用该组数据对新类数据的均值和方差进行校准，得到校准后的均值和方差为：
[0081][0082][0083]
其中，sk表示距离集合s中距离最近的k个基类，和表示新类具有高斯分布的特征向量的均值和方差；得到校准后的新类分布的均值和方差集合sy＝{(μ'1,∑'1),
…
,(μ'k,∑'k)}，对其进行采样，训练得到一个分类器；具体来讲，利用余弦距离计算新类中查询集中样本域支持集中样本的相似度，通过最近邻的方式将查询集中样本进行分类，得到分类结果。
[0084]
如图5所示，本发明实施例还提供了一种基于深度残差收缩网络的小样本分类系统，包括：
[0085]
网络构建模块，用于在深度残差网络的基础上，结合注意力机制senet和软阈值函数，构建深度残差收缩网络，可以有效地从噪声数据中提高特征提取的能力；且用于将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；
[0086]
迁移学习模块，用于在mini-imagenet数据集上使用交叉熵分类损失函数对深度残差收缩网络进行预训练；将预深度残差收缩网络作为小样本图像分类任务中的特征提取器；在表征学习阶段和小样本学习阶段，采用深度残差收缩网络对基类数据和新类数据进行特征提取，得到基类和新类的特征向量；
[0087]
数据校准模块，用于利用基类数据的特征向量对小样本学习阶段的特征向量进行校准，降低小样本条件下因数据偏斜导致的准确率降低的问题；
[0088]
分类模块，用于根据所述小样本图像的特征向量对小样本图像进行分类。
[0089]
本实施例中一种基于深度残差收缩网络的小样本分类系统的执行方式与上述一种基于深度残差收缩网络的小样本分类方法基本相同，故不作详细赘述。
[0090]
本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提
供给多个消费者使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0091]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、数值计算功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如图像数据、文本数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0092]
在存储器上包含一种基于深度残差收缩网络的小样本分类方法的可运行程序，所述可运行程序可以被切割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如，所述计算机程序可以被切割为网络构建模块、迁移学习模块、数据校准模块。
[0093]
处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和图形处理器gpu，其中，应用处理器主要处理操作系统、应用程序等，图形处理器gpu主要用于深度学习模型并行计算加速。可以理解的是，上述图形处理器gpu也可以不集成到处理器中。
[0094]
系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。
[0095]
所述服务器应至少包括cpu、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。
[0096]
在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种基于深度残差收缩网络的小样本分类方法，其包括如下步骤：
[0097]
构建深度残差收缩网络，在imagenet数据集上进行预训练，得到预训练后的特征提取网络，将该特征提取网络作为小样本学习的特征提取器；预训练后的特征提取网络对基类和新类数据进行特征提取，得到基类和新类的特征向量；最后利用基类数据的特征向量对新类的特征向量进行数据校准。将校准后的新类的特征向量将其输入分类器中，得到分类结果。
[0098]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0099]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0100]
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0101]
综上所述，本发明与现有技术相比，存在以下优势：
[0102]
本发明提供的深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络，其中，注意力机制用于辅助深度残差网络注意图像特征；软阈值函数用于对新类和基类的图像特征进行筛选，获取重要的图像特征，即可以提取出更具判别性的特征，提高了分类的准确性。
[0103]
本发明提供的数据校验模块，使用基类的特征向量对小样本学习阶段提取的特征向量进行校准，降低小样本条件下因数据偏斜导致的准确率降低的情况。
[0104]
本发明使用基类进行迁移学习，对深度残差收缩网络进行预训练，预训练后的深度残差收缩网络作为小样本学习的特征提取器；在小样本阶段利用该特征提取器对小样本数据进行特征提取，可以获得更加准确的权重参数，有效的避免了只使用小样本进行训练可能产生的过拟合问题，同时在预训练的基础上进行学习，可以更快的收敛，降低训练时间。
[0105]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种小样本图像分类方法，其特征在于，包括以下步骤：将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；根据所述小样本图像的特征向量对小样本图像进行分类；其中，训练深度残差收缩网络的过程为：将基类输入至深度残差收缩网络中进行表征学习阶段的特征提取，获取基类的特征向量；同时将新类输入至深度残差收缩网络中进行小样本学习阶段的特征提取，获取新类的特征向量；计算所述基类和新类的特征向量之间的距离集合，筛选出与新类特征向量距离最近的若干个基类的特征向量；训练深度残差收缩网络时，采用筛选出的若干所述基类的特征向量对新类的特征向量进行校准，完成对深度残差收缩网络的训练；其中，所述新类包括支持集和查询集；所述支持集由在已知标定真值的若干类图像中选取若干样本获取；所述查询集为未知分类的图像集合；所述深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络；所述注意力机制用于辅助深度残差网络提取具有判别性的图像特征；所述软阈值函数用于小样本图像、新类和基类的特征向量筛选，获取满足阈值条件的特征向量。2.根据权利要求1所述的小样本图像分类方法，其特征在于，所述软阈值函数为：其中，x表示特征向量；y为软阈值函数值；τ为阈值。3.根据权利要求2所述的小样本图像分类方法，其特征在于，筛选与新类特征向量距离最近的若干个基类的方法为：基于所述基类中各类特征向量的均值和新类的特征向量，计算所述基类各类与新类之间的距离集合；从距离集合中挑选基类特征向量与新类特征向量距离最近的若干个基类，构成与新类最相似的若干个基类。4.根据权利要求3所述的小样本图像分类方法，其特征在于，采用筛选出的若干基类的特征向量对新类的特征向量进行校准的表达式为：特征向量对新类的特征向量进行校准的表达式为：其中，μ
i
表示基类中第i类特征向量的均值；σ
i
为基类中第i类的特征向量的协方差；和表示新类具有高斯分布的特征向量的均值和方差；s
k
表示距离集合中距离最近的k个基
类；μ
′
和σ
′
分别为新类的特征向量的均值和方差。5.一种小样本图像分类系统，其特征在于，包括：网络构建模块、迁移学习模块、数据校准模块和分类模块；网络构建模块用于在在深度残差网络的基础上，结合注意力机制senet和软阈值函数，构建深度残差收缩网络；且用于将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；迁移学习模块用于将基类输入至深度残差收缩网络中进行表征学习阶段的特征提取，获取基类的特征向量；同时将新类输入至深度残差收缩网络中进行小样本学习阶段的特征提取，获取新类的特征向量；数据校准模块，用于计算所述基类和新类的特征向量之间的距离集合，筛选出与新类特征向量距离最近的若干个基类的特征向量；采用筛选出的若干所述基类的特征向量对新类的特征向量进行校准，完成对深度残差收缩网络的训练；分类模块，用于根据所述小样本图像的特征向量对小样本图像进行分类；其中，新类包括支持集和查询集；支持集由在已知标定真值的若干类图像中选取若干样本获取；所述查询集为未知分类的图像集合；所述深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络；所述注意力机制用于辅助深度残差网络注意图像特征；所述软阈值函数用于小样本图像、新类和基类的特征向量筛选，获取满足阈值条件的特征向量。6.根据权利要求5所述的小样本图像分类系统，其特征在于，所述软阈值函数为：其中，x表示特征向量；y为软阈值函数值；τ为阈值。7.根据权利要求6所述的小样本图像分类系统，其特征在于，筛选与新类特征向量距离最近的若干个基类的方法为：基于所述基类中各类特征向量的均值和新类的特征向量，计算所述基类各类与新类之间的距离集合；从距离集合中挑选基类特征向量与新类特征向量距离最近的若干个基类，构成与新类最相似的若干个基类。8.根据权利要求7所述的小样本图像分类系统，其特征在于，采用筛选出的若干基类的特征向量对新类的特征向量进行校准的表达式为：征向量对新类的特征向量进行校准的表达式为：其中，μ
i
表示基类中第i类特征向量的均值；σ
i
为基类中第i类的特征向量的协方差；
和表示新类具有高斯分布的特征向量的均值和方差；s
k
表示距离集合中距离最近的k个基类；μ
′
和σ
′
分别为新类的特征向量的均值和方差。

技术总结
本发明提供了一种小样本图像分类方法及系统，属于计算机视觉领域，方法包括：将小样本图像输入至深度残差收缩网络中，获取小样本图像的特征向量；根据所述小样本图像的特征向量对小样本图像进行分类；其中，深度残差收缩网络为深度残差网络、注意力机制和软阈值函数集成的网络；训练深度残差收缩网络时，采用筛选出的若干基类的特征向量对新类的特征向量进行校准，获取新类的特征向量；本发明可以提取出更具判别性的特征，提高了分类的准确性。提高了分类的准确性。提高了分类的准确性。


技术研发人员：张必银 周倩文 刘玖周
受保护的技术使用者：中国船舶重工集团公司第七0九研究所
技术研发日：2021.11.29
技术公布日：2022/3/8