多搜索空间自适应的神经网络结构编码表征方法及系统

1.本发明属于人工智能领域和自动机器学习领域(automl)，具体涉及一种多搜索空间自适应的神经网络结构编码表征方法及系统。


背景技术：

2.随着人工智能(ai)技术的飞速发展，越来越多的领域需要利用人工智能技术开展相关工作，以提升其工作效率。对于不同的应用场景，由于其采集到的数据类型和特征各不相同，任务需求也不一致。因此，需要针对不同的任务以及不同的数据，重新设计不同的神经网络模型以满足不同任务的要求。随着人工智能(ai)技术的广泛应用，神经网络模型的设计需求也越来越大。神经网络结构搜索(neural architecture search，nas)在神经网络结构搜索方面表现出了巨大的潜能，其搜索得到的模型在很多领域都超越了人工设计的模型。采用神经网络结构搜索方法获得的神经网络模型，无论是在参数量、网络规模，还是模型精度和设计代码等方面，都表现出了非常大的优势。
3.神经网络搜索的目标是实现神经网络结构的自动化设计，分析现有方法，为减少神经网络结构性能评估这一环节巨大的算力要求，当前的神经网络搜索算法都采用基于精度预测器的方式实施。基于精度预测器方法的核心是通过构建一个能够预测神经网络结构精度的预测器，对候选网络结构的精度进行预测，从而减少因为性能评估产生的计算资源消耗以，达到减少耗时加速搜索的目的。该方法的实现，需要用“网络结构-精度数据”这样的数据对来训练精度预测器，使其能够为各种神经网络结构搜索算法预测候选网络结构的精度。
4.为了更充分地获取到神经网络结构的深层特征，现有的精度预测器通常使用卷积神经网络(cnn)或者长短期记忆网络(lstm)对候选神经网络结构进行隐藏特征提取和建模，在此基础上开展精度预测工作。由于神经网络结构本身是离散的，且不同的神经网络其结构也各不相同，这给精度预测器的设计工作带来了非常大的挑战，需要针对不同的任务(搜索空间)重新设计精度预测器，也给精度预测器的训练工作带来了一定的困难。现有神经网络结构预测方法大多是面向某一类具体的搜索空间展开的，未考虑到不同搜索空间的情况。


技术实现要素：

5.本发明要解决的技术问题：针对现有技术的上述问题，提供一种多搜索空间自适应的神经网络结构编码表征方法及系统，本发明能够同时满足多个搜索空间的神经网络结构精度预测，只适应来自不同搜索空间的神经网络结构，保证解码器精度的同时提升重构效率。
6.为了解决上述技术问题，本发明采用的技术方案为：
7.一种多搜索空间自适应的神经网络结构编码表征方法，包括：
8.1)提取神经网络结构的内部拓扑结构信息；
9.2)基于内部拓扑结构信息构建神经网络结构的有向无环图dag；
10.3)基于神经网络结构的有向无环图dag，分别提取出邻接矩阵m
adj
和操作向量v
opt
；
11.4)检查邻接矩阵m
adj
和操作向量v
opt
的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理，跳转执行步骤4)；
12.5)基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量v
nae
；
13.6)基于神经网络结构的编码向量v
nae
通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到特征表征ei。
14.可选地，步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对邻接矩阵m
adj
进行维度填充的步骤包括：在邻接矩阵m
adj
的最后一列之前，填充全零列向量，直到维度满足要求为止；在邻接矩阵m
adj
的最后一行之前，填充全零行向量，直到维度满足要求为止。
15.可选地，步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对操作向量v
opt
进行维度填充的步骤包括：在操作向量v
opt
的最后一个元素之前按位进行填充，每一位都随机填充搜索空间的一种操作类型的映射值，直到维度满足要求为止。
16.可选地，步骤5)包括：
17.5.1)针对邻接矩阵m
adj
的行向量进行遍历，针对遍历得到的任意第i行，将邻接矩阵的行向量m
adj
[i]和操作向量v
opt
进行逐元素乘法得到然后用得到的新向量替换邻接矩阵对应的行向量m
adj
[i]，最终得到新的邻接矩阵；
[0018]
5.2)将新的邻接矩阵的上三角部分逐行展开，即将每行前面的全零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量即为神经网络结构的编码向量v
nae
。
[0019]
可选地，步骤6)中预先训练好的特征提取网络为卷积神经网络cnn、长短期记忆网络lstm或基于transformer的特征提取器。
[0020]
可选地，所述基于transformer的特征提取器包括嵌入器和多个特征编码器，所述嵌入器和多个特征编码器依次级联连接，且所有特征编码器的输出最终合并得到特征表征ei。
[0021]
可选地，步骤6)之后还包括根据特征表征ei解码重构神经网络结构的步骤。
[0022]
可选地，所述根据特征表征ei解码重构神经网络结构的步骤包括：
[0023]
s1)将特征表征ei解码获得神经网络结构的编码向量v
nae
；
[0024]
s2)根据步骤5)中基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量v
nae
时邻接矩阵上三角矩阵最后一列元素在编码向量v
nae
中位置的位置向量v
pos
，检查位置向量v
pos
在解码获得的神经网络结构的编码向量v
nae
中对应位置的元素是否为0，若为0，说明对应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；
[0025]
s3)根据位置向量v
pos
，将解码获得的神经网络结构的编码向量v
nae
拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；
[0026]
s4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非
零元素重置为1，得到了对应的邻接矩阵m
adj
，再结合操作向量v
opt
，重构出该神经网络结构对应的有向无环图dag；
[0027]
s5)基于有向无环图dag重构出该神经网络结构。
[0028]
此外，本发明还提供一种多搜索空间自适应的神经网络结构编码表征系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述的多搜索空间自适应的神经网络结构编码表征方法的步骤。
[0029]
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述的多搜索空间自适应的神经网络结构编码表征方法的计算机程序。
[0030]
和现有技术相比，本发明具有下述优点：
[0031]
1、本发明能够有效地适应来自不同搜索空间的神经网络结构，特征提取器和预测器只需要设计一次就可以满足不同种类任务的需求，只需要根据神经网络结构的规模大小，简单的调整参数即可；
[0032]
2、本发明采用全新设计的编码方式，可有效保证每一位编码都是独立同分布的，且没有其他额外约束，这在神经网络结构的解码与重构中是非常重要的，可以在保证解码器精度的同时，提升重构效率。
附图说明
[0033]
图1为本发明实施例方法的基本流程示意图。
[0034]
图2为本发明实施例方法的基本原理示意图。
[0035]
图3为本发明实施例中神经网络结构编码示意图。
[0036]
图4为本发明实施例中根据特征表征ei解码重构神经网络结构的基本流程示意图。
具体实施方式
[0037]
如图1和图2所示，本实施例多搜索空间自适应的神经网络结构编码表征方法(本实施例中命名为anae，即adaptive neural architecture expression)包括：
[0038]
1)提取神经网络结构的内部拓扑结构信息；
[0039]
2)基于内部拓扑结构信息构建神经网络结构的有向无环图dag；
[0040]
3)基于神经网络结构的有向无环图dag，分别提取出邻接矩阵m
adj
和操作向量v
opt
；
[0041]
4)检查邻接矩阵m
adj
和操作向量v
opt
的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理，跳转执行步骤4)；
[0042]
5)基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量v
nae
；
[0043]
6)基于神经网络结构的编码向量v
nae
通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到特征表征ei。
[0044]
神经网络结构的表示形式有很多种，不同的搜索空间其表现形式各不相同。总结起来，主要有如下几种表示方法：一种是基于神经网络拓扑结构的表示方法，利用神经网络的连接关系等信息来构造其结构信息的表达方法，例如构造有向无环图等；另一种是基于神经网络的信息流进行表示的方法，利用数据在网络内部的流转信息来表示其结构信息。
无论是哪种表达方式，均可以从中提取到神经网络内部的连接信息，以及具体的操作类型列表。基于此，对于来自不同搜索空间的神经网络结构，本实施例方法首先通过步骤1)提取出网络内部的连接信息(即拓扑结构)，然后根据拓扑结构提取每个节点的操作类型，形成操作类型列表。无论是哪种搜索空间中的神经网络结构，在获取到内部连接信息以及操作类型列表的基础上，通过步骤2)构建出该神经网络结构的有向无环图dag。这样，就实现了将不同搜索空间中的神经网络结构进行统一的结构表示。
[0045]
有向无环图dag的定义是唯一的，即有向无环图dag的顶点(vertex)代表具体的操作类型，顶点之间的连线(edge)代表神经网络结构内部的数据流。因此，根据生成的有向无环图dag可提取到对应的邻接矩阵和操作向量。本实施例中，步骤3)基于神经网络结构的有向无环图dag，分别提取出邻接矩阵m
adj
和操作向量v
opt
；其中，邻接矩阵m
adj
为顶点(vertex)之间相邻关系构成的矩阵，如图3所示，in，c3x3，c1x1，c1x1，m3x3，x3c3，out均为有向无环图dag的顶点的标签，分别与属性集合中的元素相对应。操作向量v
opt
是对操作类型列表的单射和满射，以图3中给出的神经网络结构为例，本实施例中设计了如下所示的映射g(
·
)：
[0046][0047][0048][0049]
上式中，映射g(-)是一个单射，同时也是满射。为操作类型集合(属性集合)，input为输入，conv1
×
1为1
×
1卷积操作，conv3
×
3为3
×
3卷积操作，maxpool3
×
3为3
×
3最大池化操作，output为输出，为操作编码集合。这样设计是因为基于梯度下降方法的神经网络结构搜索算法，需要从特征表达中解码并重构出神经网络结构，保证了编码向量和神经网络结构的唯一对应关系。
[0050]
步骤4)检查邻接矩阵和操作向量的维度。如果维度不满足要求，需要对邻接矩阵m
adj
和操作向量v
opt
进行填充。本实施例中，步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对邻接矩阵m
adj
进行维度填充的步骤包括：在邻接矩阵m
adj
的最后一列之前，填充全零列向量，直到维度满足要求为止；在邻接矩阵m
adj
的最后一行之前，填充全零行向量，直到维度满足要求为止。步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对操作向量v
opt
进行维度填充的步骤包括：在操作向量v
opt
的最后一个元素之前按位进行填充，每一位都随机填充搜索空间的一种操作类型的映射值，直到维度满足要求为止。
[0051]
本实施例中，步骤5)包括：
[0052]
5.1)针对邻接矩阵m
adj
的行向量进行遍历，针对遍历得到的任意第i行，将邻接矩阵的行向量m
adj
[i]和操作向量v
opt
进行逐元素乘法得到然后用得到的新向量替换邻接矩阵对应的行向量m
adj
[i]即：
[0053][0054]
最终，可得到新的邻接矩阵；
[0055]
5.2)将新的邻接矩阵的上三角部分逐行展开，即将每行前面的全零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量即为神经网络结构的编码向量v
nae
。
[0056]
由于邻接矩阵是一个上三角矩阵，所以做完上一步操作之后得到的新的邻接矩阵仍然是上三角矩阵，如图3所示。将新邻接矩阵的上三角部分逐行展开，即将每行前面的全
零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量就是神经网络结构的编码向量v
nae
；为了重构的需要，步骤5.2)中还包括记录邻接矩阵上三角矩阵最后一列元素在编码向量v
nae
中的位置信息，并保存到位置向量v
pos
中。
[0057]
经过上一步的操作，不同搜索空间的神经网络结构都被转化成了维度一样的神经网络结构编码向量v
nae
。针对统一结构的输入数据，可通过预先训练好的特征提取网络来提取特征表征ei。步骤6)中预先训练好的特征提取网络为卷积神经网络cnn、长短期记忆网络lstm或基于transformer的特征提取器。本实施例中，采用基于transformer的特征提取器，通过基于transformer的特征提取器获得来自不同搜索空间的神经网络结构的特征表达，表示为：
[0058]ei
＝e(v
nae
)，
[0059]
上式中，e则表示基于transformer的特征提取器。v
nae
是神经网络结构的编码向量，神经网络结构可以来自任意搜索空间，ei是该神经网络结构的特征表达。于是，可以利用该结果构建“网络结构-精度数据”数据对，来对设计好的精度预测器进行训练，也可以利用训练好的精度预测器对该神经网络结构的精度进行预测。
[0060]
如图2所示，本实施例基于transformer的特征提取器包括嵌入器和多个特征编码器(本实施例中具体包括特征编码器1～特征编码器4共四个特征编码器，此外可以根据需要选择更多或更少数量的特征编码器)，嵌入器和多个特征编码器依次级联连接，且所有特征编码器的输出最终合并得到特征表征ei。参见图2，本实施例方法包含了用于多搜索空间自适应的神经网络结构编码模块(左侧部分)和用于获得神经网络结构特征表达的特征提取器(右侧部分)。各个模块的主要功能描述如下：神经网络结构编码模块主要用于将来自不同搜索空间的候选神经网络结构编码成固定格式的编码向量，实现不同搜索空间的自适应。该模块充分提取不同搜索空间神经网络表达中的连接关系，重新构建出神经网络结构对应的有向无环图(dag)。在此基础上，提取得到神经网络结构的邻接矩阵和操作向量。最后，通过编码算法将神经网络结构编码成向量，用于后续特征提取。特征提取器(afe)为神经网络结构特征提取器，这里被设计为类transformer的结构。为了获得更深层次的隐藏特征，这里在特征编码器上添加了旁路连接。通过特征提取器(afe)，将神经网络结构由离散空间映射至连续、可微的连续隐空间，最终形成该神经网络的特征表达。
[0061]
作为一种可选的实施方式，为了满足神经网络结构搜索算法的需要，本实施例步骤6)之后还包括根据特征表征ei解码重构神经网络结构的步骤，即由神经网络结构的特征表达ei重构出神经网络结构ai。如图4所示，根据特征表征ei解码重构神经网络结构的步骤包括：
[0062]
s1)将特征表征ei解码获得神经网络结构的编码向量v
nae
，可表示为：
[0063]vnae
＝d(ei)，
[0064]
上式中，d表示用于将特征表征ei解码获得神经网络结构的编码向量v
nae
的解码器。该解码器为预训练好的神经网络结构编码生成网络，可以为卷积神经网络cnn、长短期记忆网络lstm或基于transformer的神经网络结构解码器。本实施例中，采用基于transformer的神经网络结构解码器，通过基于transformer的解码器完成来自不同搜索空间的神经网络结构的解码过程。
[0065]
s2)根据步骤5)中基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量vnae
时邻接矩阵上三角矩阵最后一列元素在编码向量v
nae
中位置的位置向量v
pos
，检查位置向量v
pos
在解码获得的神经网络结构的编码向量v
nae
中对应位置的元素是否为0，若为0，说明对应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；
[0066]
s3)根据位置向量v
pos
，将解码获得的神经网络结构的编码向量v
nae
拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；
[0067]
s4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非零元素重置为1，得到了对应的邻接矩阵m
adj
，再结合操作向量v
opt
，重构出该神经网络结构对应的有向无环图dag；
[0068]
s5)基于有向无环图dag重构出该神经网络结构。
[0069]
参见图4，对神经网络结构解码与重构的流程图。首先，对神经网络结构的特征表征ei的解码获得神经网络结构的编码向量v
nae
；接下来，需要对编码向量进行校验。以图2为例，需要检查编码向量中阴影位置的数值是否为0：如果该位的值为0，则说明对应的节点与输出结点之间没有连接关系，维持原数值不变；如果该位的值不为0，则说明对应的节点与输出结点之间存在连接关系，将该位的数值置为输出节点对应的映射值，即映射g(
·
)定义的对应值4。校验完成后，按得到的位置向量v
pos
对编码向量进行拆分。将拆分得到的向量按顺序重组成上三角矩阵。接下来，根据得到的上三角矩阵，重构出该候选神经网络结构对应的有向无环图dag。最后，基于神经网络结构内部连接关系信息的提取方式，由有向无环图dag重构出对应的神经网络结构，返回解码和重构结果。
[0070]
此外，本实施例还提供一种多搜索空间自适应的神经网络结构编码表征系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述的多搜索空间自适应的神经网络结构编码表征方法的步骤。
[0071]
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述的多搜索空间自适应的神经网络结构编码表征方法的计算机程序。
[0072]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的
制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0073]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种多搜索空间自适应的神经网络结构编码表征方法，其特征在于，包括：1)提取神经网络结构的内部拓扑结构信息；2)基于内部拓扑结构信息构建神经网络结构的有向无环图dag；3)基于神经网络结构的有向无环图dag，分别提取出邻接矩阵m
adj
和操作向量v
opt
；4)检查邻接矩阵m
adj
和操作向量v
opt
的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理，跳转执行步骤4)；5)基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量v
nae
；6)基于神经网络结构的编码向量v
nae
通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到特征表征e
i
。2.根据权利要求1所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对邻接矩阵m
adj
进行维度填充的步骤包括：在邻接矩阵m
adj
的最后一列之前，填充全零列向量，直到维度满足要求为止；在邻接矩阵m
adj
的最后一行之前，填充全零行向量，直到维度满足要求为止。3.根据权利要求1所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，步骤4)中对邻接矩阵m
adj
和操作向量v
opt
进行维度填充处理时，对操作向量v
opt
进行维度填充的步骤包括：在操作向量v
opt
的最后一个元素之前按位进行填充，每一位都随机填充搜索空间的一种操作类型的映射值，直到维度满足要求为止。4.根据权利要求3所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，步骤5)包括：5.1)针对邻接矩阵m
adj
的行向量进行遍历，针对遍历得到的任意第i行，将邻接矩阵的行向量m
adj
[i]和操作向量v
opt
进行逐元素乘法得到然后用得到的新向量替换邻接矩阵对应的行向量m
adj
[i]，最终得到新的邻接矩阵；5.2)将新的邻接矩阵的上三角部分逐行展开，即将每行前面的全零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量即为神经网络结构的编码向量v
nae
。5.根据权利要求4所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，步骤6)中预先训练好的特征提取网络为卷积神经网络cnn、长短期记忆网络lstm或基于transformer的特征提取器。6.根据权利要求5所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，所述基于transformer的特征提取器包括嵌入器和多个特征编码器，所述嵌入器和多个特征编码器依次级联连接，且所有特征编码器的输出最终合并得到特征表征e
i
。7.根据权利要求6所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，步骤6)之后还包括根据特征表征e
i
解码重构神经网络结构的步骤。8.根据权利要求7所述的多搜索空间自适应的神经网络结构编码表征方法，其特征在于，所述根据特征表征e
i
解码重构神经网络结构的步骤包括：s1)将特征表征e
i
解码获得神经网络结构的编码向量v
nae
；s2)根据步骤5)中基于邻接矩阵m
adj
和操作向量v
opt
计算神经网络结构的编码向量v
nae
时邻接矩阵上三角矩阵最后一列元素在编码向量v
nae
中位置的位置向量v
pos
，检查位置向量v
pos
在解码获得的神经网络结构的编码向量v
nae
中对应位置的元素是否为0，若为0，说明对
应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；s3)根据位置向量v
pos
，将解码获得的神经网络结构的编码向量v
nae
拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；s4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非零元素重置为1，得到了对应的邻接矩阵m
adj
，再结合操作向量v
opt
，重构出该神经网络结构对应的有向无环图dag；s5)基于有向无环图dag重构出该神经网络结构。9.一种多搜索空间自适应的神经网络结构编码表征系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述的多搜索空间自适应的神经网络结构编码表征方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述的多搜索空间自适应的神经网络结构编码表征方法的计算机程序。

技术总结
本发明公开了一种多搜索空间自适应的神经网络结构编码表征方法及系统，本发明方法包括提取神经网络结构的内部拓扑结构信息构建有向无环图DAG，提取出邻接矩阵M


技术研发人员：蹇松雷 张钰森 谭郁松 黄辰林 李宝 董攀 丁滟 任怡 王晓川 张建锋 谭霜
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2021.11.11
技术公布日：2022/3/8