一种多任务门控模糊神经网络算法及存储介质

transactions on neural systems and rehabilitation engineering,2019,28(1):267-276，luo r,sun s,zhang x,et al)中使用长短期记忆(lstm)神经网络分别对4个emg传感器信号提取特征，然后使用多层感知器(mlp)融合特征实现对四个步态相位的识别。
8.但是，文献《an extended kalman filter to estimate human gait parameters and walking distance》、《anovel hmm distributed classifier for the detection of gait phases by means of a wearable inertial sensornetwork》和《a low-cost end-to-end semg-based gait sub-phase recognition system》的方法都是融合多个同一种类的传感器，没有考虑多模态传感器融合；文献《continuous locomotion-mode identification for prosthetic legs based on neuromuscular
–
mechanical fusion》的方法需要手动提取多种时域和频域特征，计算较为复杂，而且需要解决特征选择的问题；而文献《a low-cost end-to-end semg-based gait sub-phase recognition system》中使用的lstm网络是一种深度神经网络，训练和计算代价大。在复杂环境下，为实现对下肢可穿戴机器人的精确控制，往往需要识别多种下肢运动意图，如同时识别人的步态相位和运动模式，而上述方法只能识别单一类别的下肢运动意图，无法利用不同运动意图之间的互补作用。


技术实现要素：

9.鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种多任务门控模糊神经网络算法及存储介质。
10.为解决上述技术问题，本发明提供了一种多任务门控模糊神经网络算法，所述算法包括步骤：
11.构建主网络和门控网络；
12.获取传感器数据；
13.获取模糊规则；
14.计算主网络隶属度和门控网络隶属度；
15.计算主网络触发强度和门控网络触发强度；
16.计算主网络归一化触发强度和门控网络归一化触发强度；
17.根据所述模糊规则和所述主网络归一化触发强度计算规则输出；
18.根据所述门控网络归一化触发强度计算门控网络输出；
19.根据所述门控网络输出和所述规则输出计算门控加权输出；
20.根据所述门控加权输出计算任务分类结果输出；
21.获取目标函数；
22.使用所述目标函数对所述任务分类结果输出进行优化。
23.优选地，所述主网络隶属度的表达式为：
[0024][0025]
其中，μ
r,d
(xd)表示主网络隶属度，xd表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，c
r,d
和σ
r,d
为模糊神经网络的前件参数。
[0026]
优选地，所述主网络触发强度的表达式为：
[0027][0028]
其中，fr(x)表示主网络中第r条模糊规则的触发强度，μ
r,d
(xd)表示主网络隶属度函数，xd表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，d表示传感器数据的总维度。
[0029]
优选地，所述主网络归一化触发强度的表达式为：
[0030][0031]
其中，表示主网络第r条模糊规则的归一化触发强度，fr(x)表示主网络第r条模糊规则的触发强度，fi(x)表示第i条模糊规则的触发强度，r表示模糊规则的数量。
[0032]
优选地，所述规则输出的表达式为：
[0033][0034]
其中，pr(x)表示模糊规则输出，表示主网络归一化触发强度，y(x)表示模糊规则的后件输出，a
r,o
表示偏差，a
r,d
表示权重，xd表示d维传感器数据，d表示传感器数据的维度。
[0035]
优选地，所述门控网络输出的表达式为：
[0036][0037]
其中，表示门控网络输出的权值，表示门控网络归一化触发强度。
[0038]
优选地，所述门控加权输出的表达式为：
[0039][0040]
其中，表示主网络的门控加权输出，表示门控网络输出的权值，pr(x)表示模糊规则输出。
[0041]
优选地，所述任务分类结果输出的表达式为：
[0042][0043]
其中，yk表示任务最终分类结果输出，表示主网络的门控加权输出，r表示模糊规则的数量。
[0044]
优选地，所述目标函数的表达式为：
[0045]
o＝c1l1+c2l2+
…
+cklk，
[0046]
其中，o表示目标函数，c1,c2,
…ck
分别表示k个任务的权值，l1,l2,
…
lk分别表示k个任务的交叉熵损失函数。
[0047]
本技术还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质
存储计算机指令，该计算机指令用于使该计算机执行前述任一所述多任务门控模糊神经网络算法。
[0048]
本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：本技术提供的一种多任务门控模糊神经网络算法及存储介质，能够融合多模态传感器信息，并直接识别人体下肢运动意图，相比于其它先融合、再识别的方法，更为简单高效；首次提出多任务门控模糊神经网络，能够同时识别人体下肢运动模式和步态相位两种下肢运动意图；该模糊神经网络可以通过模糊规则自动提取模糊特征，无需预先对传感器数据进行特征提取和特征选择，可用于数据级多模态传感器融合；相对于深度神经网络，本技术提供的一种多任务门控模糊神经网络算法的网络参数少，训练和计算效率高；可应用于其它模式识别问题，是一种通用性较强的机器学习算法。
附图说明
[0049]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0050]
图1是本发明实施例提供的一种多任务门控模糊神经网络算法中的主网络结构图；
[0051]
图2是本发明实施例提供的一种多任务门控模糊神经网络算法中的门控网络结构图；
[0052]
图3是本发明实施例提供的一种多任务门控模糊神经网络算法的运动模式验证示意图；
[0053]
图4是本发明实施例提供的一种多任务门控模糊神经网络算法的步态相位验证示意图；
[0054]
图5是本发明实施例提供的一种多任务门控模糊神经网络算法的实验结果示意图。
具体实施方式
[0055]
下文将结合具体实施方式和实施例，具体阐述本发明，本发明的优点和各种效果将由此更加清楚地呈现。本领域技术人员应理解，这些具体实施方式和实施例是用于说明本发明，而非限制本发明。
[0056]
在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。
[0057]
除非另有特别说明，本发明中用到的各种原材料、试剂、仪器和设备等，均可通过市场购买得到或者可通过现有方法制备得到。
[0058]
在本技术实施例中，本发明提供了一种多任务门控模糊神经网络算法，所述算法包括步骤：
[0059]
s1：构建主网络和门控网络；
[0060]
在本技术实施例中，如图1所示为本发明的主网络，该主网络共有8层，其中，输入层是d维的传感器数据，输出层是第k个任务的分类结果。
[0061]
在本技术实施例中，如图2所示为本发明的门控网络，该门控网络共有5层，其中，输入层是d维的传感器数据，输出层是第k个任务相对于主网络模糊规则的权值向量。
[0062]
s2：获取传感器数据；
[0063]
在本技术实施例中，传感器数据可以通过各种传感器输出得到。
[0064]
s3：获取模糊规则；
[0065]
在本技术实施例中，假设规则库有r条模糊规则，第r条模糊规则的表达式为：
[0066]
if x
1 is a
r,1
λ
…
λx
d is a
r,d
[0067][0068]
其中，x＝(x1,
…
xd,
…
xd)为d维传感器数据。
[0069]
s4：计算主网络隶属度和门控网络隶属度；
[0070]
在本技术实施例中，主网络隶属度的表达式为：
[0071][0072]
其中，μ
r,d
(xd)表示主网络隶属度，xd表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，c
r,d
和σ
r,d
为模糊神经网络的前件参数。
[0073]
在本技术实施例中，门控网络隶属度的表达式为：
[0074][0075]
其中，表示第k个门控网络隶属度，xd表示第d维传感器数据，表示第k个门控网络高斯隶属度函数的中心值，表示第k个门控网络高斯隶属度函数的标准差。
[0076]
s5：计算主网络触发强度和门控网络触发强度；
[0077]
在本技术实施例中，所述主网络触发强度的表达式为：
[0078][0079]
其中，fr(x)表示主网络中第r条模糊规则的触发强度，μ
r,d
(xd)表示主网络隶属度函数，xd表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，d表示传感器数据的总维度。
[0080]
在本技术实施例中，门控网络触发强度的表达式为：
[0081][0082]
其中，表示第k个门控网络中第r条模糊规则的触发强度，表示第k个
门控网络的隶属度函数，xd表示第d维传感器数据，表示第k个门控网络高斯隶属度函数的中心值，表示第k个门控网络高斯隶属度函数的标准差，d表示传感器数据的总维度。
[0083]
s6：计算主网络归一化触发强度和门控网络归一化触发强度；
[0084]
在本技术实施例中，所述主网络归一化触发强度的表达式为：
[0085][0086]
其中，表示主网络第r条模糊规则的归一化触发强度，fr(x)表示主网络第r条模糊规则的触发强度，fi(x)表示第i条模糊规则的触发强度，r表示模糊规则的数量。
[0087]
在本技术实施例中，门控网络归一化触发强度的表达式为：
[0088][0089]
其中，表示第k个门控网络中第r条模糊规则的归一化触发强度，表示第k个门控网络中第r条模糊规则的触发强度，示第k个门控网络中第i条模糊规则的触发强度，xd表示第d维传感器数据，表示第k个门控网络第r条模糊规则的高斯隶属度函数的中心值，表示第k个门控网络第i条模糊规则的高斯隶属度函数的中心值，表示第k个门控网络第r条模糊规则的高斯隶属度函数的标准差,表示第k个门控网络第i条模糊规则的高斯隶属度函数的标准差，d表示传感器数据的总维度。
[0090]
s7：根据所述模糊规则和所述主网络归一化触发强度计算规则输出；
[0091]
在本技术实施例中，所述规则输出的表达式为：
[0092][0093]
其中，pr(x)表示模糊规则输出，表示主网络归一化触发强度，y(x)表示模糊规则的后件输出，a
r,o
表示偏差，a
r,d
表示权重，xd表示d维传感器数据，d表示传感器数据的维度。
[0094]
s8：根据所述门控网络归一化触发强度计算门控网络输出；
[0095]
在本技术实施例中，所述门控网络输出的表达式为：
[0096][0097]
其中，表示门控网络输出的权值，表示门控网络归一化触发强度。
[0098]
s9：根据所述门控网络输出和所述规则输出计算门控加权输出；
[0099]
在本技术实施例中，所述门控加权输出的表达式为：
[0100][0101]
其中，表示主网络的门控加权输出，表示门控网络输出的权值，pr(x)表示模糊规则输出。
[0102]
s10：根据所述门控加权输出计算任务分类结果输出；
[0103]
在本技术实施例中，所述任务分类结果输出的表达式为：
[0104][0105]
其中，yk表示任务最终分类结果输出，表示主网络的门控加权输出，r表示模糊规则的数量。
[0106]
s11：获取目标函数；
[0107]
在本技术实施例中，所述目标函数的表达式为：
[0108]
o＝c1l1+c2l2+
…
+cklk，
[0109]
其中，o表示目标函数，c1,c2,
…ck
分别表示k个任务的权值，l1,l2,
…
lk分别表示k个任务的交叉熵损失函数。
[0110]
s12：使用所述目标函数对所述任务分类结果输出进行优化。
[0111]
在本技术实施例中，采用adam学习器通过小批量随机梯度下降的方法计算多任务模糊神经网络的模型参数，并使用目标函数对任务分类结果输出进行优化。
[0112]
本技术提供的一种多任务门控模糊神经网络算法能够融合多模态传感器信息，并直接识别人体下肢运动意图，相比于其它先融合、再识别的方法，更为简单高效。该算法能够同时识别多种运动意图，不同运动意图识别任务之间既有通过主网络学习的共享知识，也有从门控网络中学习到的个性知识，因此能够利用不同运动意图之间的互补作用，能够更准确地识别下肢运动意图。此外，该算法的训练和计算效率较高，便于在线实时识别，也可应用于其他模式识别问题。
[0113]
下面对本技术提供的一种多任务门控模糊神经网络算法进行了验证。
[0114]
在本技术实施例中，使用本技术提供的一种多任务门控模糊神经网络算法融合肌动腿环传感器、imu和足底压力传感器，同时识别常见的九种运动模式(站立、水平行走、上楼梯、下楼梯、上坡、下坡、奔跑、跳跃、跌倒，见附图3)和四个步态相位(左腿摆动、双支撑(重心右
→
左)、右腿摆动、双支撑(重心左
→
右)，见附图4)。
[0115]
如图5，实验结果表明,本技术提供的一种多任务门控模糊神经网络算法对运动模式和步态相位的识别均达到了国际先进水平。
[0116]
本技术还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述任一所述多任务门控模糊神经网络算法。
[0117]
本技术提供的一种多任务门控模糊神经网络算法及存储介质，能够融合多模态传感器信息，并直接识别人体下肢运动意图，相比于其它先融合、再识别的方法，更为简单高效；首次提出多任务门控模糊神经网络，能够同时识别人体下肢运动模式和步态相位两种下肢运动意图；该模糊神经网络可以通过模糊规则自动提取模糊特征，无需预先对传感器
数据进行特征提取和特征选择，可用于数据级多模态传感器融合；相对于深度神经网络，本技术提供的一种多任务门控模糊神经网络算法的网络参数少，训练和计算效率高；可应用于其它模式识别问题，是一种通用性较强的机器学习算法。
[0118]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
[0119]
总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种多任务门控模糊神经网络算法，其特征在于，所述算法包括步骤：构建主网络和门控网络；获取传感器数据；获取模糊规则；计算主网络隶属度和门控网络隶属度；计算主网络触发强度和门控网络触发强度；计算主网络归一化触发强度和门控网络归一化触发强度；根据所述模糊规则和所述主网络归一化触发强度计算规则输出；根据所述门控网络归一化触发强度计算门控网络输出；根据所述门控网络输出和所述规则输出计算门控加权输出；根据所述门控加权输出计算任务分类结果输出；获取目标函数；使用所述目标函数对所述任务分类结果输出进行优化。2.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述主网络隶属度的表达式为：其中，μ
r,d
(x
d
)表示主网络隶属度，x
d
表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，c
r,d
和σ
r,d
为模糊神经网络的前件参数。3.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述主网络触发强度的表达式为：其中，f
r
(x)表示主网络中第r条模糊规则的触发强度，μ
r,d
(x
d
)表示主网络隶属度函数，x
d
表示第d维传感器数据，c
r,d
表示高斯隶属度函数的中心值，σ
r,d
表示高斯隶属度函数的标准差，d表示传感器数据的总维度。4.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述主网络归一化触发强度的表达式为：其中，表示主网络第r条模糊规则的归一化触发强度，f
r
(x)表示主网络第r条模糊规则的触发强度，f
i
(x)表示第i条模糊规则的触发强度，r表示模糊规则的数量。5.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述规则输出的表达式为：
其中，p
r
(x)表示模糊规则输出，表示主网络归一化触发强度，y(x)表示模糊规则的后件输出，a
r,o
表示偏差，a
r,d
表示权重，x
d
表示d维传感器数据，d表示传感器数据的维度。6.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述门控网络输出的表达式为：其中，表示门控网络输出的权值，表示门控网络归一化触发强度。7.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述门控加权输出的表达式为：其中，表示主网络的门控加权输出，表示门控网络输出的权值，p
r
(x)表示模糊规则输出。8.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述任务分类结果输出的表达式为：其中，y
k
表示任务最终分类结果输出，表示主网络的门控加权输出，r表示模糊规则的数量。9.根据权利要求1所述的多任务门控模糊神经网络算法，其特征在于，所述目标函数的表达式为：o＝c1l1+c2l2+
…
+c
k
l
k
，其中，o表示目标函数，c1,c2,
…
c
k
分别表示k个任务的权值，l1,l2,
…
l
k
分别表示k个任务的交叉熵损失函数。10.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述任一权利要求1-9所述多任务门控模糊神经网络算法。

技术总结
一种多任务门控模糊神经网络算法及存储介质，所述算法包括步骤：构建主网络和门控网络；获取传感器数据；获取模糊规则；计算主网络隶属度和门控网络隶属度；计算主网络触发强度和门控网络触发强度；计算主网络归一化触发强度和门控网络归一化触发强度；根据所述模糊规则和所述主网络归一化触发强度计算规则输出；根据所述门控网络归一化触发强度计算门控网络输出；根据所述门控网络输出和所述规则输出计算门控加权输出；根据所述门控加权输出计算任务分类结果输出；获取目标函数；使用所述目标函数对所述任务分类结果输出进行优化。本申请能够融合多模态传感器信息，并直接同时识别多种人体下肢运动意图，相比于其它方法更为简单高效。单高效。单高效。


技术研发人员：黄剑 王恩凯 李雨戈 傅中正 何欣润 陈诚
受保护的技术使用者：华中科技大学
技术研发日：2021.12.10
技术公布日：2022/3/8