基于双分支自注意力机制网络的上臂肌力估计方法

本发明涉及人体生物信号处理和肌力估计，尤其是一种基于双分支自注意力机制网络的上臂肌力估计方法。

背景技术：

1、肌力估计能反映人体的运动意图、肌肉疲劳程度以及肌肉的健康状态，对于生物力学、人机交互、运动和康复医学具有重要的研究基础。从数据获取方法上可以分为基于运动学/动力学和基于生物信息，近年来由于深度学习技术快速发展以及其硬件成本优势，基于生物信息的方法成为研究热点。

2、基于传统生物信息的肌力估计方法使用肌电信号、肌音信号等人体生物信号，早期试图从中提取人为设计的手工特征进行进一步分类识别；近年来，基于深度学习的方法识别效果较早期基于手工特征方法大幅提升，深度神经网络以卷积神经网络为代表能够有效提取数据中时空特征。然而，这些信号只能检测浅层肌肉信息，肌肉间的串扰等都会对估计结果产生负面影响。

3、电阻抗成像作为一种新型生物信息传感器，根据本身包含二维图像信息的特点，记录肌肉截面信息的变化。目前基于电阻抗成像的研究以及已经覆盖临床医学、人机交互、传感器等众多领域，在人机交互领域，电阻抗成像所具有的对阻抗变化的敏感性能够有效检测骨骼肌收缩时人体肌肉组织的变化，利于识别。因此，有必要基于电阻抗成像信号的特点设计一种新颖的上臂肌力估计方法。

技术实现思路

1、为解决传统估计方法只能检测浅层肌肉信息，忽略肌肉收缩时的深层肌肉信息，忽略电阻抗成像本身所具有的频域信号特征的问题，本发明的目的在于提供一种轻量级、估计精度高、无损伤的基于双分支自注意力机制网络的上臂肌力估计方法。

2、为实现上述目的，本发明采用了以下技术方案：一种基于双分支自注意力机制网络的上臂肌力估计方法，包括：

3、(1)在一个测量周期内，通过电阻抗成像传感器测量人体上臂肌肉收缩时产生的原始电阻抗成像电压信号，并进行归一化，得到归一化后的原始电阻抗成像电压序列其中，m1为一个测量周期内所记录归一化后的原始电阻抗成像电压序列的总数，i为当前时刻归一化后的原始电阻抗成像电压序列的索引下标，i为整数且1≤i≤m1；同时通过六维力传感器采集人体上臂肌肉收缩时产生的三个方向上的力fx、fy、fz和三个方向上的力矩mz、my、mz，fx、fy、fz和mz、my、mz共同组成真实力序列，对真实力序列进行归一化，得到归一化后的真实力序列其中，m2为一个测量周期内所记录真实力的总数，j为当前时刻真实力的索引下标，j为整数且1≤j≤m2；

4、(2)对归一化后的原始电阻抗成像电压序列分别进行一步高斯-牛顿图像重建、傅里叶变换，得到二维电阻抗图像电压序列频域表征其中，m3为一个测量周期内所记录二维电阻抗图像的总数，v为当前时刻二维电阻抗图像的索引下标，v为整数且1≤v≤m3；m4为一个测量周期内所记录电压序列频域表征的总数，u为当前时刻电压序列频域表征的索引下标，u为整数且1≤u≤m4；

5、(3)电压序列频域表征二维电阻抗图像和归一化后的真实力序列组成数据集，对数据集进行分批次划分，得到大小为batchsize×1×64×64的电阻抗图像张量vimg、大小为batchsize×1×28的电压频域张量vfft和大小为batchsize×1×6的真实力张量vf，batchsize表示每批次包含的数据量大小；

6、(4)构建双分支自注意力机制网络，所述双分支自注意力机制网络由第一分支网络、第二分支网络和时频域特征融合模块组成；将电阻抗图像张量vimg、电压频域张量vfft输入双分支自注意力机制网络，双分支自注意力机制网络输出肌力估计结果；

7、(5)将得到的肌力估计结果和六维力传感器采集到的真实力序列进行对比，采用均方误差来反映两者的差异程度。

8、所述步骤(1)具体包括以下步骤：

9、(1a)重复多次电阻抗成像传感器的测量，将每次测量从开始到结束设为一个测量周期；在每轮测量周期中，沿各相邻电极上的电压依次注入激励电流，并得到各相邻电极上的响应电压vl，n为电极数且n＝8，即8个电极在相邻激励测量模式下得到当前时刻的28个响应电压值设为一帧；连续测量后得到一个测量周期内的原始电压序列vol(iraw)＝{v1,v2,...,v28}是当前帧的响应电压值；对每一帧采集到的原始电压序列进行最大最小归一化处理，将所有电压线性收缩至[0,1]：

10、

11、其中，vol为当前时刻的响应电压值，volmax为当前测量周期内的最大响应电压值，volmin为当前测量周期内的最小响应电压值；得到归一化后的原始电阻抗成像电压序列设置每次测量的第一帧测得的电压序列volnorm(1)为初始值；

12、(1b)在每轮六维力传感器的测量周期中，当前时刻采集到的真实力序列记为force(j)＝{fx(j),fy(j),fz(j),mx(j),my(j),mz(j)}，对采集到的真实力大小进行最大最小归一化处理，得到归一化后的真实力序列

13、所述步骤(2)具体包括以下步骤：

14、(2a)使用一步高斯-牛顿重建算法重建二维电阻抗图像：

15、σ＝σ0-[[j(σ0)]tj(σ0)+αdiag(jtj)]-1[j(σ0)]t[v(σ0)-u]

16、其中，σ是电导率分布矢量，σ0是初始电导率分布，α是正则化因子，jtj是正则化矩阵，v(σ0)为电导率分布为σ0下的边界电压计算值，j(σ0)为雅可比矩阵，u为边界电压测量值；

17、重建后得到二维电阻抗图像，记为其中，img(v)是当前帧的二维电阻抗图像，用于反映当前时刻人体上臂肌肉横截面的电导率分布信息；

18、(2b)对归一化后的原始电阻抗成像电压序列中包含的频域信息进行解耦，得到电压序列频域表征

19、

20、其中，m1＝m3＝m4＝m，m为一个测量周期内的样本总数；fft(u)是当前帧原始电压序列的频域信号的幅值谱，用于反映当前时刻人体上臂肌肉横截面的频域信息。

21、在步骤(4)中，所述第一分支网络包括图像序列化模块和第一多头自注意力机制模块，所述第二分支网络包括第一全连接层和第二多头自注意力机制模块；

22、所述时频域特征融合模块包括第一全局平均池化层、第二全局平均池化层、第一relu激活层、第二relu激活层、第一sigmoid激活层、第二sigmoid激活层，以及第二、三、四、五、六、七、八、九全连接层；

23、首先将电阻抗图像张量vimg送入第一分支网络进行处理：图像序列化模块将vimg分为patchsize×patchsize个区域小图像，其中patchsize＝16，表示图像被均分为16行16列；对分割后的图像先进行线性变换，再为每一部分线性变换后的图像增加位置编码；最终，将增加位置编码后的各部分图像数据前后拼接，将拼接得到的整个数据作为一个序列送入第一多头自注意力机制模块中运算；第一多头自注意力机制模块采用缩放点积注意力机制，公式如下：

24、

25、其中，q、k和v分别表示查询、键和值，attention表示输出张量，表示矩阵q的维度数；

26、将通过可训练的权重矩阵相乘进行线性变换，得到三个初始的向量表示，公式如下：

27、q＝wqvimg

28、k＝wkvimg

29、v＝wvvimg

30、其中，wq、wk和wv均表示可训练的权重矩阵；

31、将得到的q、k和v代入公式(1)进行运算，计算得到输出张量attention；对vimg独立学习多次，随后将多个输出拼接起来，送入第一多头自注意力机制模块的一个全连接层，得到尺寸为batchsize×patchsize×dim的特征张量,第一维batchsize表示每批次包含的数据量大小，第二维patchsize＝16，第三维dim＝1024，dim表示通过图像序列化之后每个图像向量的长度；在第二维上计算均值，最终得到尺寸为8×1024的时域特征张量ut；

32、将电压频域张量vfft送入第二分支网络进行处理：首先将大小为batchsize×1×28的vfft输入第一全连接层，将vfft在第三维上进行扩展，得到大小为batchsize×1×1024特征张量，随后送入第二多头自注意力机制模块，得到大小为8×1024频域特征张量uf；

33、将得到的时域特征张量ut和频域特征张量uf整形为8×1024×1送入时频域特征融合模块中：首先通过第一全局平均池化层、第二全局平均池化层进行全局平均池化操作，将时域特征张量ut和频域特征张量uf进行压缩，得到压缩后的时域特征张量和频域特征张量再将和分别送入第二全连接层、第四全连接层，再分别经第一relu激活层、第二relu激活层实现通道维度的降维，再分别送入第三全连接层、第五全连接层，经第一sigmoid激活层、第二sigmoid激活层将和向量中的每个元素压缩到0到1之间，得到每个通道的权重和接着，将权重与时域特征张量ut相乘后送入第六全连接层，得到时域通道注意力特征张量将权重与频域特征张量uf相乘后送入第七全连接层，得到频域通道注意力特征张量同时，将ut、uf分别送入第八全连接层、第九全连接层进行下采样，得到下采样后的时域特征张量和下采样后的频域特征张量随后，将频域通道注意力特征张量和下采样后的时域特征张量进行矩阵乘法后再和下采样后的时域特征张量相加，得到第一融合张量ufusion1；同时，对时域通道注意力特征张量和下采样后的频域特征张量进行矩阵乘法后再和下采样后的频域特征张量相加，得到第二融合张量ufusion2；将第一融合张量ufusion1、第二融合张量ufusion2相加得到尺寸为8×6的输出具体公式如下：

34、

35、式中，gap表示全局平均池化，w1、w2、w3、w4均表示全连接层，δ、σ分别表示relu激活函数和sigmoid激活函数，⊙为矩阵元素乘法。

36、由上述技术方案可知，本发明的有益效果为：第一，本发明通过对上臂肌肉的原始电阻抗信号作为研究对象，有效填补了肌电信号、肌音信号等其他生物信号缺失的深层肌肉信息；第二，本发明从原始电阻抗信号中提取原始电阻抗成像电压信号的频域信号和由一步牛顿-高斯方法重建的二维电阻抗图像，通过提取更多的全局信息从而计算出更复杂的特征，从而提高检测的准确性；第三，本发明设计一种时频域特征融合模块，对原始电阻抗成像电压信号的时域特征和频域特征进行融合，可以同时获得更多的时频域特征；第四，本发明相较于典型神经网络算法能够更加准确的实现无损伤上臂肌力大小估计，同时本发明具有轻量级、估计精度高、迁移性好等优势。

技术特征：

1.一种基于双分支自注意力机制网络的上臂肌力估计方法，其特征在于：该方法包括下列顺序的步骤：

2.根据权利要求1所述的基于双分支自注意力机制网络的上臂肌力估计方法，其特征在于：所述步骤(1)具体包括以下步骤：

3.根据权利要求1所述的基于双分支自注意力机制网络的上臂肌力估计方法，其特征在于：所述步骤(2)具体包括以下步骤：

4.根据权利要求1所述的基于双分支自注意力机制网络的上臂肌力估计方法，其特征在于：在步骤(4)中，所述第一分支网络包括图像序列化模块和第一多头自注意力机制模块，所述第二分支网络包括第一全连接层和第二多头自注意力机制模块；

技术总结
本发明涉及一种基于双分支自注意力机制网络的上臂肌力估计方法，包括：得到归一化后的原始电阻抗成像电压序列、归一化后的真实力序列；得到二维电阻抗图像、电压序列频域表征；得到电阻抗图像张量、电压频域张量和真实力张量；构建双分支自注意力机制网络，将电阻抗图像张量、电压频域张量输入双分支自注意力机制网络，输出肌力估计结果；将肌力估计结果和六维力传感器采集到的真实力序列进行对比。本发明有效填补了肌电信号、肌音信号等其他生物信号缺失的深层肌肉信息；通过提取更多的全局信息从而计算出更复杂的特征，从而提高检测的准确性；能够更加准确的实现无损伤上臂肌力大小估计，具有轻量级、估计精度高、迁移性好等优势。

技术研发人员：高理富,张筱笛,孙玉香,王大庆,曹会彬
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：
技术公布日：2024/12/5