一种基于目标检测和SSVEP的注意力训练系统及方法

一种基于目标检测和ssvep的注意力训练系统及方法
技术领域
1.本发明针对adhd(attention deficit hyperactivity disorder，注意缺陷多动障碍)以及学龄期的儿童和青少年设计了一种基于目标检测和ssvep的注意力训练系统及方法。系统包括相机、脑电帽、电脑、机械臂、注意力训练界面、目标检测单元和ssvep解码单元，将脑电生物信号和计算机软件训练方法结合帮助使用者进行注意力训练。


背景技术：

2.目前儿童注意力问题相当普遍，当注意力问题在临床上的表现达到显著时会被诊断为注意力缺陷多动障碍(attention deficit hyperactivity disorder，简称adhd)。数据显示，adhd在中国学龄儿童中的盛行率约为1.5％-10％，该疾病的典型症状有不专心、多动、冲动三种，而注意力问题也列为引起儿童学习障碍的首要因素。目前国内外治疗注意力缺陷的方法有很多，但是每种方法都有其局限性，探索不同方法的综合治疗成为了最近几年研究的趋势和热点。药物治疗是大部分医疗机构都会采取的一种方式，对于严重的注意力缺陷儿童，药物治疗是见效最快，但是大多数药物都有严重的副作用，而且一旦停药，症状会反复出现。而一般的计算机软件训练是将传统的注意力训练任务移植到计算机上，但很多软件只是简单的用计算机代替纸、笔操作，训练元素单一，且在任务设计上并无多少创新。而脑电生物反馈作为无刺激、无副作用、训练结果能够长期保持的训练方法得到专家、以及家长的认可。同时在学习过程中，学生接受到的主要是视觉和听觉方面的刺激，通过训练学生在视觉和听觉方面的注意力，能够更好地提高学习效果。
3.考虑到目前国内的训练方法，现有系统大部分集中在一对一人工训练上，尚未针对儿童注意力方面设计出系统化人工智能化的产品，而人工智能化的产品具有可重复性、反馈性、趣味性等特性，因此结合脑电生物信号设计一种基于目标检测和ssvep的注意力训练系统，其中ssvep(稳态视觉诱发电位)是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，通过系统给儿童下达语音指令，吸引儿童注视对应频率的闪烁块从而控制机械臂进行物品的抓取这样一种人工智能化的训练方式，有利于保持儿童继续进行训练的兴趣和在游戏中完成任务的积极性，儿童也可以通过完成相应的指令获得成就感。其中儿童训练时越专注，目光越集中，ssvep的效果越好，从而在不断执行这些语音指令的过程中达到训练视觉和听觉方面注意力的效果。


技术实现要素：

4.为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于目标检测和ssvep的注意力训练系统及方法，将脑电生物反馈训练和计算机软件训练结合起来帮助使用者进行注意力训练。其基本原理是注意力训练界面会根据ssd目标检测算法检测的结果生成与物品一一对应的闪烁块，使用者根据语音指令注视相应的闪烁块，脑电帽采集使用者此时的脑电信号，传输给电脑端的ssvep解码单元，通过预处理和fbcca
算法进行解码，解码出使用者所注视的闪烁块，将解码结果与指令信息进行对比后，向机械臂发送指令控制机械臂抓取物品。
5.为达到上述发明创造目的，本发明采用如下技术方案：
6.一种基于目标检测和ssvep的注意力训练系统及方法，包括：相机、脑电帽、电脑、机械臂、注意力训练界面、目标检测单元和ssvep解码单元，脑电帽通过无线的方式和电脑连接；电脑包含注意力训练界面、目标检测单元和ssvep解码单元，相机通过有线方式与电脑连接；
7.相机用于获取视频流，并传输至电脑端的注意力训练界面以及目标检测单元；
8.脑电帽用于采集使用者进行注意力训练时输出的ssvep脑电信号，并将脑电信号传输给电脑端；
9.电脑包含目标检测模块，通过ssd目标检测算法，对相机采集的视频流进行目标检测并将目标检测结果发送给注意力训练界面，注意力训练界面根据检测结果实时生成与物品一一对应的闪烁块，同时包含ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码，获取所述脑电信号的频率，根据所述脑电信号频率和指令对应的刺激信号的对比情况，输出解码结果，根据解码结果将控制指令发送给机械臂；
10.机械臂执行控制指令，依据规划的路径抓取相应物品。
11.优选地，所述ssd目标检测识别算法进行目标检测的过程包括离线训练和在线识别两个过程，其中，离线训练步骤包括：
12.a-1.构建目标检测训练集；
13.a-2.将训练集输入ssd目标检测网络进行训练；
14.a-3.生成ssd目标检测模型；
15.在线识别过程包括：
16.b-1.读取相机采集的视频流；
17.b-2.载入离线训练好的ssd目标检测模型；
18.b-3.将图片预处理后，传入网络结构，获得目标信息；
19.b-4.采用非极大值抑制去除重复率过高的目标框信息；
20.b-5.输出目标信息。
21.优选地，所述ssvep解码单元，通过预处理和自适应滤波器组典型相关分析fbcca算法，对所述脑电信号进行解码，具体步骤如下：
22.c-1.根据设置好的周期读取使用者的脑电数据；
23.c-2.通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；
24.c-3.将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；
25.c-4.计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
26.c-5.其中最大相关性对应频率即为识别结果。
27.一种基于目标检测和ssvep的注意力训练方法，采用本发明基于目标检测和ssvep的注意力训练系统进行操作，操作步骤如下：
28.(1)使用者佩戴好脑电帽，连接相机；
29.(2)打开注意力训练界面，点击打开摄像头按钮，注意力训练界面根据ssd目标检测算法进行检测；
30.(3)点击开始训练按钮；
31.(4)当注意力训练界面出现刺激闪烁时，使用者根据语音提示，注视相应的闪烁块，同时脑电帽采集脑电信号，传输给电脑端的ssvep解码单元；
32.(5)ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码；
33.(6)ssvep解码单元通过fbcca算法解码后，根据解码结果发送控制指令给机械臂；
34.(7)机械臂抓取相应物品。
35.优选地，在所述步骤(2)中，点击打开摄像头按钮后，注意力训练界面根据ssd目标检测算法进行检测的步骤如下：
36.(2-1)读取相机采集的视频流；
37.(2-2)载入离线训练好的ssd目标检测模型；
38.(2-3)将图片预处理后，传入网络结构，获得目标信息；
39.(2-4)采用非极大值抑制去除重复率过高的目标框信息；
40.(2-5)注意力训练界面会根据目标检测结果对视频流中每个目标四周实时绘制目标框，同时给目标绘制编号。
41.进一步优选地，在所述步骤(2-3)中，检测出的目标信息包括目标位置和目标名称，其中目标位置包括用于框选目标的目标框高度、宽度和目标框的中心坐标。
42.优选地，在所述步骤(3)中，点击开始训练按钮后，注意力训练界面中视频流区块上方会生成一透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。
43.优选地，在所述步骤(4)中，注意力训练界面绘制刺激闪烁的流程包括：
44.(4-1)相机获取视频流，并将视频流信息传送到目标识别模块和注意力训练界面；
45.(4-2)目标识别模块采用ssd算法，实时识别出视频流中的目标信息；
46.(4-3)注意力训练界面根据目标信息，在视频流中对每个目标四周实时绘制匹配的目标框，框选出n个目标，标上编号；
47.(4-4)在注意力训练界面中的视频流区块上方生成透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。使用者根据语音指令注视测试界面上相应目标的闪烁块，与此同时，其脑电信号会通过无线的方式，传输给电脑端的ssvep解码单元进行处理。
48.优选地，在所述步骤(5)中，所述ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码的具体步骤如下：
49.(5-1)根据设置好的周期读取使用者的脑电数据；
50.(5-2)通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；
51.(5-3)将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；
52.(5-4)计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
53.(5-5)其中最大相关性对应频率即为识别结果。ssvep解码单元对使用者的脑电信
号进行预处理即滤波，fbcca滤波器组典型相关分析，解码识别出使用者所注视的闪烁块。
54.优选地，在所述步骤(5)中，ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码步骤如下：
55.(5-1)通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；
56.(5-2)将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；
57.(5-3)计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
58.(5-4)其中最大相关性对应频率即为识别结果。
59.与现有技术相比，本发明具有如下显而易见的突出的实质性特点和显著的优点：
60.1.本发明系统采用目标检测和ssvep方法，在使用者的大脑和电脑或其它电子设备之间建立通道，实现大脑对外部设备的控制，使用者听取语音指令后注视相应的闪烁块，从而控制机械臂的抓取；
61.2.本发明系统的使用者注意力越集中，ssvep作用效果也就越好，可更快地完成指令，从而提高使用者在视觉和听觉方面的注意力，也为未来研究中，针对儿童注意力进行人工智能化系统的设计提供参考。
62.3.本发明方法简单易行，成本低，适合推广使用。
附图说明
63.图1是本发明优选实施例的系统结构框图。
64.图2是本发明优选实施例的整体实验流程图。
65.图3是本发明优选实施例的电脑端程序流程图。
66.图4是本发明优选实施例的注意力训练刺激界面绘制流程图。
67.图5是本发明优选实施例的注意力训练界面。
具体实施方式
68.以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
69.实施例一：
70.在本实施例中，参见图1，一种基于目标检测和ssvep的注意力训练系统，包括相机、脑电帽、电脑、机械臂、注意力训练界面、目标检测单元和ssvep解码单元，其特征在于：所述脑电帽通过无线的方式与电脑连接，电脑包含注意力训练界面、目标检测单元和ssvep解码单元，相机通过有线方式与电脑连接；
71.所述相机：用于获取视频流，并传输至电脑端的注意力训练界面以及目标检测单元；
72.所述脑电帽：用于采集使用者输出的ssvep脑电信号，并将所述脑电信号传输给所述电脑端；
73.所述电脑：用于显示注意力训练界面，使用所述目标检测单元，对相机采集的视频流通过ssd目标检测识别算法，进行目标检测并将检测信息发送给注意力训练界面，注意力
训练界面根据检测结果实时生成与物品一一对应的闪烁块，以及使用所述ssvep解码单元，通过预处理和自适应滤波器组典型相关分析fbcca算法，对所述脑电信号进行解码，获取所述脑电信号的频率，根据所述脑电信号频率和指令对应的刺激信号的对比情况，输出解码结果，并根据解码结果将控制指令发送给机械臂；
74.所述机械臂：执行控制指令，依据规划的路径抓取相应物品。
75.本实施例系统将脑电生物反馈训练和计算机软件训练结合起来，帮助使用者进行注意力训练。注意力训练界面会根据ssd目标检测算法检测的结果生成与物品一一对应的闪烁块，使用者根据语音指令注视相应的闪烁块，脑电帽采集使用者此时的脑电信号，传输给电脑端的ssvep解码单元，通过预处理和fbcca算法进行解码，解码出使用者所注视的闪烁块，将解码结果与指令信息进行对比后，向机械臂发送指令控制机械臂抓取物品。从而在不断执行这些语音指令的过程中达到训练视觉和听觉方面注意力的效果。
76.实施例二：
77.本实施例与实施例一基本相同，特别之处在于：
78.在本实施例中，参见图1-图2，所述ssd目标检测识别算法进行目标检测的过程包括离线训练和在线识别两个过程，其中，离线训练步骤包括：
79.a-1.构建目标检测训练集；
80.a-2.将训练集输入ssd目标检测网络进行训练；
81.a-3.生成ssd目标检测模型；
82.在线识别过程包括：
83.b-1.读取相机采集的视频流；
84.b-2.载入离线训练好的ssd目标检测模型；
85.b-3.将图片预处理后，传入网络结构，获得目标信息；
86.b-4.采用非极大值抑制去除重复率过高的目标框信息；
87.b-5.输出目标信息。
88.在本实施例中，所述ssvep解码单元，通过预处理和自适应滤波器组典型相关分析fbcca算法，对所述脑电信号进行解码，具体步骤如下：
89.c-1.根据设置好的周期读取使用者的脑电数据；
90.c-2.通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；
91.c-3.将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；
92.c-4.计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
93.c-5.其中最大相关性对应频率即为识别结果。
94.本实施例系统采用目标检测和ssvep方法，在使用者的大脑和电脑或其它电子设备之间建立通道，实现大脑对外部设备的控制，使用者听取语音指令后注视相应的闪烁块，从而控制机械臂的抓取；本实施例系统的使用者注意力越集中，ssvep作用效果也就越好，可更快地完成指令，从而提高使用者在视觉和听觉方面的注意力。
95.实施例三：
96.本实施例与上述实施例基本相同，特别之处在于：
97.在本实施例中，一种基于目标检测和ssvep的注意力训练方法，采用上述实施例基于目标检测和ssvep的注意力训练系统进行操作，操作步骤如下：
98.(1)使用者佩戴好脑电帽，连接相机；
99.(2)打开注意力训练界面，点击打开摄像头按钮，注意力训练界面根据ssd目标检测算法进行检测；
100.(3)点击开始训练按钮；
101.(4)当注意力训练界面出现刺激闪烁时，使用者根据语音提示，注视相应的闪烁块，注意力训练界面绘制刺激闪烁，同时脑电帽采集脑电信号，传输给电脑端的ssvep解码单元；
102.(5)ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码；
103.(6)ssvep解码单元对脑电信号进行解码后，根据解码结果发送控制指令给机械臂；
104.(7)机械臂抓取相应物品。
105.本实施例注意力训练界面会根据ssd目标检测算法检测的结果生成与物品一一对应的闪烁块，使用者根据语音指令注视相应的闪烁块，脑电帽采集使用者此时的脑电信号，传输给电脑端的ssvep解码单元，通过预处理和fbcca算法进行解码，解码出使用者所注视的闪烁块，将解码结果与指令信息进行对比后，向机械臂发送指令控制机械臂抓取物品。
106.实施例四：
107.本实施例与上述实施例基本相同，特别之处在于：
108.在本实施例中，在所述步骤(2)中，点击打开摄像头按钮后，注意力训练界面根据ssd目标检测算法进行检测的步骤如下：
109.(2-1)读取相机采集的视频流；
110.(2-2)载入离线训练好的ssd目标检测模型；
111.(2-3)将图片预处理后，传入网络结构，获得目标信息；
112.(2-4)采用非极大值抑制去除重复率过高的目标框信息；
113.(2-5)注意力训练界面会根据目标检测结果对视频流中每个目标四周实时绘制目标框，同时给目标绘制编号。
114.在本实施例中，在所述步骤(2-3)中，检测出的目标信息包括目标位置和目标名称，其中目标位置包括用于框选目标的目标框高度、宽度和目标框的中心坐标。
115.在本实施例中，在所述步骤(3)中，点击开始训练按钮后，注意力训练界面中视频流区块上方会生成一透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。
116.在本实施例中，在所述步骤(4)中，注意力训练界面绘制刺激闪烁的流程包括：
117.(4-1)相机获取视频流，并将视频流信息传送到目标识别模块和注意力训练界面；
118.(4-2)目标识别模块采用ssd算法，实时识别出视频流中的目标信息；
119.(4-3)注意力训练界面根据目标信息，在视频流中对每个目标四周实时绘制匹配的目标框，框选出n个目标，标上编号；
120.(4-4)在注意力训练界面中的视频流区块上方生成透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标
的闪烁块闪烁频率不同。
121.在本实施例中，在所述步骤(5)中，ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码步骤如下：
122.(5-1)通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；
123.(5-2)将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；
124.(5-3)计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
125.(5-4)其中最大相关性对应频率即为识别结果。
126.本实施例注意力训练界面根据检测结果实时生成与物品一一对应的闪烁块，同时包含ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码，获取所述脑电信号的频率，根据所述脑电信号频率和指令对应的刺激信号的对比情况，输出解码结果，根据解码结果将控制指令发送给机械臂。本实施例系统的使用者注意力越集中，ssvep作用效果也就越好，可更快地完成指令，从而提高使用者在视觉和听觉方面的注意力。
127.实施例五：
128.本实施例与上述实施例基本相同，特别之处在于：
129.在本实施例中，如图1所示，一种基于目标检测和ssvep的注意力训练系统及方法，包括：相机、脑电帽、电脑、机械臂、注意力训练界面、目标检测单元和ssvep解码单元。采用蓝色传感8导联干电极脑电帽，使用者头皮无需打脑电膏，即可进行脑电信号采集。干电极帽将采集的微伏级脑电信号进行放大，并且通过a/d模数转换，将脑电模拟信号转换成数字信号，所用采样率为1000hz，脑电帽和电脑通过路由器实现设备间的无线连接；所述电脑包含注意力训练界面、目标检测单元和ssvep解码单元；所述注意力训练界面用于生成ssvep刺激界面；所述目标检测单元采用ssd目标检测模块对相机采集到的视频流进行目标检测，所述ssvep解码单元对使用者的脑电信号进行滤波并采用自适应的fbcca算法用于解码出使用者所注视的闪烁块，根据解码结果向机械臂发送控制指令，控制机械臂抓取相应的物品。
130.在本实施例中，如图2所示，一种基于目标检测和ssvep的注意力训练系统及方法的实验流程：1)首先由使用者佩戴好脑电帽连接好相机，2)其次打开电脑端的注意力训练界面，依次点击界面上的打开相机和开始测试，当注意力训练界面出现刺激闪烁时，3)使用者根据语音提示，注视相应的闪烁块，4)脑电帽采集使用者此时的脑电信号，5)传输给电脑端的ssvep解码单元通过自适应的fbcca算法进行解码，6)发送控制信号给机械臂，7)根据解码结果控制机械臂抓取相应的物品。
131.在本实施例中，如图3所示，一种基于目标检测和ssvep的注意力训练系统及方法的电脑端程序流程，电脑端程序分为ssvep解码单元和注意力训练界面两个部分，ssvep解码单元作为处理器，注意力训练界面作为刺激器。
132.脑电信号通过脑电帽采集后发送至电脑端的ssvep解码单元，程序流程如下：
133.1)初始化各脑电参数；
134.2)初始化机械臂通讯接口，与机械臂建立通讯；
135.3)与刺激器之间建立tcp/ip通讯；
136.4)接收脑电帽脑电信号，进行滤波、自适应的fbcca滤波器组典型相关分析，解码出使用者所注视的闪烁块；
137.5)发送控制指令至机械臂；
138.6)机械臂抓取物品。
139.在本实施例中，刺激器由注意力训练界面根据ssd目标检测算法的检测结果生成闪烁块而形成的，程序流程如下：
140.刺激器程序流程：
141.1)连接处理器程序的tcp/ip；
142.2)接收目标检测模块检测的目标信息；
143.3)根据目标位置信息实时绘制与目标匹配的目标框和添加相应目标的闪烁块，即生成注意力训练的刺激界面；
144.4)刺激界面闪烁块以不同的频率闪烁从而产生刺激信号；
145.5)接收处理器处理所得数据。
146.在本实施例中，处理器和刺激器二者协调配合，即注意力训练界面产生刺激器，使用者通过注意力训练界面的刺激范式，产生对应的脑电信号，脑电信号通过脑电帽采集传输至处理器，处理器中ssvep解码单元解码分析脑电信号，将分析结果转化为控制指令，控制机械臂抓取。
147.在本实施例中，如图4所示，一种基于目标检测和ssvep的注意力训练系统及方法的注意力训练刺激界面绘制流程，首先由目标检测单元通过ssd算法对相机获取的视频流进行实时检测获取目标信息，测试界面接收目标信息后，在视频流中对每个目标实时绘制匹配的目标框，同时在目标框内给目标绘制标号，而注意力训练界面中视频流区块上方会生成透明界面，将目标框左上角的位置作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。根据ssvep稳态视觉诱发原理，使用者注视不同闪烁块，即注视不同频率信号，大脑即产生不同的脑电信号，通过解码该脑电信号，即可知道使用者注视的闪烁块。
148.在本实施例中，如图5所示，一种基于目标检测和ssvep的注意力训练系统及方法的注意力训练界面，包含打开相机和开始检测按钮以及视频流区块，界面根据目标检测的结果在视频流区块处绘制目标框并且添加闪烁块，不同闪烁块的闪烁频率不同。
149.在本实施例中，目标检测采用ssd(single shot multibox detector，单步多框检测)算法，与其他目标检测算法相比，ssd去掉了yolo算法中的全连接层，采用全卷积代替并且采用了不同尺度和长宽比的先验框，相比faster r-cnn算法先通过cnn得到候选框，然后再进行分类与回归的方式，ssd可以一步到位完成检测，从而使得ssd算法在保留精度的同时提高了检测速度。算法结构如下：
150.1)采用vgg16模型进行特征提取，特征提取时的不同卷积层的feature map的输出将同时送到下一环节进行检测；
151.2)采用一系列的小卷积模块来预测物体的类别与坐标；
152.3)进行损失计算，目标损失函数是位置损失和置信损失的加权和，目标函数表示为通过损失最小化来减小预测误差；公式中，x
表示训练样本，c表示类别置信度预测值，l表示先验框的所对应边界框的位置预测值，g表示ground truth的位置参数，n表示先验框的正样本数量，α表示权重系数，l
conf
(x,c)表示置信度误差，l
loc
(x,l,g)表示位置误差；
153.4)通过nms(non maximum suppression，非极大值抑制)筛选出置信度最高、存在目标的区域。
154.脑电解码采用自适应的fbcca(filter bank canonical correlation analysis，滤波器组典型相关分析)算法，此方法在传统的fbcca算法的基础上结合了贝叶斯估计得到用于预测的最优数据长度，使得传统fbcca算法不再固定解码时间，解决了因个人差异造成的数据冗余问题，提高了算法工作效率。算法解码步骤：
155.1)构造n个带通滤波器进行滤波；
156.2)按周期读取eeg数据，将数据分别通入n个不同的带通滤波器，得到经过带通滤波器后的n组数据；
157.3)利用cca算法将每组数据与标准正余弦构成的参考信号进行相关分析，从而获得n个相关系数；
158.4)根据公式w(n)＝n-b
+d，n∈[1,n]求解谐波权重，并将结果代入公式+d，n∈[1,n]求解谐波权重，并将结果代入公式求解ρk作为待求频率fk与eeg信号x的最大相关系数再进行标准化，然后根据贝叶斯估计正确预测的后验概率；公式中，b、d为常数，w(n)表示对应子带权重，n表示子带数，ρk表示刺激频率与第k个目标频率的相关系数，表示对应权重n子带系数；
[0159]
5)如果后验概率达到阈值，则输出ssvep预测频率，若未达到阈值则将继续读取数据，直到数据段的长度达到预先设定的最大值时，将强制输出ssvep预测频率。
[0160]
综上所述，一种基于目标检测与ssvep的注意力训练系统及方法，包括：相机、脑电帽、电脑、机械臂。相机：用于采集发送给目标检测模块进行目标检测的视频流；脑电帽：用于采集使用者进行注意力训练时输出的ssvep脑电信号，并将脑电信号传输给电脑端；电脑：包含注意力训练界面、目标检测单元和ssvep解码单元，目标检测单元通过ssd目标检测算法对相机采集的视频流进行目标检测并将目标检测结果发送给注意力训练界面，注意力训练界面根据检测结果绘制目标框并实时生成对应物品的闪烁块，ssvep解码单元通过预处理和fbcca算法对脑电信号进行解码，解码出使用者所注视的闪烁块，将解码结果转换成控制指令发送给机械臂，机械臂根据接收到的控制指令，依据规划路径抓取相应物品。上述实施例通过自然的人机交互，可保持儿童进行注意力训练的积极性，有效提高儿童的注意力水平，同时也为今后的注意力训练方法和手段提供了一定的实用价值和借鉴意义，并展示了脑机接口技术在儿童发展等领域的美好应用前景。
[0161]
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

技术特征：
1.一种基于目标检测和ssvep的注意力训练系统，包括相机、脑电帽、电脑、机械臂、注意力训练界面、目标检测单元和ssvep解码单元，其特征在于：所述脑电帽通过无线的方式与电脑连接，电脑包含注意力训练界面、目标检测单元和ssvep解码单元，相机通过有线方式与电脑连接；所述相机：用于获取视频流，并传输至电脑端的注意力训练界面以及目标检测单元；所述脑电帽：用于采集使用者输出的ssvep脑电信号，并将所述脑电信号传输给所述电脑端；所述电脑：用于显示注意力训练界面，使用所述目标检测单元，对相机采集的视频流通过ssd目标检测识别算法，进行目标检测并将检测信息发送给注意力训练界面，注意力训练界面根据检测结果实时生成与物品一一对应的闪烁块，以及使用所述ssvep解码单元，通过预处理和自适应滤波器组典型相关分析fbcca算法，对所述脑电信号进行解码，获取所述脑电信号的频率，根据所述脑电信号频率和指令对应的刺激信号的对比情况，输出解码结果，并根据解码结果将控制指令发送给机械臂；所述机械臂：执行控制指令，依据规划的路径抓取相应物品。2.根据权利要求1所述基于目标检测和ssvep的注意力训练系统，其特征在于：所述ssd目标检测识别算法进行目标检测的过程包括离线训练和在线识别两个过程，其中，离线训练步骤包括：a-1.构建目标检测训练集；a-2.将训练集输入ssd目标检测网络进行训练；a-3.生成ssd目标检测模型；在线识别过程包括：b-1.读取相机采集的视频流；b-2.载入离线训练好的ssd目标检测模型；b-3.将图片预处理后，传入网络结构，获得目标信息；b-4.采用非极大值抑制去除重复率过高的目标框信息；b-5.输出目标信息。3.根据权利要求1所述基于目标检测和ssvep的注意力训练系统，其特征在于：所述ssvep解码单元，通过预处理和自适应滤波器组典型相关分析fbcca算法，对所述脑电信号进行解码，具体步骤如下：c-1.根据设置好的周期读取使用者的脑电数据；c-2.通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；c-3.将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；c-4.计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；c-5.其中最大相关性对应频率即为识别结果。4.一种基于目标检测和ssvep的注意力训练方法，采用权利要求1所述的基于目标检测和ssvep的注意力训练系统进行操作，其特征在于，操作步骤如下：(1)使用者佩戴好脑电帽，连接相机；(2)打开注意力训练界面，点击打开摄像头按钮，注意力训练界面根据ssd目标检测算
法进行检测；(3)点击开始训练按钮；(4)当注意力训练界面出现刺激闪烁时，使用者根据语音提示，注视相应的闪烁块，注意力训练界面绘制刺激闪烁，同时脑电帽采集脑电信号，传输给电脑端的ssvep解码单元；(5)ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码；(6)ssvep解码单元对脑电信号进行解码后，根据解码结果发送控制指令给机械臂；(7)机械臂抓取相应物品。5.根据权利要求4所述基于目标检测和ssvep的注意力训练方法，其特征在于：在所述步骤(2)中，点击打开摄像头按钮后，注意力训练界面根据ssd目标检测算法进行检测的步骤如下：(2-1)读取相机采集的视频流；(2-2)载入离线训练好的ssd目标检测模型；(2-3)将图片预处理后，传入网络结构，获得目标信息；(2-4)采用非极大值抑制去除重复率过高的目标框信息；(2-5)注意力训练界面会根据目标检测结果对视频流中每个目标四周实时绘制目标框，同时给目标绘制编号。6.根据权利要求5所述基于目标检测和ssvep的注意力训练系统及方法，其特征在于：在所述步骤(2-3)中，检测出的目标信息包括目标位置和目标名称，其中目标位置包括用于框选目标的目标框高度、宽度和目标框的中心坐标。7.根据权利要求4所述基于目标检测和ssvep的注意力训练方法，其特征在于：在所述步骤(3)中，点击开始训练按钮后，注意力训练界面中视频流区块上方会生成一透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。8.根据权利要求4所述基于目标检测和ssvep的注意力训练方法，其特征在于：在所述步骤(4)中，注意力训练界面绘制刺激闪烁的流程包括：(4-1)相机获取视频流，并将视频流信息传送到目标识别模块和注意力训练界面；(4-2)目标识别模块采用ssd算法，实时识别出视频流中的目标信息；(4-3)注意力训练界面根据目标信息，在视频流中对每个目标四周实时绘制匹配的目标框，框选出n个目标，标上编号；(4-4)在注意力训练界面中的视频流区块上方生成透明界面，取目标框左上角的位置信息作为闪烁块左下角的位置，透明界面根据检测结果实时添加n个闪烁块，不同目标的闪烁块闪烁频率不同。9.根据权利要求4所述基于目标检测和ssvep的注意力训练系统及方法，其特征在于：在所述步骤(5)中，ssvep解码单元通过预处理和自适应fbcca算法对脑电信号进行解码步骤如下：(5-1)通过滤波器的多个不同通带将ssvep脑电信号分解，得到通过滤波器各子带后的子带信号；(5-2)将滤波所得各子带成分与标准正余弦参考信号进行相关性分析；(5-3)计算对应时刻最大相关系数与次最大相关系数，获得利用贝叶斯估计的结果；
(5-4)其中最大相关性对应频率即为识别结果。

技术总结
本发明公开了一种基于目标检测与SSVEP的注意力训练系统及方法，包括相机、脑电帽、电脑、机械臂。相机用于采集发送给目标检测模块进行目标检测的视频流；脑电帽用于采集和传输SSVEP脑电信号；电脑包含注意力训练界面、目标检测单元和SSVEP解码单元，注意力训练界面绘制目标框并实时生成对应物品的闪烁块，SSVEP解码单元通过预处理和FBCCA算法对脑电信号进行解码出使用者所注视的闪烁块，将解码结果转换成控制指令发送给机械臂，机械臂根据指令抓取相应物品。本发明通过自然的人机交互，可进行注意力训练，有效提高选择性注意力和持续性注意力水平，同时也为注意力训练方法和手段提供了借鉴，并展示了脑机接口技术在儿童发展等领域的美好应用前景。领域的美好应用前景。领域的美好应用前景。


技术研发人员：杨帮华 黄逸灵 王照坤 汪小帆 夏新星 高守玮
受保护的技术使用者：上海大学
技术研发日：2021.08.26
技术公布日：2022/3/8