一种耳部穴位检测方法、装置及电子设备与流程

1.本发明涉及特征点检测技术领域，更具体的说，涉及一种耳部穴位检测方法、装置及电子设备。


背景技术：

2.耳部穴位的自动检测是实现自动穴位按摩的前提和突破口。现有耳部穴位检测方法，一般是通过小型摄像设备采集人耳图像然后利用计算机自动标定穴位，但在实际应用中由于耳朵的不同尺寸、形状、遮挡、光照等对人耳关键点检测具有较大的挑战性，其耳部穴位定位不够准确，迫切需要加以改进。


技术实现要素：

3.为解决上述技术问题，本发明提供一种耳部穴位检测方法，能够避免由于由于耳朵的不同尺寸、形状、遮挡和光照等因素造成耳部穴位定位不准确的问题，提高耳部穴位定位检测的准确性。
4.本发明提供一种耳部穴位检测方法，该方法包括：
5.步骤1：预测耳部内部最小包围盒和耳部外轮廓最小包围盒；
6.步骤2：对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合；
7.步骤3：基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。
8.优选地，所述步骤1：预测耳部内部最小包围盒和耳部外轮廓最小包围盒，包括：利用第一层级神经网络分别预测耳部内部最小包围盒和耳部外轮廓最小包围盒，其中，所述耳部内部最小包围盒包括51个特征点，所述耳部外轮廓最小包围盒包括17个特征点。
9.优选地，所述步骤2：对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合，包括：
10.步骤2.1：利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位；
11.步骤2.2：利用第三层级神经网络对粗定位后的所有特征点进行精定位，形成耳部内部特征点集合；
12.所述步骤2：对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合，包括：
13.利用第二层级神经网络对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。
14.优选地，所述步骤2.2：利用第三层级神经网络对粗定位后的所有特征点进行精定位，形成耳部内部特征点集合，包括：把包括粗定位后的所有特征点的区域裁剪为若干个子
区域，对所述若干个子区域分别进行定位，以形成耳部内部特征点集合。
15.优选地，所述步骤3：基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置，包括：
16.步骤3.1：基于耳部穴位分别与所述耳部内部特征点集合和耳部外轮廓特征点集合之间的相对位置关系，确定耳部穴位标记规则；
17.步骤3.2：基于所述耳部穴位标记规则，确定耳部穴位位置。
18.与现有技术相比，本发明提供的一种耳部穴位检测方法具有如下有益效果：首先预测耳部内部最小包围盒和耳部外轮廓最小包围盒，然后对耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；对耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。再根据定位好的耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。本发明通过对耳部内部特征点进行精定位，对耳部外轮廓特征点进行粗定位，以定位出耳部所有穴位位置，并进行耳部穴位检测。不会由于耳朵的不同尺寸、形状、遮挡、光照等因素对耳部关键点检测造成影响，提高耳部穴位检测的准确性。
19.本发明还提供一种耳部穴位检测装置，该装置包括：
20.最小包围盒模块，用于预测耳部内部最小包围盒和耳部外轮廓最小包围盒；
21.特征点集合模块，用于对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；并对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合；
22.穴位定位模块，用于基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。
23.优选地，所述特征点集合模块包括：
24.内部特征点单元，用于利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位，利用第三层级神经网络对粗定位后的所有特征点进行精定位，以形成耳部内部特征点集合；
25.外轮廓特征点单元，用于对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。
26.优选地，所述内部特征点单元包括精定位组件，用于把包括粗定位后的所有特征点的区域裁剪为若干个子区域，对所述若干个子区域分别进行定位，以形成耳部内部特征点集合。
27.与现有技术相比，本发明提供的一种耳部穴位检测装置的有益效果与上述技术方案所述一种耳部穴位检测方法的有益效果相同，在此不做赘述。
28.本发明还提供一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任一项所述的一种耳部穴位检测方法中的步骤。
29.与现有技术相比，本发明提供的电子设备的有益效果与上述技术方案所述一种耳部穴位检测方法的有益效果相同，在此不做赘述。
30.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程
序被处理器执行时实现上述任一项所述的一种耳部穴位检测方法中的步骤。
31.与现有技术相比，本发明提供的一种计算机可读存储介质的有益效果与上述技术方案所述一种耳部穴位检测方法的有益效果相同，在此不做赘述。
32.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1示出了本发明实施例所提供的一种耳部穴位检测方法的流程图；
35.图2示出了本发明实施例所提供的一种耳部穴位检测方法的原理示意图；
36.图3示出了本发明实施例所提供的对耳部内部最小包围盒进行粗定位的示意图；
37.图4示出了本发明实施例所提供的对粗定位后的所有特征点进行精定位的示意图；
38.图5示出了本发明实施例所提供的一种耳部穴位检测装置的结构示意图；
39.图6示出了本发明实施例所提供的一种用于执行一种耳部穴位检测方法的电子设备的结构示意图。
具体实施方式
40.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
41.本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。
42.为解决现有技术中由于耳朵的不同尺寸、形状、遮挡和光照等因素对人耳关键点检测的影响，提高耳部穴位检测的准确性。本发明实施例提供一种耳部穴位检测方法、检测装置、电子设备及计算机可读存储介质。
43.图1示出了本发明实施例所提供的一种耳部穴位检测方法的流程图。图2 示出了发明实施例所提供的一种耳部穴位检测方法的原理示意图。
44.如图1和图2所示，所述耳部穴位检测方法包括：
45.步骤s1：预测耳部内部最小包围盒2和耳部外轮廓最小包围盒3。
46.具体地，首先把耳朵图片裁剪出来，而不是直接把一整张图片放到神经网络模型中。因为人耳外观图像1包含的范围太大了，会增加模型的预测难度，我们需要使得输入神经网络模型的图片范围越小越好。
47.因此，本发明实施例利用第一层级神经网络分别预测出耳部内部最小包围盒2和耳部外轮廓最小包围盒3。示例性的，将人耳外观图像1输入第一层级卷积神经网络，经过第一层级卷积神经网络预测，分别输出耳部内部最小包围盒2和耳部外轮廓最小包围盒3。需要说明的是，可以采用相同的第一层级卷积神经网络对人耳外观图像1进行预测，分别输出耳部内部最小包围盒2和耳部外轮廓最小包围盒3，也可以采用不同的卷积神经网络对人耳外观图像进行预测，分别输出耳部内部最小包围盒2和耳部外轮廓最小包围盒3。
48.如图2所示，本发明实施例并行的采用两个级联的卷积神经网络 (convolutional neural networks,缩写为cnn)进行关键点检测。将人耳外观图像1输入第一层级卷积神经网络，经过第一层级卷积神经网络预测，分别输出包括51个特征点的耳部内部最小包围盒2和包括17个特征点的耳部外轮廓最小包围盒3。进一步缩小了人耳图像范围。需要说明的是，耳部内部最小包围盒2和耳部外轮廓最小包围盒3都包含各自矩形左上角的坐标，右下角的坐标，即最小包围盒是一个4维的向量。预测出包含相应特征点的最小包围盒后，将耳部内部最小包围盒2和耳部外轮廓最小包围盒3裁剪出来。为后续的特征点定位做准备。
49.步骤s2：对耳部内部最小包围盒2包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；对耳部外轮廓最小包围盒3包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。
50.需要说明的是，所述步骤2：对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合，包括：
51.步骤2.1：利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位；
52.步骤2.2：利用第三层级神经网络对粗定位后的所有特征点进行精定位，形成耳部内部特征点集合；
53.具体地，如图2所示，利用第二层级神经网络对耳部内部最小包围盒2 包括的51个特征点进行粗定位。示例性的，将包括51个特征点的耳部内部最小包围盒2输入第二层级卷积神经网络进行粗定位，输出最小包围盒2包括的 51个特征点的初始位置图片4，这一层级的预测精度还不够高，只能作为51 个特征点的粗定位。
54.例如，如图3所示，黑色的点是正确的点，然而红色的点是采用本层级网络cnn模型，预测定位出来的特征点。可以看出红色的点和正确的黑色的点之间还是有很大的误差，这就是所谓的粗定位。粗定位只能大体的搜索到各个点的位置，精度还有待提高。第二层级神经网络，又称之为特征点的初始定位层，属于很粗糙的一个定位。
55.如图2所示，对耳部内部最小包围盒2包括的51个特征点进行粗定位，形成包括51个特征点的初始位置图片4后，利用第三层级神经网络对包括51 个特征点的初始位置图片4进行精定位，形成耳部内部特征点集合。示例性的，把包括粗定位后的51个特征点的区域裁剪为若干个子区域，对若干个子区域分别进行定位，以形成耳部内部特征点集合。例如，如图4所示，根据人耳内部的不同生理结构，将粗定位后的包括51个特征点的初始位置图片4分成4 个生理结构区域，对每个生理结构区域分别进行定位。具体地，由于将人耳内部分为4个生理结构区域，所以需要4个cnn模型进行精定位，每个cnn 模型预测各自生理结构区域的特征点，输出各自生理结构区域精定位后的特征点。由于利用cnn模型预测各自生理结构区域后，每个生理结构区域会发生不同程度的旋转，所以在利用cnn模型对各自生理结构
区域预测完成后，需要计算各生理结构区域的旋转角度，然后把各个生理结构区域都摆正了。如图 2所示，将精定位后的4个生理结构区域中的一个生理结构区域6旋转7度为生理结构区域7，当然，也可以旋转其它角度，比如8度等，旋转其它角度与旋转7度的方法相同，在此不在赘述。精定位完成后，并将摆正的精定位后的 4个生理结构区域组合成完整的耳朵内部图片，形成耳部内部特征点集合。
56.需要说明的是，所述步骤2：对耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合，包括：利用第二层级神经网络对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。
57.具体地，利用第二层级神经网络对耳部外轮廓最小包围盒3包括的17个特征点进行粗定位，形成耳部外轮廓特征点集合。示例性的，将包括17个特征点的耳部外轮廓最小包围盒3输入第二层级卷积神经网络进行粗定位，输出耳部外轮廓最小包围盒3包括的17个特征点的初始位置图片5，这里的包括 17个特征点的初始位置图片5即作为17个特征点的粗定位。粗定位出耳部外轮廓的17个特征点后，形成耳部外轮廓特征点集合。这里的粗定位与耳部内部最小包围盒2的粗定位相同，在此不在赘述。
58.针对耳部内部特征点，本发明实施例采用了三个层级的级联网络进行检测，第一层级神经网络主要是获得包括51个特征点的耳部内部最小包围盒。第二层级神经网络主要对包括51个特征点的耳部内部最小包围盒进行粗定位。第三层级神经网络主要对粗定位后的51个特征点的初始位置图片4进行精定位。
59.针对耳部外轮廓特征点，本发明实施例采用了两个层级的级联网络进行检测，第一层级神经网络与耳部内部特征点检测的作用一样，主要是获得包括 17个特征点的耳部外轮廓最小包围盒3。第二层级神经网络主要针对耳部外轮廓最小包围盒3进行粗定位，直接预测出17个特征点，没有从粗到精的定位过程，因为耳部外轮廓特征点的区域比较大。若再加上第三层神经网络进行精定位，会比较耗时间。
60.步骤s3：基于耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。
61.需要说明的是，所述步骤3：基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置，包括：
62.步骤3.1：基于耳部穴位分别与所述耳部内部特征点集合和耳部外轮廓特征点集合之间的相对位置关系，确定耳部穴位标记规则；
63.步骤3.2：基于所述耳部穴位标记规则，确定耳部穴位位置。
64.具体地，如图2所示，在精定位出耳部内部51个特征点，形成耳部内部特征点集合，粗定位出耳部外轮廓17个特征点后，形成耳部外轮廓特征点集合后。利用第四层级神经网络将耳部内部特征点集合和耳部外轮廓特征点集合进行叠加，形成68个特征点的耳部穴位8。最终耳朵68个特征点由两个级联的cnn模型输出进行叠加得到。
65.在得到68个特征点的耳部穴位8后，根据实际耳部穴位分别与耳部内部特征点集合和耳部外轮廓特征点集合之间的相对位置关系，确定耳部穴位标记规则，基于耳部穴位标记规则，确定耳部穴位位置。
66.具体地，分析和确定耳部实际穴位和耳部穴位8特征点之间的相对位置关系，确定以耳部穴位8特征点作为参考位置的穴位标记规则。基于特征点检测网络模型得到的特征点标记结果，进一步确定最终的穴位位置，从而实现基于特征点的耳朵穴位检测。
67.如图5所示，本发明实施例还提供一种耳部穴位检测装置，该装置包括：
68.最小包围盒模块1，用于预测耳部内部最小包围盒和耳部外轮廓最小包围盒，其中，所述耳部内部最小包围盒包括51个特征点，所述耳部外轮廓最小包围盒包括17个特征点。
69.特征点集合模块2，用于对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；并对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。
70.需要说明的是，所述特征点集合模块包括：内部特征点单元21，用于利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位，利用第三层级神经网络对粗定位后的所有特征点进行精定位，以形成耳部内部特征点集合；外轮廓特征点单元22，用于对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。所述内部特征点单元21包括精定位组件210，用于把包括粗定位后的所有特征点的区域裁剪为若干个子区域，对所述若干个子区域分别进行定位，以形成耳部内部特征点集合。
71.穴位定位模块3，用于基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。
72.需要说明的是，所述穴位定位模块3包括：穴位规则单元31，用于基于耳部穴位分别与耳部内部特征点集合和耳部外轮廓特征点集合之间的相对位置关系，确定耳部穴位标记规则；穴位位置单元32，用于基于耳部穴位标记规则，确定耳部穴位位置。
73.与现有技术相比，本发明实施例所提供的一种耳部穴位检测装置的有益效果与上述技术方案所述一种耳部穴位检测方法的有益效果相同，在此不做赘述。
74.此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种耳部穴位检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
75.具体的，参见图6所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150 和用户接口1160。
76.在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述一种耳部穴位检测方法实施例的各个过程。
77.收发器1130，用于在处理器1120的控制下接收和发送数据。
78.本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
79.总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(accelerategraphical port，agp)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构 (industry standard architecture，isa)总线、微通道体系结构(micro channelarchitecture，mca)总线、扩展isa(enhanced isa，eisa)
总线、视频电子标准协会(video electronics standards association，vesa)、外围部件互连 (peripheral component interconnect，pci)总线。
80.处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(central processingunit，cpu)、网络处理器(network processor，np)、数字信号处理器(digital signalprocessor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(fieldprogrammable gate array，fpga)、复杂可编程逻辑器件(complex programmable logicdevice，cpld)、可编程逻辑阵列 (programmable logic array，pla)、微控制单元(microcontroller unit，mcu) 或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。
81.处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(randomaccess memory，ram)、闪存(flashmemory)、只读存储器(read-only memory， rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
82.总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。
83.收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130 从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
84.应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120 远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(vpn)、局域网(lan)、无线局域网(wlan)、广域网(wan)、无线广域网(wwan)、城域网(man)、互联网(internet)、公共交换电话网(pstn)、普通老式电话业务网(pots)、蜂窝电话网、无线网络、无线保真(wi-fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(gsm)系统、码分多址(cdma)系统、全球微波互联接入(wimax)系统、通用分组无线业务(gprs)系统、宽带码分多址 (wcdma)系统、长期演进(lte)系统、lte频分双工(fdd)系统、lte时分双工(tdd)系统、先进长期演进(lte-a)系统、通用移动通信(umts)系统、增强移动宽带(enhance mobile broadband，embb)系统、海量机器类通信(massivemachine type of communication，mmtc)系统、超可靠低时延通信(ultrareliablelow latency communications，urllc)系统等。
85.应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(read-only memory，rom)、可编程只读存储器 (programmable rom，prom)、可擦除可编程只读存储器(erasable prom， eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存 (flash memory)。
86.易失性存储器包括：随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如：静态随机存取存储器(static ram，sram)、动态随机存取存储器 (dynamic ram，dram)、同步动态随机存取存储器(synchronous dram， sdram)、双倍数据速率同步动态随机存取存储器(double data ratesdram， ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram， esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(directrambus ram，drram)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
87.在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152 的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。
88.具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152 包含各种应用程序，例如：媒体播放器(media player)、浏览器(browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152 中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
89.此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种耳部穴位检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
90.计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存 (pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、非易失性随机存取存储器 (nvram)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
91.在本技术所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显
示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。
92.所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
93.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
94.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
95.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种耳部穴位检测方法，其特征在于，包括：步骤1：预测耳部内部最小包围盒和耳部外轮廓最小包围盒；步骤2：对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合；步骤3：基于所述耳部内部特征点集合和所述耳部外轮廓特征点集合确定耳部穴位位置。2.根据权利要求1所述的一种耳部穴位检测方法，其特征在于，所述步骤1：预测耳部内部最小包围盒和耳部外轮廓最小包围盒，包括：利用第一层级神经网络分别预测耳部内部最小包围盒和耳部外轮廓最小包围盒，其中，所述耳部内部最小包围盒包括51个特征点，所述耳部外轮廓最小包围盒包括17个特征点。3.根据权利要求1至2任一项所述的一种耳部穴位检测方法，其特征在于，所述步骤2：对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合，包括：步骤2.1：利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位；步骤2.2：利用第三层级神经网络对粗定位后的所有特征点进行精定位，形成耳部内部特征点集合；所述步骤2：对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合，包括：利用第二层级神经网络对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。4.根据权利要求3所述的一种耳部穴位检测方法，其特征在于，所述步骤2.2：利用第三层级神经网络对粗定位后的所有特征点进行精定位，形成耳部内部特征点集合，包括：把包括粗定位后的所有特征点的区域裁剪为若干个子区域，对所述若干个子区域分别进行定位，以形成耳部内部特征点集合。5.根据权利要求1所述的一种耳部穴位检测方法，其特征在于，所述步骤3：基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置，包括：步骤3.1：基于耳部穴位分别与所述耳部内部特征点集合和耳部外轮廓特征点集合之间的相对位置关系，确定耳部穴位标记规则；步骤3.2：基于所述耳部穴位标记规则，确定耳部穴位位置。6.一种耳部穴位检测装置，其特征在于，包括：最小包围盒模块，用于预测耳部内部最小包围盒和耳部外轮廓最小包围盒；特征点集合模块，用于对所述耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；并对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合；
穴位定位模块，用于基于所述耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。7.根据权利要求6所述的一种耳部穴位检测装置，其特征在于，所述特征点集合模块包括：内部特征点单元，用于利用第二层级神经网络对所述耳部内部最小包围盒包括的所有特征点进行粗定位，利用第三层级神经网络对粗定位后的所有特征点进行精定位，以形成耳部内部特征点集合；外轮廓特征点单元，用于对所述耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合。8.根据权利要求7所述的一种耳部穴位检测装置，其特征在于，所述内部特征点单元包括精定位组件，用于把包括粗定位后的所有特征点的区域裁剪为若干个子区域，对所述若干个子区域分别进行定位，以形成耳部内部特征点集合。9.一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的一种耳部穴位检测方法中的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种耳部穴位检测方法中的步骤。

技术总结
本发明提供一种耳部穴位检测方法、装置及电子设备，涉及特征点检测技术领域，以对耳部内部特征点进行精定位，对耳部外轮廓特征点进行粗定位，以提高耳部穴位检测的准确性。该方法包括：预测耳部内部最小包围盒和耳部外轮廓最小包围盒；对耳部内部最小包围盒包括的所有特征点进行粗定位和精定位，形成耳部内部特征点集合；对耳部外轮廓最小包围盒包括的所有特征点进行粗定位，形成耳部外轮廓特征点集合；基于耳部内部特征点集合和耳部外轮廓特征点集合确定耳部穴位位置。所述耳部穴位检测装置应用于上述耳部穴位检测方法。所述耳部穴位检测方法应用于电子设备中。测方法应用于电子设备中。测方法应用于电子设备中。


技术研发人员：韩松洁 李心怡 商洪才
受保护的技术使用者：商洪才
技术研发日：2021.12.13
技术公布日：2022/3/8