云台控制方法、装置、云台及介质与流程

1.本公开涉及控制技术领域，尤其涉及一种云台控制方法、装置、云台及介质。


背景技术：

2.在实际应用中，通常是通过人工基于有限的状态选项对云台进行手动控制，因此无法实现对云台的自适应灵活控制，从而严重影响了图像采集的质量。比如在视频会议等场景中，相关技术中的云台控制方案无法满足视频会议的需求。


技术实现要素：

3.本公开实施例提供了一种云台控制方法、装置、云台及介质，本公开实施例提供的云台控制方法，实现了通过面部关联手势启动基于面部图像对云台的自适应控制，借助于面部图像的特征信息高可辨识度，以及面部图像的特征信息的唯一性，还能够提高云台自适应控制的精准度。
4.本公开实施例提供的技术方案是这样的：
5.本公开实施例提供了一种云台控制方法，所述方法包括：
6.获取云台上设置的图像采集装置采集的初始图像；
7.对所述初始图像中的手部姿态进行分析，确定分析结果；
8.在所述分析结果表示所述手部姿态为面部关联手势的情况下，获取与所述面部关联手势关联的面部图像；
9.基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更。
10.在一些实施例中，所述基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更，包括：
11.对所述第一图像中的所述面部图像进行分析，确定所述面部图像在所述第一图像中的变化轨迹；
12.基于所述面部图像在所述第一图像中的所述变化轨迹，控制所述云台执行所述姿态调整和/或所述位置变更。
13.由以上可以知道，对第一图像中面部图像进行分析，得到的面部图像在第一图像中的变化轨迹，不仅包含有面部图像当前时刻在第一图像中的变化轨迹，还可以包含有面部图像下一时刻在第一图像中的变化轨迹，那么，基于面部图像在第一图像中的变化轨迹控制云台执行姿态调整和/或位置变更时，不但能够精准的跟随面部图像的实际变化轨迹，还能预先对面部图像的下一时刻的轨迹判断调整，从而提高了云台控制的效率。
14.在一些实施例中，所述方法还包括：
15.在所述云台执行所述姿态调整和/或所述位置变更的过程中，获取所述面部图像在所述第一图像中的位置；
16.若所述面部图像在第一图像中的位置表示所述面部图像处于所述第一图像的图
像中心，控制所述云台停止执行所述姿态调整和/或所述位置变更。
17.由以上可以知道，在确定面部图像在第一图像中的位置位于第一图像的图像中心时，则控制云台停止执行姿态调整和/或位置变更，从而实现了云台姿态调整和/或位置变更的灵活控制，并且，在云台执行姿态调整和/或位置变更的过程中，还能实现对面部图像的精准聚焦。
18.在一些实施例中，所述方法还包括：
19.在所述分析结果表示所述手部姿态为视野调整手势的情况下，获取所述图像采集装置的当前视野范围；
20.基于所述当前视野范围，确定所述图像采集装置的当前焦距；
21.基于所述当前焦距以及所述视野调整手势，调整所述图像采集装置的视野范围。
22.由以上可以知道，本公开实施例提供的云台控制方法，还能够通过图像采集装置采集的初始图像中的手部姿态实现对图像采集装置的视野范围的调整，从而实现了对图像采集装置工作模式的调整，使得云台控制方法的控制和调整更加多样化。
23.在一些实施例中，所述基于所述当前焦距以及所述视野调整手势，调整所述图像采集装置的视野范围，包括：
24.获取所述图像采集装置的最大焦距以及最小焦距；
25.若所述当前焦距小于所述最大焦距且大于或等于所述最小焦距，在所述视野调整手势表示缩小所述视野范围的情况下，增大所述当前焦距以缩小所述视野范围；
26.若所述当前焦距小于或等于所述最大焦距且大于所述最小焦距，在所述视野调整手势表示扩大所述视野范围的情况下，缩小所述当前焦距以扩大所述视野范围。
27.由以上可以知道，在本公开实施例中，可以通过视野调整手势实现对图像采集装置视野范围的精确调整，从而为视频会议中与会者的精确跟踪奠定了基础。
28.在一些实施例中，所述方法还包括：
29.在缩小所述当前焦距的过程中，对所述图像采集装置采集的第二图像中包括所述视野调整手势的图像区域的位置进行分析，得到包括所述视野调整手势的图像区域在所述第二图像中的变化轨迹；
30.基于包括所述视野调整手势的图像区域在所述第二图像中的变化轨迹，控制所述云台执行所述姿态调整和/或位置变更，以使包括所述视野调整手势的图像区域处于所述第二图像的中心。
31.由以上可以知道，在本公开实施例中，在缩小图像采集装置的当前焦距即视野范围扩大的过程中，还能够将包括视野调整手势的图像区域锁定在第二图像的中心位置，从而不仅实现了对视野范围调整的精确控制，还实现了对视野调整手势的精准对焦。
32.在一些实施例中，所述方法还包括：
33.在所述分析结果表示所述手部姿态为位移手势的情况下，获取所述位移信息所指示的目标方向信息；
34.控制所述云台向所述目标方向信息所指示的目标方向移动。
35.由以上可以知道，本公开实施例提供的云台控制方法，还可以基于位移手势实现对云台位置移动的自适应控制。
36.在一些实施例中，所述方法还包括：
37.在控制所述云台向所述目标方向移动时，对所述图像采集装置采集的第三图像中包括所述位移手势的图像区域的位置进行分析，得到包括所述位移手势的图像区域在所述第三图像中的变化轨迹；
38.基于包括所述位移手势的图像区域在所述第三图像中的变化轨迹，控制所述云台执行所述姿态调整，以使所述位移手势处于所述图像采集装置的视野范围中。
39.由以上可以知道，本公开实施例提供的云台控制方法，在控制云台向目标方向移动时，还能同时控制云台执行姿态调整，以使位移手势处于图像采集装置的视野范围内，从而能够实现对云台姿态调整以及位移调整的精确控制，同时，在位移手势改变为其它手势时，也能实现对其它手势的实时分析识别，从而能够提高云台控制的效率以及精准度。
40.本公开实施例还提供了一种云台控制装置，所述装置包括：
41.获取模块，用于获取云台中设置的图像采集装置采集的初始图像；
42.处理模块，用于对所述初始图像中的手部姿态进行分析，确定分析结果；
43.所述获取模块，还用于在所述分析结果表示所述手部姿态为面部关联手势的情况下，获取与所述面部关联手势关联的面部图像；
44.控制模块，用于基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更。
45.本公开实施例还提供了一种云台，所述云台包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，能够实现如前任一所述的云台控制方法。
46.本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被电子设备的处理器执行时，能够实现如前任一所述的云台控制方法。
47.由以上可以知道，获取与云台关联设置的图像采集装置采集的初始图像后，对初始图像中的手部姿态进行分析，确定分析结果表示手部姿态为面部关联手势的情况下，能够获取与面部关联手势关联的面部图像，从而实现了在云台控制过程中的手部和面部的关联；并且，基于第一图像中的面部图像，控制云台执行姿态调整和/或位置变更，从而实现了通过面部图像对云台的自适应控制；与此同时，借助于面部图像的特征信息高辨识度，以及面部图像的特征信息的唯一性，还能够提高云台自适应控制的精准度。
附图说明
48.图1为相关技术中两轴云台1的结构示意图；
49.图2为本公开实施例提供的云台控制方法的第一流程示意图；
50.图3为本公开实施例提供的云台控制方法的第二流程示意图；
51.图4为本公开实施例提供的云台控制装置的结构示意图；
52.图5为本公开实施例提供的云台的结构示意图。
具体实施方式
53.以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施
本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
54.需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其它要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
55.例如，本公开实施例提供的云台控制方法包含了一系列的步骤，但是本公开实施例提供的云台控制方法不限于所记载的步骤，同样地，本公开实施例提供的云台控制装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
56.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
57.在实际应用中，大部分的云台都需要借助于人工控制的方式对有限状态选项的选择实现图像采集的功能，而人工控制的方式仅能实现图像采集装置通过云台对拍摄目标的简单跟踪，无法实现对拍摄目标的自适应跟踪。比如在视频会议等场景中，人工控制的云台无法满足视频会议的多样化需求。
58.基于以上问题，本公开实施例提供了一种云台控制方法、装置、云台及介质，本公开实施例提供的云台控制方法，在确定图像采集装置采集的初始图像中的手部姿态为面部关联手势的情况下，能够获取与面部关联手势关联的面部图像，并根据面部图像在图像采集装置采集的第一图像中的图像区域，控制云台执行姿态调整和/或位置变更，从而实现了在确定手势的情况下基于面部图像对云台的自适应控制，并且，借助于面部特征的唯一性和特殊性，基于面部图像对云台的实时控制，能够实现对云台的姿态和/或位置的精准调整，从而能够满足对视频会议与会者的精准跟踪需求。
59.下面对本公开实施例的应用场景进行示例性说明。
60.本公开实施例首先提供了一种云台控制方法。
61.本公开实施例提供的云台控制方法，可以应用于云台。
62.其中，云台是安装和固定手机、相机以及摄像机的支撑设备，云台包括固定和电动云台两种。固定云台适用于监视范围不大的情况，在固定云台上安装图像采集装置后可调整摄像机的水平方向和俯仰方向的角度，从而调整图像采集装置的图像采集范围。电动云台可以实现扫描监视，它可以扩大图像采集装置的监视范围。电动云台的高速姿态调整可以通过两台执行电机实现，电机接受来自控制器的信号精确地运行定位。在控制信号的作用下，云台上的图像采集装置既可扫描监视区域，也可在监控中心工作人员的操纵下跟踪监视对象。
63.在本公开实施例中，云台可以是两轴云台或三轴云台，本公开实施例对此不作限定。图1为相关技术中两轴云台1的结构示意图。如图1所示，图像采集装置101可以设置在两
轴云台1的俯仰转动轴102上，其中，俯仰转动轴102上可以设置有夹持件用于固定图像采集装置101，还可以设置有标准通信接口，以实现图像采集装置101与俯仰转动轴102关联设置的俯仰电机的数据通信；俯仰转动轴102与水平转动轴103机械连接，两轴云台1还可以设置有与水平转动轴103关联的水平电机，在水平电机的作用下水平转动轴103可以实现水平方向360度的旋转，水平电机可以具备标准通信接口，以实现其与图像采集装置101之间的数据通信；两轴云台1底部还可以设置有舵机臂104，用于固定两轴云台1。
64.示例性的，在云台中可以设置有处理器，在云台为两轴云台的条件下，云台可以包括与水平电机连接的第一处理器以及与俯仰电机连接的第二处理器；本公开实施例提供的云台控制方法，可以通过云台的处理器实现。
65.示例性的，云台的处理器可以包括第一处理器以及第二处理器，示例性的，上述第一处理器以及第二处理器，可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程逻辑门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。
66.图2为本公开实施例提供的云台控制方法的第一流程示意图。如图1所示，该方法可以包括步骤201至步骤204：
67.步骤201、获取云台上设置的图像采集装置采集的初始图像。
68.在本公开实施例中，图像采集装置，可以是设置在云台的夹持件上的，此时图像采集装置与云台之间可以建立有通信连接；示例性的，图像采集装置可以固定设置在云台中，本公开实施例对此不作限定。
69.在本公开实施例中，图像采集装置可以为照相机、摄像机等；示例性的，图像采集装置可以是微型摄像机。
70.在本公开实施例中，初始图像，可以包括图像采集装置实时采集的图像，此时，云台的处理器可以通过其与图像采集装置之间的通信连接获取初始图像；示例性的，初始图像，可以是从图像采集装置采集得到的视频数据中获取得到的。示例性的，初始图像中可以包括至少一个目标对象，其中，目标对象可以为参加视频会议的与会人员，还可以为参加视频会议的与会人员的部分身体区域；示例性的，部分身体区域，可以包括与会人员的手臂以及手部等；示例性的，云台以及图像采集装置可以设置在视频会议的会场中。
71.在本公开实施例中，初始图像，可以是图像采集装置采集的历史图像，此时，云台的处理器可以从指定存储空间中获取初始图像。
72.步骤202、对初始图像中的手部姿态进行分析，确定分析结果。
73.在本公开实施例中，在获取初始图像之后，可以先对初始图像进行识别分析，确定初始图像中是否包括手部姿态相关的特征信息，若包括手部姿态相关的特征信息，则对手部姿态进行分析，确定分析结果；若初始图像中不包括手部姿态相关的特征信息，则可以持续获取初始图像，并对初始图像进行分析，直至初始图像中包含手部姿态的特征信息为止。
74.在本公开实施例中，对初始图像中的手部姿态进行分析，可以是通过对初始图像中包括手部姿态的图像区域进行特征识别的方式实现的；示例性的，可以通过神经网络对初始图像中的手部姿态进行分析，从而得到分析结果。
75.在本公开实施例中，分析结果，可以是文本信息，此时，文本信息可以包括对手部姿态的分类结果；示例性的，分析结果，可以为对手部姿态进行分类得到的图像信息，本公开实施例对此不作限定。
76.步骤203、在分析结果表示手部姿态为面部关联手势的情况下，获取与面部关联手势关联的面部图像。
77.相应的，在分析结果标识手部姿态不为面部关联手势的情况下，可以不获取面部图像。
78.在本公开实施例中，面部关联手势，可以是预先设置在云台的存储器中的指定手势；示例性的，与面部关联手势对应的手势编码信息，可以是设定在云台的处理器所执行的云台控制方法对应的可执行代码中的。
79.在本公开实施例中，面部图像与包括面部关联手势的图像区域可以同时位于初始图像中；示例性的，面部图像可以并不位于初始图像中，此时，可以放大图像采集装置的视野范围，获取图像采集装置的视野范围内的预览图像，然后获取预览图像中包括面部关联手势的图像区域，并以面部关联手势为中心，逐步扩大包括面部关联手势的图像区域，并对该图像区域进行面部特征检测，在检测到面部特征的情况下，将面部特征对应的图像区域确定为与面部关联手势关联的面部图像。
80.示例性的，以面部关联手势为中心，逐步扩大包括面部关联手势的图像区域，可以根据面部关联手势与面部之间的相对位置，确定图像区域的形状以及大小，并根据上述形状和大小逐步扩大包括面部关联手势的图像区域。
81.示例性的，以面部关联手势为中心，逐步扩大包括面部关联手势的图像区域的过程中，若在面部关联手势的图像区域扩大过程中，检测到多个面部图像，则可以分析多个面部图像与面部关联手势之间的关联程度，并将关联程度最强的面部图像作为最终的面部图像，比如，视频会议的当前发言者的手势与其面部之间的关联程度，要高于发言者的手势与其他与会者的面部之间的关联程度，也就是说，面部关联手势关联的面部图像对应的面部特征，可以为执行面部关联手势的发言者的面部特征。
82.步骤204、基于图像采集装置采集的第一图像中的面部图像，控制云台执行姿态调整和/或位置变更。
83.在本公开实施例中，第一图像，可以是图像采集装置持续采集的图像，也就是说，第一图像可以包括多张图像；示例性的，第一图像，可以为图像采集装置预览的图像；示例性的，第一图像可以为初始图像。
84.在本公开实施例中，云台执行姿态调整，可以包括云台执行水平和/或俯仰方向的角度调整。
85.在本公开实施例中，云台执行位置变更，可以包括云台从第一位置变更至第二位置，示例性的，第一位置与第二位置可以位于同一平面上，也可以位于不同的平面上；示例性的，第一位置与第二位置之间的路径，可以是直线的，也可以是曲线的。
86.在本公开实施例中，云台中还可以设置有用于实现云台位置变更的位移电机以及与位移电机连接的机械位移装置；示例性的，机械位移装置，可以包括至少一个小型轮胎、小型履带、小型机翼等；示例性的，位移电机可以与云台的处理器连接，用于接收处理器发出的位置变更指令，并对位置变更指令进行处理，向机械位移装置输出动力，以驱动云台执
行位置变更操作。
87.在本公开实施例中，基于图像采集装置采集的第一图像中的面部图像，控制云台执行姿态调整和/或位置变更，可以通过以下任一方式实现：
88.基于第一图像中面部图像所占据的图像区域的大小，控制云台执行姿态调整和/或位置变更。
89.基于第一图像中面部图像的清晰程度，控制云台执行姿态调整和/或位置变更。
90.由以上可以知道，获取与云台关联设置的图像采集装置采集的初始图像后，对初始图像中的手部姿态进行分析，确定分析结果表示手部姿态为面部关联手势的情况下，能够获取与面部关联手势关联的面部图像，从而实现了在云台控制过程中的手部和面部的关联；并且，基于第一图像中的面部图像，控制云台执行姿态调整和/或位置变更，从而实现了通过面部关联手势启动基于面部图像对云台的自适应控制，并且，借助于面部图像的特征信息可辨识度，以及面部图像的特征信息的唯一性，还能够提高云台自适应控制的精准度。
91.与此同时，本公开实施例提供的云台控制方法中，由于通过手部姿态所指示的面部关联手势能够实现对云台的控制，从而使得云台的控制方式更加自动化以及多样化，改善了用户体验。
92.在本公开实施例中，基于图像采集装置采集的第一图像中的面部图像，控制云台执行姿态调整和/或位置变更，可以通过以下方式实现：
93.对第一图像中的面部图像进行分析，确定面部图像在第一图像中的变化轨迹；基于面部图像在第一图像中的变化轨迹，控制云台执行姿态调整和/或位置变更。
94.在本公开实施例中，面部图像在第一图像中的变化轨迹，在时间维度上可以是连续的，在第一图像包含n张按照时间先后顺序采集的图像的情况下，第n张图像中的面部图像在第n张图像中的位置，与第n+1张图像中的面部图像在第n+1张图像中的位置，可以是连续的。其中，n可以为大于1且小于n的整数；n可以为大于2的整数。
95.在本公开实施例中，面部图像在第一图像中的变化轨迹，可以是直线轨迹，也可以是曲线轨迹；示例性的，上述变化轨迹，可以根据视频会议的与会者、以及与会者与图像采集装置之间的相对位置关系确定。
96.在本公开实施例中，面部图像在第一图像中的变化轨迹，可以是在第一图像包括多张图像的情况下，对第一图像的多张图像中的面部图像进行分析，得到面部图像在多张图像中的位置信息，并按照多张图像采集的时间顺序对位置信息进行统计而确定的；示例性的，面部图像在第一图像中的变化轨迹，可以是按照多张图像的采集时间顺序，对面部图像在对多张图像中的位置信息进行统计之后，基于统计结果预测得到的面部图像在下一时刻采集的图像中的移动轨迹。
97.在本公开实施例中，基于面部图像在第一图像中的变化轨迹，控制云台执行姿态调整和/或位置变更，可以是通过以下任一方式实现的：
98.获取变化轨迹与目标姿态和/或目标位置之间的关联关系，然后基于面部图像在第一图像中的变化轨迹、与关联关系中变化轨迹之间的匹配关系，确定目标姿态和/或目标位置，从而控制云台调整至目标姿态和/或变更位置至目标位置。
99.将面部图像在第一图像中的变化轨迹映射至云台所处的三维空间，得到姿态调整信息和/或位置变更信息，然后按照姿态调整信息和/或位置变更信息，控制云台执行姿态
调整和/或位置变更。
100.由以上可以知道，对第一图像中的面部图像进行分析，得到的面部图像在第一图像中的变化轨迹，不仅包含有面部图像当前时刻在第一图像中的变化轨迹，还可以包含有面部图像下一时刻在第一图像中的变化轨迹，那么，基于面部图像在第一图像中的变化轨迹控制云台执行姿态调整和/或位置变更时，不但能够精准的跟随面部图像的实际变化轨迹，还能预先对面部图像的下一时刻的轨迹判断调整，从而提高了云台控制的效率。
101.本公开实施例提供的云台控制方法还包括以下操作：
102.在云台执行姿态调整和/或位置变更的过程中，获取面部图像在第一图像中的位置；若面部图像在第一图像中的位置表示面部图像处于第一图像的图像中心，控制云台停止执行姿态调整和/或位置变更。
103.相应的，若面部图像在第一图像中的位置表示面部图像未处于第一图像的图像中心，则可以控制云台持续执行姿态调整和/或位置变更。
104.在本公开实施例中，面部图像在第一图像中的位置，可以包括面部图像包含的至少一个关键点的像素位置，比如眼睛、眉毛、鼻子、以及嘴巴等至少一个部位对应的像素位置；示例性的，面部图像在第一图像中的位置，可以包括面部图像中心位置的像素位置。
105.在本公开实施例中，面部图像在第一图像中的位置，可以是通过对第一图像中的多张图像进行分析而得到的；示例性的，若面部图像的位置在m张图像中均处于图像中心，则可以控制云台停止执行姿态调整和/或位置变更；相应的，若面部图像的位置在m张图像中并不均处于图像中心，则可以获取面部图像在第一图像中的变化轨迹，并基于变化轨迹控制云台执行姿态调整和/或位置变更。其中，m为大于1且小于n的整数；示例性的，m可以是根据视频会议过程中云台控制的需要而设定的。
106.在视频会议中，会议的发言者经常会在远端现场执行板书、资料展示等操作，并且，在会议的发言者执行上述操作的过程中可能会来回走动，在与会者执行上述操作的过程中，相关技术中的云台控制方法执行时，与云台关联设置的图像采集装置无法对发言者实时对焦，而通过本公开实施例提供的云台控制方法对云台的控制，使得图像采集装置能够实时跟踪发言者的面部，实现对发言者面部的精准对焦，从而改善视频会议的效果。
107.由以上可以知道，在确定面部图像在第一图像中的位置位于第一图像的图像中心时，则控制云台停止执行姿态调整和/或位置变更，从而实现了云台姿态调整和/或位置变更的灵活控制，并且，在云台执行姿态调整和/或位置变更的过程中，还能实现对面部图像的精准聚焦。
108.本公开实施例提供的云台控制方法，还可以包括步骤a1至步骤a3：
109.步骤a1、在分析结果表示手部姿态为视野调整手势的情况下，获取图像采集装置的当前视野范围。
110.相应的，在分析结果表示手部姿态不为视野调整手势的情况下，可以不获取图像采集装置的当前视野范围。
111.在本公开实施例中，视野调整手势，可以是预先设定在云台的存储空间中的；示例性的，与视野调整手势对应的编码信息，可以是设定在用于实现云台控制方法的可执行代码中的。本公开实施例对此不作限定。
112.在本公开实施中，图像采集装置的当前视野范围，可以是通过获取图像采集装置
的视场角的方式确定的。
113.步骤a2、基于当前视野范围，确定图像采集装置的当前焦距。
114.示例性的，图像采集装置的视野范围与图像采集装置的焦距之间存在一一对应的关联关系，并且，视野范围会随着焦距的增大而缩小，也就是说，根据图像采集装置的当前视野范围，可以确定图像采集装置的当前焦距。
115.步骤a3、基于当前焦距以及视野调整手势，调整图像采集装置的视野范围。
116.在本公开实施例中，视野调整手势，可以包括视野范围扩大手势以及图像视野范围缩小手势中的任一种。
117.在本公开实施例中，基于当前焦距以及视野调整手势，调整图像采集装置的视野范围，可以是通过以下方式实现的：
118.根据视野调整手势确定视野范围调整参数，然后基于视野范围调整参数，对当前焦距进行调整，从而实现调整图像采集装置视野范围的目的。示例性的，视野范围调整参数，可以包括图像采集装置的预期视野范围与当前视野范围之间的比例。
119.由以上可以知道，本公开实施例提供的云台控制方法，还能够通过图像采集装置采集的初始图像中的手部姿态实现对图像采集装置的视野范围的调整，从而实现了对图像采集装置工作模式的调整，使得云台控制方法的控制和调整更加多样化。
120.在本公开实施例中，基于当前焦距以及视野调整手势，调整图像采集装置的视野范围，可以通过步骤b1至步骤b3实现：
121.步骤b1、获取图像采集装置的最大焦距以及最小焦距。
122.在本公开实施例中，图像采集装置的最大焦距以及最小焦距，可以是图像采集装置的配置参数，这两个配置参数可以随图像采集装置的制作工艺、材料以及光感特性而变化。
123.步骤b2、若当前焦距小于最大焦距且大于或等于最小焦距，在视野调整手势表示缩小视野范围的情况下，增大当前焦距以缩小视野范围。
124.相应的，若当前焦距等于最大焦距，则即使视野调整手势为视野范围缩小手势，也不再控制图像采集装置执行增大当前焦距的动作。
125.示例性的，若当前焦距小于最大焦距且大于或等于最小焦距，在视野调整手势为视野范围缩小手势的情况下，可以根据视野范围调整参数增大当前焦距；示例性的，还可以根据视野缩小手势的持续时间，持续增大当前焦距以持续缩小视野范围，直至视野范围缩小手势结束、或者当前焦距调整至最大焦距为止。
126.步骤b3、若当前焦距小于或等于最大焦距且大于最小焦距，在视野调整手势表示扩大视野范围的情况下，缩小当前焦距以扩大视野范围。
127.相应的，若当前焦距等于最小焦距，则即使视野调整手势表示扩大视野范围，图像采集装置不再执行缩小当前焦距的动作。
128.示例性的，若当前焦距小于或等于最大焦距且大于最小焦距，在视野调整手势为视野范围扩大手势的情况下，可以根据视野范围调整参数缩小当前焦距；示例性的，还可以根据视野范围缩小手势的持续时间，持续缩小当前焦距以持续扩大视野范围，直至视野范围缩小手势结束、或者当前焦距调整至最小焦距为止。
129.需要说明的是，步骤b2与步骤b3之间的先后顺序可以调整，本公开实施例对此不
作限定。
130.由以上可以知道，在本公开实施例中，可以通过视野调整手势实现对图像采集装置视野范围的精确调整，从而为视频会议中与会者的精确跟踪奠定了基础。
131.本公开实施例提供的云台控制方法，还可以包括步骤c1至步骤c2：
132.步骤c1、在缩小当前焦距的过程中，对图像采集装置采集的第二图像中包括视野调整手势的图像区域的位置进行分析，得到包括视野调整手势的图像区域在第二图像中的变化轨迹。
133.在本公开实施例中，第二图像，可以包括图像采集装置持续采集的多张图像。
134.在本公开实施例中，对第二图像中包括视野调整手势的图像区域的位置进行分析，得到包括视野调整手势在的图像区域在第二图像中的变化轨迹，可以通过前述实施例提供的确定面部图像在第一图像中的变化轨迹相同的方式实现，此处不再赘述。
135.步骤c2、基于包括视野调整手势的图像区域在第二图像中的变化轨迹，控制云台执行姿态调整和/或位置变更，以使包括视野调整手势的图像区域处于第二图像的中心。
136.在本公开实施例中，可以基于包括视野调整手势的图像区域在第二图像中的变化轨迹，控制云台执行水平和/或俯仰方向的角度调整，还可以控制云台从第三位置移动至第四位置，或者从以上两个维度对云台进行调整或控制，以改变图像采集装置与视野调整手势之间的相对位置关系，从而使得包括视野调整手势的图像区域处于第二图像的中心位置。
137.在本公开实施例中，可以基于包括视野调整手势的图像区域在第二图像中的变化轨迹，得到视野调整手势的变化速度、变化路线、以及变化方向等至少之一，并基于视野调整手势的变化速度、变化路线以及变化方向等至少之一控制云台的姿态调整和/或位置变更，以使得包括视野调整手势的图像区域处于第二图像的中心位置。
138.由以上可以知道，在本公开实施例中，在缩小图像采集装置的当前焦距即视野范围扩大的过程中，还能够将包括视野调整手势的图像区域锁定在第二图像的中心位置，从而不仅实现了对视野范围调整的精确控制，还实现了对视野调整手势的精准对焦。
139.本公开实施例提供的云台控制方法，还可以包括以下操作：
140.在分析结果表示手部姿态为位移手势的情况下，获取位移信息所指示的目标方向信息；控制云台向目标方向信息所指示的目标方向移动。
141.在本公开实施例中，位移手势，可以是预先存储在云台的存储单元中的；示例性的，与位移手势对应的编码信息，可以是在实现云台控制方法对应的可执行代码中设定的。本公开实施例对此不作限定。
142.在本公开实施例中，位移信息，可以包括目标方向信息，还可以包括向目标方向信息所指示的目标方向移动的距离信息。示例性的，距离信息，可以是与位移手势预先关联设置的，比如，若分析结果表示手部姿态为位移手势，且为位移手势预先关联设置的距离信息可以为5米，那么可以控制云台向目标方向移动5米的距离。
143.在本公开实施例中，控制云台向目标方向信息指示的目标方向的移动距离，可以根据位移手势的持续时间确定；示例性的，在位移手势保持不变的情况下，可以通过位移电机输出的动能控制机械位移装置，以驱动云台向目标方向信息指示的目标方向持续移动，直至位移手势切换为其它手势为止。
144.由以上可以知道，本公开实施例提供的云台控制方法，还可以基于位移手势实现对云台位置移动的自适应控制。
145.本公开实施例提供的云台控制方法，还可以包括步骤d1至步骤d2：
146.步骤d1、在控制云台向目标方向移动时，对图像采集装置采集的第三图像中包括位移手势的图像区域的位置进行分析，得到包括位移手势的图像区域在第三图像中的变化轨迹。
147.在本公开实施例中，第三图像，可以是图像采集装置持续采集的图像；示例性的，第三图像可以包括多张图像。
148.在本公开实施例中，对图像采集装置采集的第三图像中包括位移手势的图像区域的位置进行分析，得到位移手势的图像区域在第三图像中的变化轨迹，可以通过与前述实施例中得到面部图像在第一图像中的变化轨迹相同的方式实现，此处不再赘述。
149.步骤d2、基于包括位移手势的图像区域在第三图像中的变化轨迹，控制云台执行姿态调整，以使位移手势处于图像采集装置的视野范围中。
150.在本公开实施例中，包括位移手势的图像区域在第三图像中的变化轨迹，可以通过包括位移手势的图像区域在第三图像中与第三图像的中心位置之间的相对位置变化体现。
151.在本公开实施例中，基于包括位移手势的图像区域在第三图像中的变化轨迹，控制云台执行姿态调整，可以控制云台执行水平方向和/或俯仰方向的角度调整，以使包括位移手势处于图像采集装置的视野范围内，从而使得包括位移手势的图像区域处于第三图像中。
152.由以上可以知道，本公开实施例提供的云台控制方法，在控制云台向目标方向移动时，还能同时控制云台执行姿态调整，以使位移手势处于图像采集装置的视野范围内，从而能够实现对云台姿态调整以及位移调整的精确控制，同时，在位移手势改变为其它手势时，也能实现对其它手势的实时分析识别，从而能够提高云台控制的效率以及精准度。
153.图3为本公开实施例提供的云台控制方法的第二流程示意图。如图3所示，该方法可以包括以下步骤：
154.步骤301、启动云台和摄像机。
155.示例性的，步骤301中的摄像机，可以是前述实施例中的设置在云台上的图像采集装置。
156.步骤302、识别手势。
157.示例性的，识别手势，可以是通过对摄像机采集的初始图像中的手部姿态进行分析得到分析结果，再对分析结果进行判断而实现的。
158.示例性的，识别手势，可以确定当前手势是否为面部关联手势、视野调整手势或位移手势。其中，在识别手势的结果表示手部姿态为面部关联手势的情况下，可以执行步骤303至步骤304；在手部姿态为位移手势的情况下，可以执行步骤305至步骤306；在手部姿态为视野范围缩小手势的情况下，可以执行步骤307至步骤308；在手部姿态为视野范围扩大手势的情况下，可以执行步骤309至步骤310；在检测到云台关闭指令的情况下，可以执行步骤311。
159.步骤303、关联人脸。
160.示例性的，关联人脸，可以通过对摄像机实时采集的第一图像中包括面部关联手势的图像区域进行人脸识别，得到包括至少一个关键点的面部图像，并将面部图像与面部关联手势关联起来。
161.步骤304、人脸跟踪。
162.示例性的，通过面部图像在摄像机采集的第一图像中的变化轨迹，控制云台执行姿态调整和/或位置变更，从而将人脸锁定在摄像机的视野范围内，实现人脸跟踪。
163.示例性的，在人脸跟踪的过程中，还可以通过控制云台执行姿态台调整和/或位置变更的方式调整摄像机的拍摄视野，将人脸锁定在摄像机视野范围的中央位置，从而实现对人脸的聚焦。
164.步骤305、控制云台向目标方向移动。
165.在本公开实施例中，目标方向，可以是通过对位移手势进行分析而确定的。
166.示例性的，在控制云台向目标方向移动的过程中，还可以执行步骤306。
167.步骤306、判断位移手势是否结束或移动至边界。
168.示例性的，判断位移手势是否结束，可以是通过对摄像机持续采集的第二图像中包括手部姿态的图像区域进行特征识别而实现的；示例性的，对第二图像中包括手部姿态的图像区域进行特征识别，得到手势信息，然后基于手势信息与位移手势之间的匹配关系，确定位移手势是否结束。
169.示例性的，判断是否移动至边界，可以表示判断云台是否移动至视频会议的会场边界；示例性的，判断云台是否移动至视频会议的会场边界，可以通过云台中设置的距离传感器采集的距离数据而确定，还可以通过云台中设置的无线通信模块发射的无线信号以及回波信号而确定。
170.示例性的，在位移手势未结束，且云台未移动至边界的情况下，可以持续执行步骤305；在位移手势结束或云台移动至边界的情况下，可以停止当前位移操作，进而执行步骤302，等待新的手势识别的结果。
171.步骤307、控制视野范围缩小。
172.示例性的，可以首先获取当前视野范围对应的当前焦距，在当前焦距大于摄像机的最小焦距且小于摄像机的最大焦距的情况下，可以通过增大焦距的方式缩小摄像机的视野范围。
173.示例性的，在缩小摄像机的视野范围的过程中，可以持续执行步骤308。
174.步骤308、判断视野范围缩小手势是否结束。
175.示例性的，在摄像机的当前焦距小于摄像机的最大焦距的情况下，若视野范围缩小手势未结束，则可以继续执行步骤307；若视野范围缩小手势已经结束，则停止摄像机的焦距调整过程，结束本次视野范围缩小操作，并执行步骤302，等待新的识别手势结果。
176.步骤309、控制视野范围放大。
177.示例性的，可以首先获取摄像机的当前视野范围对应的当前焦距，在当前焦距大于摄像机的最小焦距且小于或等于摄像机的最大焦距的情况下，可以通过缩小摄像机的当前焦距的方式扩大摄像机的视野范围。
178.示例性的，在控制视野范围放大的过程中，可以执行步骤310。
179.步骤310、判断视野范围扩大手势是否结束。
180.示例性的，在视野范围扩大手势未结束且摄像机的当前焦距大于摄像机的最小焦距的情况下，可以执行步骤309，以继续放大摄像机的视野范围；在视野范围扩大手势已经结束或摄像机的当前焦距等于摄像机的最小焦距的情况下，可以停止摄像机的焦距缩小过程，以结束本次视野范围放大过程，并继续执行步骤302以等待最新的手势识别结果。
181.步骤311、关闭云台和摄像机。
182.示例性的，关闭云台和摄像机，也可以是在摄像机采集到目标手势之后，基于目标手势自动执行的。
183.由以上可知，本公开实施例提供的云台控制方法，通过摄像机采集的图像识别得到的各种类型的手势，可以实现对云台的自适应控制，从而提高了云台的智能化水平；并且，通过对云台的自适应控制，还能实现摄像机的人脸跟踪、视野范围调整，从而实现了摄像机采集的图像与云台控制的相互关联，使得云台的控制更加灵活，摄像机摄像效果也得到极大的改善。
184.基于前述实施例，本公开实施例还提供了一种云台控制装置4，图4为本公开实施例提供的云台控制装置4的结构示意图。如图4所示，该云台控制装置4包括：
185.获取模块401，用于获取云台上设置的图像采集装置采集的初始图像；
186.处理模块402，用于对初始图像中的手部姿态进行分析，确定分析结果；
187.获取模块401，还用于在分析结果表示手部姿态为面部关联手势的情况下，获取与面部关联手势关联的面部图像；
188.控制模块403，用于基于图像采集装置采集的第一图像中的面部图像，控制云台执行姿态调整和/或位置变更。
189.在一些实施例中，处理模块402，用于对第一图像中的面部图像进行分析，确定面部图像在第一图像中的变化轨迹；
190.控制模块403，用于基于面部图像在第一图像中的变化轨迹，控制云台执行姿态调整和/或位置变更。
191.在一些实施例中，获取模块401，用于在云台执行姿态调整和/或位置变更的过程中，获取面部图像在第一图像中的位置；
192.控制模块403，用于若面部图像在第一图像中的位置表示面部图像处于第一图像的图像中心，控制云台停止执行姿态调整和/或位置变更。
193.在一些实施例中，获取模块401，用于在分析结果表示手部姿态为视野调整手势的情况下，获取图像采集装置的当前视野范围；
194.处理模块402，用于基于当前视野范围，确定图像采集装置的当前焦距；
195.控制模块403，用于基于当前焦距以及视野调整手势，调整图像采集装置的视野范围。
196.在一些实施例中，获取模块401，用于获取图像采集装置的最大焦距以及最小焦距；
197.控制模块403，用于若当前焦距小于最大焦距且大于或等于最小焦距，在视野调整手势表示缩小视野范围的情况下，增大当前焦距以缩小视野范围；若当前焦距小于或等于最大焦距且大于最小焦距，在视野调整手势表示扩大视野范围的情况下，缩小当前焦距以扩大视野范围。
programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
214.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
215.上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
216.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所描述的方法。
217.本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
218.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
219.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
220.以上仅为本公开的优选实施例，并非因此限制本公开的专利范围，凡是利用本公开说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本公开的专利保护范围内。

技术特征：
1.一种云台控制方法，所述方法包括：获取云台上设置的图像采集装置采集的初始图像；对所述初始图像中的手部姿态进行分析，确定分析结果；在所述分析结果表示所述手部姿态为面部关联手势的情况下，获取与所述面部关联手势关联的面部图像；基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更。2.根据权利要求1所述的方法，其中，所述基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更，包括：对所述第一图像中的所述面部图像进行分析，确定所述面部图像在所述第一图像中的变化轨迹；基于所述面部图像在所述第一图像中的所述变化轨迹，控制所述云台执行所述姿态调整和/或所述位置变更。3.根据权利要求1所述的方法，其中，所述方法还包括：在所述云台执行所述姿态调整和/或所述位置变更的过程中，获取所述面部图像在所述第一图像中的位置；若所述面部图像在第一图像中的位置表示所述面部图像处于所述第一图像的图像中心，控制所述云台停止执行所述姿态调整和/或所述位置变更。4.根据权利要求1所述的方法，其中，所述方法还包括：在所述分析结果表示所述手部姿态为视野调整手势的情况下，获取所述图像采集装置的当前视野范围；基于所述当前视野范围，确定所述图像采集装置的当前焦距；基于所述当前焦距以及所述视野调整手势，调整所述图像采集装置的视野范围。5.根据权利要求4所述的方法，其中，所述基于所述当前焦距以及所述视野调整手势，调整所述图像采集装置的视野范围，包括：获取所述图像采集装置的最大焦距以及最小焦距；若所述当前焦距小于所述最大焦距且大于或等于所述最小焦距，在所述视野调整手势表示缩小所述视野范围的情况下，增大所述当前焦距以缩小所述视野范围；若所述当前焦距小于或等于所述最大焦距且大于所述最小焦距，在所述视野调整手势表示扩大所述视野范围的情况下，缩小所述当前焦距以扩大所述视野范围。6.根据权利要求5所述的方法，其中，所述方法还包括：在缩小所述当前焦距的过程中，对所述图像采集装置采集的第二图像中包括所述视野调整手势的图像区域的位置进行分析，得到包括所述视野调整手势的图像区域在所述第二图像中的变化轨迹；基于包括所述视野调整手势的图像区域在所述第二图像中的变化轨迹，控制所述云台执行所述姿态调整和/或位置变更，以使包括所述视野调整手势的图像区域处于所述第二图像的中心。7.根据权利要求1所述的方法，其中，所述方法还包括：在所述分析结果表示所述手部姿态为位移手势的情况下，获取所述位移信息所指示的
目标方向信息；控制所述云台向所述目标方向信息所指示的目标方向移动。8.根据权利要求7所述的方法，其中，所述方法还包括：在控制所述云台向所述目标方向移动时，对所述图像采集装置采集的第三图像中包括所述位移手势的图像区域的位置进行分析，得到包括所述位移手势的图像区域在所述第三图像中的变化轨迹；基于包括所述位移手势的图像区域在所述第三图像中的变化轨迹，控制所述云台执行所述姿态调整，以使所述位移手势处于所述图像采集装置的视野范围中。9.一种云台控制装置，所述装置包括：获取模块，用于获取云台上设置的图像采集装置采集的初始图像；处理模块，用于对所述初始图像中的手部姿态进行分析，确定分析结果；所述获取模块，还用于在所述分析结果表示所述手部姿态为面部关联手势的情况下，获取与所述面部关联手势关联的面部图像；控制模块，用于基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更。10.一种云台，所述云台包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，能够实现如权利要求1至8任一所述的云台控制方法。11.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被电子设备的处理器执行时，能够实现如权利要求1至8任一所述的云台控制方法。

技术总结
本公开提供了一种云台控制方法、装置、云台及介质，所述方法包括：获取云台上设置的图像采集装置采集的初始图像；对所述初始图像中的手部姿态进行分析，确定分析结果；在所述分析结果表示所述手部姿态为面部关联手势的情况下，获取与所述面部关联手势关联的面部图像；基于所述图像采集装置采集的第一图像中的所述面部图像，控制所述云台执行姿态调整和/或位置变更。或位置变更。或位置变更。


技术研发人员：陈东生 赵汉玥 韩殿飞 黄寅涛 杨振伟
受保护的技术使用者：深圳市商汤科技有限公司
技术研发日：2021.11.23
技术公布日：2022/3/7