1.各种实施例总体上涉及一种传感器和一种用于为传感器中的机器学习分类器生成训练数据的方法。
背景技术:
2.传感器用于许多设备,例如智能电话、各种可穿戴设备(例如戴在身上和/或头上的设备)、智能耳机等。例如,这里可以使用智能传感器(英语:intelligent sensors或smart sensors),它们可以对检测到的传感器信号进行预处理。例如,可以借助于经过训练的机器学习分类器(例如神经网络)对检测到的传感器信号进行预处理。机器学习分类器可以借助于覆盖广泛用户的训练数据得到训练。例如,以这种方式概括的机器学习分类器可以识别运动模式。
3.在bourke等人的fall detection algorithms for real-world falls harvested from lumbar sensors in the elderly population: a machine learning approach, 38th annual international conference of the ieee engineering in medicine and biology society (embc), 2016中,描述一种使用机器学习来识别老年人跌倒危险的方法。
4.但是,特定于用户的行为(例如运动模式)可能不同于一般行为。因此,可能有必要特定于用户地训练通用机器学习分类器。特定于用户的训练数据对于通用机器学习分类器的特定于用户的训练是必要的。因此,可能还需要生成用户特定的训练数据。
技术实现要素:
5.具有独立权利要求1(第一示例)和12(第三十示例)的特征的方法和传感器使得可以在设备中使用传感器期间生成用于传感器中的机器学习分类器的训练数据。
6.机器学习分类器可以是可以借助于机器学习适配(例如训练)的任何类型的分类器。例如,机器学习分类器可以是决策树、随机森林分类器、梯度提升分类器、支持向量机(英语:support vector machine,svm)、最近邻分类器(英语:k-nearest neighbor classifier,knn)、神经网络等等。神经网络可以具有或是任何类型的神经网络,例如自编码器网络、卷积神经网络(英语:convolutional neural network,cnn)、变分自编码器网络(英语:variational autoencoder network,vae)、细化自编码器网络(英语:sparse autoencoder network,稀疏自编码器网络,sae)、递归神经网络(rnn)、解卷积神经网络(英语:deconvolutional neural network,dnn)、生成对抗网络(英语:generative adversarial network,gan)、前瞻性神经网络(英语:forward-thinking neural network)、和积神经网络(英语:sum-product neural network)等。神经网络可以具有任意数量的层。经过预训练的机器学习分类器可以使用任何类型的训练原则加以预训练,并且可以使用任何类型的训练原则额外训练经过预训练的机器学习分类器。例如,机器学习分类器可以是神经网络,经过预训练的神经网络可以使用任何类型的训练原理加以训练,而
经过预训练的神经网络可以使用任何类型的训练原理加以额外的训练,例如反向传播。
7.分类模型可以是可以根据用户输入对传感器数据进行分类的任何类型的模型。特别地,分类模型可以被设计为对所有决策选项确定概率值(也称为“软决策”)。分类模型可以清楚地识别用户输入的存在。例如,分类模型可以将高于阈值的传感器信号分类为用户输入。例如,分类模型可以将高于一个类别(例如,来自多个类别中的一个类别)的所确定的概率的阈值的传感器信号分类为用户输入。根据各种实施例,分类模型可以是如前一段所述的机器学习分类器,例如神经网络。
8.特定于用户的训练数据的生成具有以下效果:可以使用特定于用户的训练数据专门针对用户的行为(例如运动模式)额外训练通用的经过预训练的机器学习分类器。
9.此外,根据第一示例的方法具有可以在与传感器交互的设备的运行时确定训练数据的效果。
10.生成的训练数据(例如所确定的训练数据向量)可用于例如使用本文描述和/或已知的方法重新训练机器学习分类器(例如经过预训练的机器学习分类器)。例如,这具有可以借助于重新训练的机器学习分类器来改进未来检测的效果。例如,可以减少由重新训练的机器学习分类器确定的假阳性和/或假阴性分类的数量。
11.借助于传感器获取第一传感器信号和第二传感器信号可以包括:在第一时间范围内获取第一传感器信号;并且在第二时间范围内获取第二传感器信号,其中第一时间范围在第二时间范围之前开始。本段中描述的特征结合第一示例形成第二示例。
12.传感器可以具有第一传感器元件和第二传感器元件。借助于传感器获取第一传感器信号和第二传感器信号可以包括:借助于第一传感器元件获取第一传感器信号;以及借助于第一传感器元件和/或借助于第二传感器元件获取第二传感器信号。本段所描述的特征结合第一示例或第二示例形成第三示例。
13.第一传感器元件可以检测第一物理变量并且第二传感器元件可以检测与第一物理变量不同的第二物理变量。本段所述的特征结合第三示例形成第四示例。
14.第一传感器元件和/或第二传感器元件可以是微机械传感器元件。本段所描述的特征组合第三示例或第四示例形成第五示例。
15.传感器可以具有选自由以下组成的组中的一个或多个传感器元件:加速度传感器、转速传感器、磁场传感器、压力传感器、接触传感器。本段中描述的特征结合第一示例至第五示例中的一个或多个形成第六示例。
16.传感器可以具有多个传感器元件;并且借助于传感器获取第一传感器信号和第二传感器信号可以包括:借助于多个传感器元件中的一个或多个传感器元件获取一个或多个第一传感器信号;并且借助于多个传感器元件中的一个或多个传感器元件获取一个或多个第二传感器信号。确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为预给定用户运动模式可以包括:确定机器学习分类器是否响应于一个或多个第一传感器信号的输入将一个或多个第一传感器信号分类为预给定用户运动模式。确定分类模型是否响应于第二传感器信号的输入将第二传感器信号分类为用于控制设备的预给定用户输入可以包括:确定分类模型是否响应于一个或多个第二传感器信号的输入将一个或多个第二传感器信号分类为预给定用户输入。本段所描述的特征结合第一示例或第六示例中的一个或多个形成第七示例。
17.该方法还可以包括如果第二传感器信号已被分类为预给定用户输入和/或如果第一传感器信号已被分类为用户运动模式,则向设备传送用于控制设备的指令。本段所描述的特征结合第一示例至第七示例中的一个或多个形成第八示例。例如,所确定的训练数据向量只能存储在传感器中,其中所述设备无法访问训练数据向量。例如,训练数据向量可以在传感器内处理(例如在传感器级别,而无需传感器与设备交互)。例如,这会增加用户的数据保护。
18.该方法还可以包括:借助于传感器获取第三传感器信号;确定机器学习分类器是否响应于第三传感器信号的输入将第三传感器信号分类为预给定用户运动模式;以及如果机器学习分类器将第三传感器信号分类为用户运动模式,则向设备传送用于控制设备的指令。本段所描述的特征与第一示例至第八示例中的一个或多个组合形成第九示例。
19.该方法还可以包括:将第一传感器信号和第二传感器信号存储在环形存储器中。本段所描述的特征结合第一至第九示例中的一个或多个形成第十示例。
20.借助于传感器获取第一传感器信号和第二传感器信号可以包括:借助于传感器获取第一测量信号;如果第一测量信号的信号强度大于预定义的信号阈值,则确定第一测量信号为第一传感器信号;借助于传感器获取第二测量信号;如果第二测量信号的信号强度大于预定义的信号阈值,则将第二测量信号确定为第二传感器信号。本段中描述的特征结合第一示例至第十示例中的一个或多个形成第十一示例。
21.确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为预给定用户运动模式可以包括:确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为多个预给定用户运动模式中的预给定用户运动模式;其中确定分类模型是否响应于第二传感器信号的输入将第二传感器信号分类为用于控制设备的预给定用户输入包括:确定分类模型是否响应于第二传感器信号的输入将第二传感器信号分类为用于控制设备的多个预给定用户输入中的预给定用户输入,其中多个用户输入中的每个用户输入被分配给多个用户运动模式中的一个用户运动模式,其中如果第二传感器信号已被分类为多个预给定用户输入中的用户输入并且如果第一传感器信号未被分类为分配给所确定的用户输入的用户运动模式,则确定训练数据向量。本段所描述的特征结合第一示例至第十一示例中的一个或多个形成第十二示例。
22.确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为预给定用户运动模式可以包括:响应于将第一传感器信号输入到机器学习分类器中,确定多个预给定用户运动模式中的每一个预给定用户运动模式的概率;如果针对多个用户运动模式中的一个用户运动模式确定的概率大于预定义的第一概率阈值,则确定第一传感器信号为预给定用户运动模式。本段中描述的特征结合第一示例至第十二示例中的一个或多个形成第十三示例。
23.该方法还可以包括:借助于传感器获取第三传感器信号;响应于将第三传感器信号输入到机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;其中在以下情况下确定用于机器学习分类器的训练数据向量:响应于将第三传感器信号输入到机器学习分类器中,为多个用户运动模式中的一个用户运动模式确定的概率大于预定义的第一概率阈值,并且响应于将第一传感器信号输入到机器学习分类器中,为所述用户运动模式确定的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈
值。本段所描述的特征结合第十三示例形成第十四示例。
24.可以在以下情况下确定用于机器学习分类器的训练数据向量:第二传感器信号未被分类为用户输入,响应于将第一传感器信号输入到机器学习分类器中,为多个用户运动模式中分配给用户输入的用户运动模式确定的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈值,响应于在机器学习分类器中输入第三传感器信号,为多个用户运动模式中分配给用户输入的用户运动模式确定的概率大于预定义的第一概率阈值。本段所述的特征结合第十四示例形成第十五示例。
25.该方法还可以包括:将训练数据向量存储在fifo存储器中。本段中描述的特征结合第一示例至第十五示例中的一个或多个形成第十六示例。
26.机器学习分类器可以是经过预训练的机器学习分类器。本段中描述的特征结合第一示例至第十六示例中的一个或多个形成第十七示例。
27.该方法还可以包括:使用训练数据向量额外训练机器学习分类器。本段所述特征结合第十七示例形成第十八示例。额外的训练可以在传感器内部进行(例如借助于本地学习)。这具有增加用户数据保护的效果。
28.使用训练数据向量对机器学习分类器的附加训练可以包括:响应于分配给训练数据向量的第一传感器信号输入到机器学习分类器中,确定每个预给定用户运动模式的每个预给定用户运动模式的概率;借助于损失函数,使用分配给训练数据向量的用户运动模式和借助于机器学习分类器确定的用户运动模式的概率来确定损失值;机器学习分类器的额外训练使得借助于损失函数使用训练数据向量确定的损失值减小。本段所述的特征结合第十八示例构成了第十九示例。
29.使用训练数据向量对机器学习分类器的额外训练可以包括:响应于分配给训练数据向量的第一传感器信号输入到机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;借助于损失函数,使用分配给训练数据向量的用户运动模式和借助于机器学习分类器确定的所述用户运动模式的概率来确定损失值;以及使用所确定的损失值额外训练机器学习分类器。本段所述特征结合第十八示例或第十九示例构成第二十示例。
30.借助于传感器获取第一传感器信号和第二传感器信号可以包括:在第一时间范围内获取第一传感器信号,以及在第二时间范围内获取第二传感器信号,其中第一时间范围在第二个时间范围之前开始。使用训练数据向量对机器学习分类器的额外训练可以包括:预处理分配给训练数据向量的第一传感器信号,使得第一传感器信号的第一时间范围减小到小于第一时间范围的时间范围;使用经过预处理的第一传感器信号和分配给训练数据向量的用户运动模式对机器学习分类器进行额外训练。本段中描述的特征结合第十八示例至第二十示例中的一个或多个形成第二十一示例。
31.训练数据向量可以是假阴性训练数据向量。确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为预给定用户运动模式可以包括:响应于第一传感器信号输入到机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;如果为多个用户运动模式中的一个用户运动模式确定的概率大于预定义的第一概率阈值,则确定第一传感器信号为预给定用户运动模式;其中该方法还包括:如果第二传感器信号没有被分类为用户输入,并且如果为多个用户运动模式中分配给用户输入的
用户运动模式确定的概率小于预定义的第一概率阈值和大于预定义的第二概率阈值,则确定用于机器学习分类器的假阳性训练数据向量,其中假阳性训练数据向量具有第一传感器信号和分配给用户输入的用户运动模式。本段中描述的特征与第一示例至第二十一示例中的一个或多个组合形成第二十二示例。
32.该方法还可以包括:借助于传感器获取第三传感器信号;响应于第三传感器信号输入到机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;其中在以下情况下为机器学习分类器确定假阳性训练数据向量:第二传感器信号未被分类为用户输入,响应于第一传感器信号输入到机器学习分类器中,为多个用户运动模式中分配给用户输入的用户运动模式确定的概率小于预定义的第一概率阈值且大于预定义的第二概率阈值,并且响应于在机器学习分类器中输入第三传感器信号,为多个用户运动模式中分配给用户输入的用户运动模式确定的概率小于预定义的第一概率阈值。本段中描述的特征结合第二十二示例形成第二十三示例。
33.该方法还可以包括:将假阳性训练数据向量存储在附加的fifo存储器中。本段中描述的特征与第二十二示例或第二十三示例相结合形成第二十四示例。
34.该方法还可以包括:使用假阳性训练数据向量和/或假阴性训练数据向量对机器学习分类器进行额外训练。本段中描述的特征与第二十二示例至第二十四示例中的一个或多个组合形成第二十五示例。
35.该方法还可以包括:确定所述设备是否处于睡眠模式和/或电池充电模式;其中如果所述设备处于睡眠模式和/或电池充电模式,则使用假阳性训练数据向量和/或假阴性训练数据向量额外地训练机器学习分类器。本段所描述的特征结合第二十五示例形成第二十六示例。
36.计算机程序产品可以存储程序指令,如果执行所述程序指令,则所述程序指令执行根据第一示例至第二十六示例中的一个或多个的方法。具有本段中描述的特征的计算机程序产品形成第二十七示例。
37.非易失性存储介质可以存储程序指令,如果执行所述程序指令,则所述程序指令执行第一示例至第二十六示例中的一个或多个的方法。具有本段中描述的特征的非易失性存储介质形成第二十八示例。
38.非易失性存储介质可以存储程序指令,如果执行所述程序指令,则所述程序指令执行第一示例至第二十六示例中的一个或多个的方法。具有本段所述特征的非易失性存储介质形成第二十九示例。
39.传感器可以具有:一个或多个传感器元件,其被设置为获取第一传感器信号和第二传感器信号;计算机,其被设置为响应于在机器学习分类器中输入第一传感器信号确定机器学习分类器是否将第一传感器信号分类为预给定用户运动模式;响应于在分类模型中输入第二传感器信号确定分类模型是否将第二传感器信号分类为用于控制设备的预给定用户输入,其中所述用户输入被分配给用户运动模式;如果第二传感器信号已经被分类为预给定用户输入,并且如果第一传感器信号未被分类为用户运动模式,则为机器学习分类器确定训练数据向量,其中所述训练数据向量具有第一传感器信号和所述用户运动模式。具有本段中描述的特征的传感器形成第三十一示例。
40.计算机还可以被设置为使用训练数据向量来训练机器学习分类器。本段所描述的
特征结合第三十示例或第三十一示例形成第三十二示例。
41.接口,该接口被设置为将用于控制设备的指令传送到所述设备的执行装置。本段中描述的特征与第三十示例至第三十二示例中的一个或多个组合形成第三十三示例。
42.计算机还可以被设置为确定所述设备是否处于睡眠模式和/或电池充电模式;以及如果所述设备处于睡眠模式和/或电池充电模式,则所述计算机可以被设置为使用训练数据向量来训练机器学习分类器。本段中描述的特征结合第三十三示例形成第三十四示例。
43.所述计算机可以进一步被设置为,如果第一传感器信号已被分类为用户运动模式,其中所述指令被分配给用户运动模式;和/或如果第二传感器信号已被分类为用户输入,其中所述指令被分配给用户输入,则借助于所述接口将指令传送到所述执行装置。本段所述的特征与第三十三示例或第三十四示例相结合形成第三十五示例。
44.一种系统可以包括根据第三十三示例至第三十五示例中的一个或多个的传感器。该系统还可以具有执行装置,该执行装置被设置为从传感器接收指令并且执行分配给接收到的指令的一个或多个控制动作。具有本段所述特征的系统形成第三十六示例。
附图说明
45.本发明的实施例在附图中示出并且在下面的描述中更详细地加以解释。
46.图1a至1m示出了根据各种实施例的传感器;图2a至图2e示出了根据各种实施例的示例性检测到的信号;图3a和3b示出了具有根据各种实施例的传感器的系统;图4示出了为根据各种实施例的传感器中的机器学习分类器生成训练数据的方法;图5示出了为根据各种实施例的传感器中的机器学习分类器生成训练数据的方法。
具体实施方式
47.在一个实施例中,“计算机”可以被理解为任何类型的逻辑实现实体,其可以是硬件、软件、固件或其组合。因此,在一个实施例中,“计算机”可以是硬连线逻辑电路或可编程逻辑电路,例如可编程处理器,例如微处理器(例如,cisc(大型指令集处理器)或risc(精简指令集处理器))。“计算机”还可以是由处理器实现或执行的软件,例如任何类型的计算机程序,例如使用诸如java的虚拟机代码的计算机程序。与替代实施例一致,以下更详细地描述的相应功能的任何其他类型的实现可以被理解为“计算机”。
48.智能传感器可以借助于为许多用户通用化的机器学习分类器来识别用户的运动模式。然而,特定于用户的运动模式可以不同于通用的运动模式。因此,可能有必要特定于用户地训练通用机器学习分类器。特定于用户的训练数据对于通用机器学习分类器的特定于用户的训练是必要的。因此,可能还需要生成特定于用户的训练数据。各种实施例涉及用于在设备中使用传感器期间为所述传感器中的机器学习分类器生成训练数据的装置和方法。设备显然可以具有带有经过预训练的机器学习分类器的传感器,并且在用户使用该设备期间,还可以专门针对该用户对机器学习分类器进行额外训练。
49.图1a至图1m示出了根据各种实施例的传感器100。传感器100可以是例如智能传感器(例如smart senor)。
50.图1a示出了根据各种实施例的传感器100。传感器100可以包括一个或多个传感器元件102。例如,传感器100可以具有选自由以下组成的组中的一个或多个传感器元件102:加速度传感器、转速传感器、磁场传感器、压力传感器、触摸传感器等。例如,加速度传感器可以设置为确定在三个空间方向中的每一个空间方向上的加速度(例如加速度向量)。例如,转速传感器(drehratensensor)可以被设置为确定三个空间方向的每一个空间方向上的转速(例如转速向量)。例如,磁场传感器可以被设置为确定三个空间方向中的每一个空间方向(例如磁场向量)上的磁场(例如磁场变化)。例如,压力传感器可以设置为检测压力(例如标量压力值)。根据各种实施例,一个或多个传感器元件102中的至少一个传感器元件可以是微机械传感器元件。
51.一个或多个传感器元件102可以被设置为获取第一传感器信号104。一个或多个传感器元件102可以被设置为获取第二传感器信号104。一个或多个传感器元件102可以被设置为在第一时间范围内获取第一传感器信号104。一个或多个传感器元件102可以被设置为在第二时间范围内获取第二传感器信号106。第一时间范围可以在第二时间范围之前开始。例如,第二传感器信号106的开始可以位于第一传感器信号104的开始之后。根据各种实施例,可以在第一传感器信号104之后检测第二传感器信号106。
52.传感器100还可以包括计算机108。如上所述,计算机108可以是任何类型的逻辑实现实体。例如,计算机108可以包括一个或多个处理器。计算机108可以被设置为处理由一个或多个传感器元件102检测到的传感器信号(例如第一传感器信号104,例如第二传感器信号106)。根据各种实施例,一个或多个传感器元件102可以被设置为提供数字传感器信号并且计算机108可以被设置为处理数字传感器信号。
53.参考图1b,一个或多个传感器元件102可以具有第一传感器元件102a和第二传感器元件102b。第一传感器元件102a可以被设置为获取第一传感器信号104。第二传感器元件102b可以被设置为获取第二传感器信号106。根据各种实施例,第一传感器元件102a可以被设置为检测第一物理变量(例如加速度,例如转速,例如磁场)。第二传感器元件102b可以被设置为检测第二物理变量(例如加速度,例如压力,例如温度变化)。第二物理变量可以不同于第一物理变量。
54.根据各种实施例,一个或多个传感器元件102可以具有多个传感器元件。例如,一个或多个传感器元件102可以具有多个第一传感器元件和多个第二传感器元件。多个第一传感器元件中的每个第一传感器元件可以获取第一传感器信号104。多个第一传感器元件中的一个或多个第一传感器元件可以检测彼此不同的物理变量。多个第二传感器元件中的每个第二传感器元件可以获取第二传感器信号106。多个第二传感器元件中的一个或多个第二传感器元件可以检测彼此不同的物理变量。
55.下面基于第一传感器信号104和第二传感器信号106来描述实施例。然而,需要指出的是,可以使用多个第一传感器信号(其例如借助于多个第一传感器元件获取)和/或多个第二传感器信号(其例如借助于多个第二传感器元件获取)。例如,可以对多个第一传感器信号执行下面针对第一传感器信号104描述的处理(例如一起,例如借助于机器学习分类器处理多个第一传感器信号中的所有第一传感器信号,例如先后地,其中多个第一传感器
信号中的每个第一传感器信号可以被相应地处理成第一传感器信号104)。例如,可以对多个第二传感器信号执行下面针对第二传感器信号106描述的处理(例如一起,例如借助于分类模型处理多个第二传感器信号中的所有第二传感器信号,例如先后地,其中多个第二传感器信号中的每个第二传感器信号可以被相应地处理为第二传感器信号106)。还要指出,这也适用于这里描述的第三传感器信号。
56.第一传感器信号104可以被分配给用户运动模式(例如手势)。例如,第一传感器元件102a可以具有加速度传感器、转速传感器、磁场传感器或压力传感器。例如,设备可以具有传感器100并且设备100可以与用户连接(例如由该用户佩戴,例如智能手表),使得借助于第一传感器元件102a获取的第一传感器信号104(例如智能手表的激活手势)是由用户运动产生的。可以将第二传感器信号106分配给用户输入(例如,借助于传感器元件检测到的来自用户的输入)。例如,可以借助于加速度传感器获取用户输入。例如,该设备可以具有输入装置,例如触敏屏、一个或多个按键、一个或多个按钮等,并且用户可以借助于输入装置提供输入。例如,用户的输入可以借助于第二传感器元件102b获取为第二传感器信号106。根据各种实施例,第二传感器元件102b可以高度准确地获取用户输入(例如,借助于加速度传感器检测到的输入,例如按下按钮,例如触摸触敏屏)。例如,借助于第二传感器元件102b对第二传感器信号106的获取可以非常可靠地(例如明确地)分配给用户输入(例如,由于用户输入借助于加速度传感器获取的第二传感器信号106具有比运动模式更大的信号强度,例如如果触摸触敏屏,则借助于触敏屏获取第二传感器信号106,并且如果未触摸触敏屏,则未获取第二传感器信号106,例如如果触摸触敏屏,则获取第二传感器信号106,并且如果未触摸触敏屏,则未获取第二传感器信号106)。
57.根据各种实施例,传感器100可以具有第一存储设备110。第一存储设备110可以被设置为存储传感器信号(例如第一传感器信号104,例如第二传感器信号106)。第一存储设备110可具有至少一个存储器。实施例中使用的存储器可以是诸如dram(动态随机存取存储器)的易失性存储器,也可以是诸如prom(可编程只读存储器)、eprom(可擦除prom)、eeprom(电可擦除prom)的非易失性存储器或闪存,例如具有浮栅的存储器装置、电荷捕获存储器装置、mram(磁阻随机存取存储器)或pcram(相变直接存取存储器)。第一存储设备110可以被设置为存储传感器信号并将传感器信号提供给计算机108。根据各种实施例,第一存储设备110可以是环形存储器。环形存储器可以被设置为连续存储由一个或多个传感器元件102获取的信号。环形存储器可以被设置为在预给定时间段之后和/或根据环形存储器中环形存储器的预给定最大存储器占有率来覆盖由一个或多个传感器元件102获取的信号。例如,环形存储器可以设置为存储获取的信号长达约20秒(例如,长达约10秒)。
58.根据各种实施例,一个或多个传感器元件102可以获取连续信号。例如,传感器100可以被设置为连续获取和处理信号(例如为了识别用户运动模式和/或用户输入)。例如,可以在大约10khz到大约1khz的频率下获取连续信号。例如,连续信号可以作为数字信号提供。例如,可以为借助于一个或多个传感器元件102检测到的物理变量提供数字值(例如具有大约8位至大约16位的分辨率)。
59.根据各种实施例,一个或多个传感器元件102中的每个传感器元件可以获取连续信号。例如,传感器100可以被设置为借助于一个或多个传感器元件102中的每个传感器元件连续获取和处理信号(例如为了识别用户运动模式和/或用户输入)。例如,一个或多个传
感器元件102的每个传感器元件可以检测与一个或多个传感器元件102的一个或多个其他传感器元件不同的物理量。
60.计算机108可以被设置为在预给定的时间间隔(例如预给定的时钟)将预定义的先前时间范围内的连续信号的信号确定为传感器信号。计算机108可以被设置为确定在从大约10hz到大约10khz的范围中选择的预给定时钟下(例如,在100hz的时钟下,例如在1khz的时钟下)的信号。例如,可以从大约0.5s到大约10s的范围(例如在10hz的时钟下,例如在1khz的时钟下)选择先前时间范围。根据各种实施例,可以根据要获取的用户运动模式的平均持续时间(例如在从大约1秒到大约3秒的范围内)来选择先前时间范围。根据各种实施例,可以根据要获取的用户输入的平均持续时间来选择先前时间范围。例如,可以根据要获取的用户运动模式的平均持续时间为第一传感器元件102a选择第一先前时间范围。例如,可以根据要获取的用户输入的平均持续时间为第二传感器元件102b选择第二先前时间范围。根据各种实施例,传感器信号的确定可以是滑动窗口方法(英语:sliding window)。例如,预给定的时钟可以小于预给定的先前时间范围,从而相继地确定的传感器信号可以具有至少部分重叠的时间范围。
61.示例性传感器信号在图2a到2e中示出。为了说明传感器100,在其描述中参考了这些示例性传感器信号。应当注意,一个或多个传感器元件102可以提供分配给用户运动模式的任何类型的第一传感器信号104和分配给用户输入的任何类型的第二传感器信号106。
62.图2a示出了由一个或多个传感器元件102获取的信号作为时间的函数的曲线图200a。例如,曲线图200a中所示的信号可以是由一个或多个传感器元件102的多个传感器元件获取的多个信号的叠加。例如,显示的信号可以分配给不同的物理量。根据各种实施例,一个或多个传感器元件102中的一个传感器元件可以被设置为获取信号(例如测量信号)并且如果该信号的信号强度大于预定义的信号阈值则将获取的信号确定为传感器信号。例如,如果借助于第一传感器元件102a检测到的信号的信号强度大于预定义的第一信号阈值210,则第一传感器元件102a可以确定第一传感器信号104。例如,第一传感器元件102a可以独立于该信号强度将检测到的信号作为第一传感器信号104获取(例如,可以借助于如本文参考图1c所述的特征提取来确定获取的第一传感器信号104的特征)。 例如,第一传感器元件102a可以在第一时间范围202中获取第一传感器信号104。例如,如果借助于第二传感器元件102b检测到的信号的信号强度大于预定义的第二信号阈值212,则第二传感器元件102b可以确定第二传感器信号106。根据各种实施例,可以向一个或多个传感器元件102中的每个传感器元件分配预定义的信号阈值(例如,根据相应传感器元件的传感器类型)。例如,第二传感器元件102b可以在第二时间范围204中获取第二传感器信号106。根据各种实施例,计算机108可以被设置为确定是否在第一时间范围202开始之后的预定义时间范围206内获取第二传感器信号106。例如,计算机108可以被设置为确定是否在第一传感器信号104之后获取第二传感器信号106。如上所述,第一传感器信号104可以分配给用户运动模式并且第二传感器信号106可以分配给用户输入。计算机108可以清楚地确定用户输入是否遵循用户运动模式(例如,用户输入是否响应于用户运动模式)。
63.参考图1c,计算机108可以被设置为实现经过预训练的机器学习分类器。根据各种实施例,机器学习分类器已经被预训练,使得经过预训练的机器学习分类器响应于传感器信号(例如第一传感器信号104)的输入而对传感器信号进行分类。如本文所述,机器学习分
类器可以是任何类型的分类器,其可以借助于机器学习加以适配(例如,训练)。根据各种实施例,将传感器信号输入到机器学习分类器中可以包括用于确定传感器信号的特征的特征提取和借助于机器学习分类器处理传感器信号的所确定的特征。例如,机器学习分类器可以是决策树、随机森林分类器、梯度提升分类器、支持向量机、最近邻分类器等,并且将传感器信号输入到机器学习分类器中可以具有特征提取,并且机器学习分类器可以使用所确定的特征进行分类。例如,可以在特征表中输出借助于特征提取确定的传感器信号的特征。借助于特征提取确定的传感器信号的特征可以具有例如传感器信号的平均值、传感器信号的最小值、传感器信号的最大值、传感器信号的均方值、幅度、与测试函数的互相关等。例如,机器学习分类器可以是神经网络,而传感器信号可以直接输入(例如,无需先前的特征提取)到神经网络中。
64.下面使用神经网络114作为机器学习分类器来描述实施例。然而,需要指出的是,机器学习分类器如上一段所述也可以具有或者是可以借助于机器学习训练的另一种类型的分类器,并且对不同类型的分类器可以进行特征提取。
65.根据各种实施例,借助于计算机108实现的神经网络114已经经过了预训练,即经过预训练的神经网络114响应于传感器信号的输入(例如第一传感器信号104)来对传感器信号分类。例如,经过预训练的神经网络114可以将传感器信号分类为用户运动模式或将传感器信号分类为非用户运动模式。例如,经过预训练的神经网络114可以响应于传感器信号的输入将传感器信号分类为多个预给定用户运动模式中的预给定用户运动模式或分类为非多个预给定用户运动模式中的预给定用户运动模式。根据各种实施例,经过预训练的神经网络可以是分类网络并且可以被设置为响应于传感器信号的输入确定多个类别中的每个类别的概率。多个类别中的每个类别可以被分配给多个预定用户运动模式中的一个预给定用户运动模式。例如,计算机108可以被设置为,如果经过预训练的神经网络114确定多个类别中分配给预给定用户运动模式的类别的概率大于预定义的概率阈值,则确定所述预给定用户运动模式。例如,如果经过预训练的神经网络114为多个类别中的每个类别确定小于预定义概率阈值的概率,则计算机108可以确定没有获取到预给定用户运动模式。
66.根据各种实施例,可以针对描述多个用户运动模式的传感器信号(例如来自加速度传感器、转速传感器、压力传感器或磁场传感器的传感器信号)预训练神经网络114。例如,可能已经针对来自各种用户的用户运动模式对神经网络114进行了预训练。例如,训练数据集可以具有多个传感器信号。多个传感器信号中的每个传感器信号可以被分配给多个用户运动模式中的一个用户运动模式。训练数据集可以具有用用户运动模式标记(例如,表征)的传感器信号(例如,恰好一个用户运动模式被分配给多个传感器信号中的每个传感器信号)。
67.例如,可以将多个传感器信号分配给多个用户运动模式中的每个用户运动模式。多个传感器信号中的传感器信号可以具有多个用户(例如不同年龄的用户,例如不同地理来源的用户,例如不同性别的用户等)的运动模式。
68.看起来传感器信号可以描述用户的运动模式,而训练数据集可以针对多个运动模式中的每个运动模式具有多个传感器信号,并且训练数据集可以针对每个运动模式具有多个用户的传感器信号。神经网络114可以被预训练为使得神经网络114响应于多个传感器信号中传感器信号的输入将该传感器信号分类为多个用户运动模式中的用户运动模式或分
类为非多个用户运动模式中的用户运动模式,将借助于神经网络114确定的用户运动模式与分配给该传感器信号的用户运动模式进行比较并确定错误,并且使用该错误对神经网络114进行训练(例如以减少错误)。这可以针对训练数据集的多个传感器信号中的每个传感器信号执行。
69.如上所述,神经网络114可以被设置为确定多个类别中的每个类别的概率。可以为训练数据集的多个传感器信号中的每个传感器信号分配一个类别(例如分配给用户运动模式的类别)。根据各种实施例,神经网络114可以被预训练为使得神经网络114响应于多个传感器信号中的传感器信号的输入,针对该传感器信号确定多个类别中的每个类别的概率,借助于损失函数确定分配给传感器信号的类别与为该类别确定的概率之间的损失值,并且使用损失值训练神经网络114,使得减小损失值。这可以针对训练数据集的多个传感器信号中的每个传感器信号执行。
70.如上所述,传感器100可以具有可以获取多个第一传感器信号的多个第一传感器元件。这里描述的神经网络114可以被设置为响应于多个第一传感器信号的输入,将多个第一传感器信号分类为多个用户运动模式中的预给定用户运动模式。例如,经过预训练的神经网络114可以被设置为处理来自加速度传感器、转速传感器、压力传感器和/或磁场传感器的传感器信号。神经网络114的预训练可以基本上对应于上述预训练,其中训练数据集的多个传感器信号中的每个上述传感器信号具有多个传感器信号。
71.预先训练的神经网络114可以被设置为响应于第一传感器信号104的输入,将第一传感器信号104分类为预给定用户运动模式(例如,分类为手势)或将第一传感器信号104分类为非预给定用户运动模式。经过预训练的神经网络114可被设置为响应于第一传感器信号104的输入,将第一传感器信号104分类为多个预给定用户运动模式中的预给定用户运动模式或将第一传感器信号104分类为非多个预给定用户运动模式中的预给定用户运动模式。计算机108可以被设置为确定118经过预训练的神经网络114是否响应于第一传感器信号104的输入将第一传感器信号104分类为预给定用户运动模式(例如,多个预给定用户运动模式中的预给定用户运动模式)。
72.计算机108也可以被设置为实现分类模型116。分类模型116可以被设置为处理第二传感器信号106。分类模型116可以被设置为将第二传感器信号106分类为预给定用户输入或分类为非预给定用户输入。用户输入可以是用于控制设备(例如具有传感器100的设备,例如用于执行所述设备的控制动作的用户输入)的用户输入。分类模型116可以被设置为将第二传感器信号106分类为多个预给定用户输入中的预给定用户输入或者分类为非多个预给定用户输入中的预给定用户输入。多个预给定用户输入中的每个预给定用户输入可以被(例如双射地)分配给多个预给定用户运动模式中的(例如恰好一个)预给定用户运动模式。计算机108可以被设置为确定120分类模型116是否响应于第二传感器信号106的输入将第二传感器信号106分类为预给定用户输入(例如,多个预给定用户输入中的预给定用户输入)。
73.根据各种实施例,计算机108可以被设置为,如果第二传感器信号106已经被分类为预给定用户输入并且如果第一传感器信号104没有被分类为用户运动模式已分配给预给定用户输入的用户运动模式,则确定用于神经网络114的训练数据向量122。图2a示出了已被分类为预给定用户输入的示例性第二传感器信号106和未被分类为分配给预给定用户输
入的用户运动模式的示例性第一传感器信号104。
74.如上所述,用于训练神经网络114的训练数据集对于每个传感器信号可以具有所分配的用户运动模式。训练数据向量122可以包括第一传感器信号104和分配给第一传感器信号的用户运动模式(例如,分配给用户输入的用户运动模式)。根据各种实施例,可以使用训练数据向量122额外地(例如,特定于用户地)训练经过预训练的神经网络114。
75.看起来可以响应于用户的运动(例如手势)而获取了第一传感器信号104,其中神经网络114没有将该运动识别为预给定运动模式。第二传感器信号106可以是用户响应于未被识别为预给定运动模式的用户运动的输入,以便例如执行设备的分配给预给定运动模式和分配给用户输入的控制动作。看起来计算机108可以确定用户的运动应该引起期望的控制动作,并且计算机108可以被设置为确定第一传感器信号104和分配给期望控制动作的用户运动模式作为训练数据向量122。看起来训练数据向量122表示用于特定于用户地训练神经网络114的特定于用户的训练数据向量。
76.参考图1d,计算机108可以被设置为向设备传送用于控制设备的指令124。计算机108可以被设置为,如果第一传感器信号104已被分类为预给定用户运动模式(例如多个预给定用户运动模式的预给定用户运动模式),则将用于控制设备的第一指令124a传送到设备。第一指令124a可以被分配给用户运动模式。看起来用户可以借助于预给定用户运动模式意图对设备进行期望的控制动作,并且第一指令124a可以是用于执行期望的控制动作的指令。图2b示出了具有已被分类为预给定用户运动模式的示例性第一传感器信号104的曲线图200b。
77.计算机108可以被设置为,如果第二传感器信号106已被分类为预给定用户输入(例如,多个预给定用户输入中的预给定用户输入),则将用于控制设备的第二指令124b传送到设备。第二指令124b可以被分配给用户输入。看起来用户可以借助于用户输入意图进行设备的期望控制动作,并且第二指令124b可以是用于执行期望控制动作的指令。
78.根据各种实施例,如上所述,可以执行滑动窗口方法,其中计算机108可以使用借助于一个或多个传感器元件102获取的连续信号来确定多个传感器信号。多个传感器信号的相继的传感器信号的时间范围可以至少部分重叠。例如,计算机108可以使用借助于第一传感器元件102a获取的连续信号来确定第一多个传感器信号。例如,计算机108可以使用借助于第二传感器元件102b获取的连续信号来确定第二多个传感器信号。计算机108可以被设置为针对第一多个传感器信号中的每个传感器信号确定神经网络114是否响应于相应传感器信号的输入而将该传感器信号分类为预给定用户运动模式。计算机108可以被设置为针对第二多个传感器信号中的每个传感器信号确定分类模型116是否响应于相应传感器信号的输入将该传感器信号分类为预给定用户输入。
79.根据各种实施例,计算机108可以被设置为确定第一多个传感器信号中已借助于神经网络114在预定时间范围内(例如在大约三秒内,例如在大约五秒内,例如在大约十秒内)分类为预给定用户运动模式(例如,多个用户运动模式中的相同用户运动模式)的传感器信号的第一数量。计算机108可以被设置为,如果预给定用户运动模式的第一数量大于第一数量阈值(例如大于一个),则仅向所述设备发送用于控制设备的第一指令124a一次。看起来对于重叠的时间范围可以将多个传感器信号识别为用户控制设备的运动,并且计算机108可以向设备仅传送第一指令124a,从而例如不多次执行控制动作。
80.根据各种实施例,计算机108可以被设置为确定第二多个传感器信号中已借助于分类模型116在预定义时间范围内(例如在大约三秒内,例如大约五秒内,例如大约十秒内)分类为预给定用户输入(例如多个用户输入中的相同用户输入)的传感器信号的第二数量。计算机108可以被设置为,如果针对预给定用户输入的第二数量大于第二数量阈值(例如,大于一),则仅向设备传送用于控制设备的第二指令124b一次。看起来对于重叠的时间范围,可以将多个传感器信号识别为用户用于控制设备的输入,并且计算机108可以向设备仅传送第二指令124b,从而例如不多次执行控制动作。
81.根据各种实施例,计算机108可以被设置为在相同的预定义时间范围内确定第一数量和第二数量的总和。计算机108可以被设置为,如果第一数量和第二数量的总和大于第三数量阈值(例如,大于一),则仅向设备传送一个用于控制设备的指令120。通过这种方式,看起来可以防止控制动作的多次激活。
82.例如,可以为多个传感器信号中的每个传感器信号分配时间戳,并且计算机108可以被设置为使用分配的时间戳确定预定义时间范围内的传感器信号的相应数量。
83.以类似的方式,计算机108可以被设置为确定在预定义时间范围内(例如在大约三秒内,例如在大约五秒内,例如在大约十秒内)被确定为预给定用户运动模式(例如多个用户运动模式中的相同用户运动模式)的训练数据向量的数量。计算机108可以被设置为,如果对于多个用户运动模式中的相同用户运动模式已经在预定义时间范围内确定了多个训练数据向量,则仅将训练数据向量存储一次(例如,在假阴性训练数据向量的情况下存储在第二存储设备140中,例如在假阳性训练数据向量的情况下存储在第三存储设备142中;参见图1i)。根据各种实施例,预定义时间范围可以是大约1天,并且如果一天内所确定的训练数据向量的数量大于预定义误差阈值(例如,大于100),则计算机108可以确定故障。
84.参考图1e,一个或多个传感器元件102可以被设置为获取第三传感器信号126。例如,第一传感器元件102a也可以被设置为获取第三传感器信号126。第三传感器信号126可以分配给用户运动模式(例如手势)。
85.根据各种实施例,经过预训练的神经网络114可以被设置为处理第三传感器信号126。经过预训练的神经网络114可被设置为响应于第三传感器信号126的输入,将第三传感器信号126分类为预给定用户运动模式或将第三传感器信号126分类为非预给定用户运动模式。经过预训练的神经网络114可被设置为响应于第三传感器信号126的输入,将第三传感器信号126分类为多个预给定用户运动模式中的预给定用户运动模式或将第三传感器信号126分类为非多个预给定用户运动模式中的预给定用户运动模式。计算机108可以被设置为确定128经过预训练的神经网络114是否响应于第三传感器信号126的输入将第三传感器信号126分类为预给定用户运动模式(例如多个预给定用户运动模式中的预给定用户运动模式)。
86.根据各种实施例,经过预训练的神经网络114如上所述可以被设置为响应于传感器信号的输入来确定多个预给定用户运动模式中的每个预给定用户运动模式的概率。例如,经过预训练的神经网络114可以被设置为响应于传感器信号的输入来确定多个第一类别中的每个第一类别的概率。多个第一类别中的每个第一类别可以被分配(例如,双射分配)到多个预给定用户运动模式中的预给定用户运动模式。计算机108可以被设置为,如果经过预训练的神经网络114确定预给定用户运动模式的概率大于预定义的第一概率阈值,
则将第一传感器信号104确定为多个用户运动模式中的预给定用户运动模式。计算机108可以被设置为确定118经过预训练的神经网络114是否响应于第一传感器信号104的输入确定了多个预给定用户运动模式中的预给定义用户运动模式的借助于神经网络114确定的概率大于预定义的第一概率阈值。预定义的第一概率阈值可以例如具有从大约0.5到大约1的范围中选择的概率值(例如0.9的概率值,例如0.8的概率值,例如0.7的概率值,例如0.6的概率值)。
87.计算机108可以被设置为确定130经过预训练的神经网络114是否响应于第一传感器信号104的输入确定多个预给定用户运动模式中的预给定用户运动模式的借助于神经网络114确定的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈值。预定义的第二概率阈值可以小于预定义的第一概率阈值。预定义的第二阈值可以例如具有从大约0.25到大约0.8的范围中选择的概率值(例如0.8的概率值,例如0.7的概率值,例如0.6的概率值,例如概率值0.5,例如0.3的概率值)。
88.计算机108可以被设置为如果响应于第三传感器信号126输入到神经网络114中,针对多个用户运动模式中的用户运动模式确定的概率大于预定义的第一概率阈值,并且如果响应于第一传感器信号104输入到神经网络114中,为用户运动模式确定的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈值,则确定训练数据向量122。图2c示出了具有示例性第一传感器信号104以及示例性第三传感器信号126的曲线图200c,针对该示例性第一传感器信号104已经确定用户运动模式的概率小于第一概率阈值并且大于第二概率阈值,针对示例性第三传感器信号126已经确定了用户运动模式的概率大于第一概率阈值。可以在第三时间范围214中检测到第三传感器信号126。第一时间范围202可以在第三时间范围214之前开始。例如,第三传感器信号126的开始可以发生在第一传感器信号104的开始之后。根据各种实施例,可以在第一传感器信号104之后检测到第三传感器信号126(例如,在预定义时间范围206内检测到)。
89.看起来可以响应于用户的第一运动(例如手势)而获取第一传感器信号104,其中神经网络114不将第一运动识别为预给定运动模式,因为借助于神经网络114确定的预定运动模式的概率小于预定义的第一概率阈值。也可以响应于用户的第二运动而获取第三传感器信号126,其中神经网络114将第二运动识别为预给定运动模式,因为通过神经网络114确定的预给定运动模式的概率大于预定义的第一概率阈值。例如,第二运动可能响应于用户的没有被识别为预给定运动模式的第一运动而进行,因为例如没有执行设备的分配给第一运动的运动模式的控制动作。看起来计算机108可以确定如果为第一传感器信号104所确定的概率大于第二概率阈值,则用户的第一运动应引发期望的控制动作,并且计算机108可被设置为确定第一传感器信号104和分配的用户运动模式作为训练数据向量122。
90.如图1f所示,计算机108可以被设置为,如果响应于第三传感器信号126输入到神经网络114中,神经网络114确定用户运动模式的概率大于第一概率阈值,则将分配给该用户运动模式的第一指令124a传送给设备。
91.训练数据向量122可以是假阴性训练数据向量。参考图1g,计算机108可以被设置为,如果神经网络114针对第一传感器信号104确定多个用户运动模式中的用户运动模式的概率(例如,概率值)小于预定义的第一概率阈值(118中的“否”),并且如果响应于第二传感器信号106的输入,分类模型116没有将第二传感器信号106确定为分配给用户运动模式的
用户输入(120中的“否”),则确定第一假阴性训练数据向量122a。第一假阴性训练数据向量122a可以包括第一传感器信号104和所分配的用户运动模式。计算机108可以被设置为,如果神经网络114针对第一传感器信号104确定多个用户运动模式的用户运动模式的概率(例如概率值)小于预定义的第一概率阈值(118中的“否”)并且大于预定义的第二概率阈值(130中的“是”),如果神经网络114针对第三传感器信号126确定用户运动模式的概率(例如,概率值)大于预定义的第一概率阈值(128中的“是”),并且如果分类模型116响应于第二传感器信号106的输入没有将第二传感器信号106确定为分配给用户运动模式的用户输入(120中的“否”),则确定第二假阴性训练数据向量122b。第二假阴性训练数据向量122b可以包括第一传感器信号104和所分配的用户运动模式。
92.参考图1h,计算机108可以被设置为确定假阳性训练数据向量132。计算机108可以被设置为如果神经网络114针对第一传感器信号104确定多个用户运动模式的用户运动模式的概率(例如概率值)小于预定义的第一概率阈值(118中的“否”)并且大于预定义的第二概率阈值(130中的“是”),如果神经网络114针对第三传感器信号126确定用户运动模式的概率(例如,概率值)小于预定义的第一概率阈值(128中的“是”),并且如果分类模型116响应于第二传感器信号106的输入没有将第二传感器信号106确定为分配给用户运动模式的用户输入(120中的“否”),则确定假阳性训练数据向量132。假阳性训练数据向量132可以具有第一传感器信号104和所分配的用户运动模式。图2d示出了具有示例性第一传感器信号104的曲线图200d,针对该示例性第一传感器信号104已经确定用户运动模式的概率小于第一概率阈值并且大于第二概率阈值,并且其中在第一传感器信号104的第一时间范围202之后的预定义的时间范围206内,既没有获取已经被分类为分配给用户运动模式的用户输入的第二传感器信号106,也没有获取已经被分类为用户运动模式的第三传感器信号126。
93.看起来可以响应于用户的运动(例如手势)而获取第一传感器信号104,其中神经网络114不将该运动识别为预给定用户运动模式,但是仍然确定预给定用户运动模式的概率大于预定义的第二概率阈值。例如,一个或多个传感器元件102可以在获取了第一传感器信号104之后的预定义时间范围内(例如在分配给第一传感器信号104的第一时间范围202开始之后的预定义时间范围206内)确定高于分别分配的信号阈值的传感器信号。例如,一个或多个传感器元件102可以在预定义的时间范围内获取第二传感器信号106和第三传感器信号126。看起来用户不想进行用于执行控制动作的运动,因此既不进行附加运动也不进行用户输入,从而计算机108确定分配给第一传感器信号104的运动不代表用户的期望运动模式(例如是假阳性信号)。
94.参考图1i,传感器100可包括第二存储设备140。例如,第二存储设备140可以是第一fifo存储器(“先进先出”存储器)。第二存储设备140可以被设置为存储假阴性训练数据向量(例如第一假阴性训练数据向量122a,例如第二假阴性训练数据向量122b)。传感器100可以包括第三存储设备142。第三存储设备142例如可以是第二先进先出存储器。第三存储设备142可以被设置为存储假阳性训练数据向量(例如,假阳性训练数据向量132)。计算机108可以被设置为向第二存储设备140提供第一假阴性训练数据向量122a和/或第二假阴性训练数据向量122b。计算机108可以被设置为向第三存储设备142提供假阳性训练数据向量132。
95.根据各种实施例,计算机108可以被设置为,如果假阴性训练数据向量已经被确
定,则被分配给假阴性训练数据向量的第一传感器信号104从第一存储设备110(例如环形存储器)复制到第二存储设备140(例如第一fifo存储器)中(例如复制到第一fifo存储器的当前列表位置,然后递增第一fifo存储器的索引指针)。根据各种实施例,计算机108可被设置为,如果假阳性训练数据向量已被确定,则将分配给假阳性训练数据向量的第一传感器信号104从第一存储设备110复制到第三存储设备142(例如第二fifo存储器)中(例如复制到第二fifo存储器的当前列表位置,然后递增第二fifo存储器的索引指针)。
96.参考图1j至1m,计算机108可以被设置为使用所确定的训练数据向量(例如第一假阴性训练数据向量122a,例如第二假阴性训练数据向量122b,例如假阳性训练数据向量132)额外训练经过预训练的神经网络114。神经网络114的额外训练可以基本上对应于本文描述的神经网络114的预训练,其中训练数据集具有所确定的训练数据向量。例如,响应于所确定的训练数据向量的输入,经过预训练的神经网络114可以确定多个用户运动模式中的每个预给定用户运动模式的概率。计算机108可以被设置为借助于损失函数(例如最大似然损失函数,例如交叉熵损失函数,例如均方误差等)使用分配给相应训练数据向量的用户运动模式和借助于神经网络114确定的该用户运动模式的概率来计算损失值。可以以减小(例如最小化)损失值的方式来额外训练经过预训练的神经网络114。
97.例如,在训练数据向量是假阴性训练数据向量(例如第一假阴性训练数据向量122a,例如第二假阴性训练数据向量122b)的情况下,所分配的用户运动模式的确定的概率与“1”的偏差越大,损失函数就确定越大的损失值。看起来,假阴性训练数据向量的第一传感器信号104表示由用户执行的用于执行期望控制动作的运动模式,其中如上所述,神经网络114未将第一传感器信号104分类为用户运动模式。看起来额外训练可以导致以下事实:通过神经网络114为分配给假阴性训练数据向量的第一传感器信号104的用户运动模式确定的概率增加,使得额外训练的神经网络114能够将特定于用户的行为识别为期望的控制动作。
98.例如,在训练数据向量是假阳性训练数据向量(例如假阳性训练数据向量132)的情况下,所分配的用户运动模式的确定的概率与“0”的偏差越大,损失函数就确定越大的损失值。看起来假阳性训练数据向量的第一传感器信号104表示用户执行的不应当执行控制动作的运动模式,其中如上所述,第一传感器信号104的神经网络114以确定用户运动模式的概率大于第二概率阈值。看起来,额外训练可以导致以下事实:通过神经网络114为分配给假阳性训练数据向量的第一传感器信号104的用户运动模式确定的概率降低,使得额外训练的神经网络114能够将不应当执行控制动作的特定于用户的行为不分类为用于执行控制动作的用户运动模式。这导致额外训练的神经网络114不执行用户不希望的任何控制动作。
99.根据各种实施例,计算机108还可以被设置为预处理相应的训练数据向量并使用预处理的训练数据向量来训练预训练的神经网络114。图1k示例性地示出了对假阳性训练数据向量132的经过预处理的训练数据向量144的确定。图2e示出了假阳性训练数据向量132的在第一时间范围202中获取的示例性第一传感器信号104。计算机108可以被设置为预处理第一传感器信号104,使得第一时间范围202减小到小于第一时间范围202的第三时间范围216。看起来第一传感器信号104的例如具有低信号强度的部分可以被去掉。这例如具有降低训练数据向量的存储器需求的效果。此外,由此可以减少神经网络114的额外训练中
的计算耗费。
100.根据各种实施例,一个或多个传感器元件102可以获取多个第一传感器信号、多个第二传感器信号和多个第三传感器信号。传感器100可以被设置为使用多个第一传感器信号、多个第二传感器信号和多个第三传感器信号(例如在本文所描述的条件下)确定多个假阴性训练数据向量和多个假阳性训练数据向量。第二存储设备140可以被设置为存储多个假阴性训练数据向量中的每个假阴性训练数据向量。第三存储设备142可被设置为存储多个假阳性训练数据向量中的每个假阳性训练数据向量。参考图1l,计算机108可以被设置为确定150第二存储设备140的存储器(例如,第一fifo存储器)是否已满。例如,计算机108可以被设置为确定150是否在第二存储设备140中存储了超过预定义数量(例如超过十个,例如超过十五个,例如超过二十个)的训练数据向量。计算机108可以被设置为如果超过预定义数量的训练数据向量存储在第二存储设备140中(150中的“是”),则确定第二存储设备140已满。计算机108可以被设置为,如果计算机108确定第二存储设备140的存储器已满,则使用多个假阴性训练数据向量额外训练154神经网络114。计算机108可以被设置为确定152第三存储设备142的存储器(例如,第二fifo存储器)是否已满。例如,计算机108可以被设置为确定152是否在第三存储设备142中存储了超过预定义数量(例如超过十个,例如超过十五个,例如超过二十个)的训练数据向量。计算机108可以被设置为如果超过预定义数量的训练数据向量存储在第三存储设备142中(152中的“是”),则确定第三存储设备142已满。计算机108可以被设置为,如果计算机108确定第三存储设备142的存储器已满,则使用多个假阳性训练数据向量额外训练154神经网络114。
101.根据各种实施例,计算机108可以被设置为确定是否已经借助于一个或多个传感器元件102确定了具有大于预定义信号阈值的信号强度的信号。计算机108可以被设置为,如果计算机108确定没有信号具有大于预定义信号阈值的信号强度,则使用多个假阴性训练数据向量和/或多个假阳性训练数据向量额外训练经过预训练的神经网络114。例如,计算机108可以确定在预定义时间范围内是否没有确定信号强度大于预定义信号阈值的信号。计算机108可以被设置为如果在预定义时间范围内没有确定具有大于预定义信号阈值的信号强度的信号,则确定156传感器100处于睡眠模式。根据各种实施例,计算机108可以被设置为,如果传感器100处于睡眠模式,则额外训练154神经网络114。
102.图3a和图3b示出了具有根据各种实施例的传感器100的系统300。系统300可以具有执行装置302。系统300可以具有通信装置304。传感器100还可以具有接口306。传感器100的接口306和通信装置304可以设置为使得数据(例如指令)可以从传感器100传输到通信装置304以及从通信装置304传输到传感器。例如,接口306可以是用于与通信装置304通信的有线接口(例如串行接口,例如串行外设接口,spi)或无线接口(例如wlan,例如bluetooth等)。通信装置304还可以被设置为从执行装置302接收数据并将数据传送到执行装置302。传感器100的计算机108可以被设置为确定指令120。计算机108可以被设置为借助于接口306将指令120传送到通信装置304。通信装置304可以被设置为将指令120传送到执行装置302。执行装置302可以被设置为响应于从传感器100接收到的指令120来执行308设备的分配给所述指令的一个或多个控制动作。
103.根据各种实施例,该设备可以是例如智能电话、可穿戴设备(例如佩戴在身上和/或头上的设备,例如智能衣物、智能手表、智能眼镜等)、智能耳机等。
104.该设备可以具有系统300。例如,该设备可以是智能手表并且智能手表可以具有传感器100。例如,传感器100可以向智能手表的执行装置302发送用于执行智能手表的控制动作的指令。
105.根据各种实施例,装置可以具有传感器100,其中所述设备不具有该装置。例如,所述设备可以是智能电话,而所述装置可以是智能手表。智能手表可以具有传感器100。接口306可以是无线接口。例如,传感器100可以借助于无线接口向智能电话的执行装置302发送用于执行智能电话的控制动作的指令。
106.参考图3b,传感器100的计算机108可以被设置为借助于接口306接收关于所述设备是否处于睡眠模式的信息(例如,计算机108可以基于所确定的一个或多个传感器元件102的信号确定用户正在睡觉)。传感器100的计算机108可以被设置为借助于接口306接收关于所述设备是否处于电池充电模式的信息。根据各种实施例,计算机108可以被设置为,如果计算机108确定所述设备处于睡眠模式和/或电池充电模式(156中的“是”),则额外训练154神经网络114。
107.图4示出了用于为根据各种实施例的传感器中的机器学习分类器生成训练数据的方法400。
108.方法400可以包括借助于传感器获取第一传感器信号和第二传感器信号(在402中)。
109.方法400可以包括确定机器学习分类器是否响应于第一传感器信号的输入将第一传感器信号分类为预给定用户运动模式(在404中)。
110.方法400可以包括确定分类模型是否响应于第二传感器信号的输入而将第二传感器信号分类为预给定用户输入(在406中)。可以将用户输入分配给用户运动模式。
111.方法400可以包括:如果第二传感器信号已经被分类为预给定用户输入并且如果第一传感器信号没有被分类为预给定用户运动模式,则确定用于机器学习分类器的训练数据向量(在408中)。所述训练数据向量可以包括第一传感器信号和用户运动模式。
112.图5示出了用于为根据各种实施例的传感器中的机器学习分类器生成训练数据的方法500。
113.方法500可以包括借助于传感器获取传感器信号和附加传感器信号(在502中)。
114.方法500可以包括确定机器学习分类器是否响应于传感器信号的输入确定预给定用户运动模式的概率小于预定义的第一概率阈值且大于预定义的第二概率阈值(在504)。
115.方法500可以包括确定机器学习分类器是否响应于附加传感器信号的输入确定预给定用户运动模式的概率大于预定义的第一概率阈值(在506中)。
116.方法500可以包括:如果响应于在机器学习分类器中输入传感器信号而确定的预给定用户运动模式的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈值,并且如果响应于在机器学习分类器中输入附加传感器信号而确定的预给定用户运动模式的概率大于预定义的第一概率阈值,则确定用于机器学习分类器的训练数据向量(在508中)。所述训练数据向量可以包括传感器信号和用户运动模式。
技术特征:
1.一种用于为传感器中的机器学习分类器生成训练数据的方法,包括:
·
借助于所述传感器获取第一传感器信号和第二传感器信号;
·
确定所述机器学习分类器是否响应于所述第一传感器信号的输入将所述第一传感器信号分类为预给定用户运动模式;
·
确定分类模型是否响应于所述第二传感器信号的输入将所述第二传感器信号分类为用于控制设备的预给定用户输入,其中所述用户输入被分配给所述用户运动模式;
·
如果所述第二传感器信号已经被分类为所述预给定用户输入,并且如果所述第一传感器信号没有被分类为所述用户运动模式,则为所述机器学习分类器确定训练数据向量,其中所述训练数据向量具有所述第一传感器信号以及所述用户运动模式。2.根据权利要求1所述的方法,其中所述传感器具有多个传感器元件;以及其中借助于所述传感器获取第一传感器信号和第二传感器信号包括:
·
借助于所述多个传感器元件中的一个或多个传感器元件获取一个或多个第一传感器信号;并且
·
借助于所述多个传感器元件中的一个或多个传感器元件获取一个或多个第二传感器信号;其中确定所述机器学习分类器是否响应于所述第一传感器信号的输入将所述第一传感器信号分类为预给定用户运动模式包括:
·
确定所述机器学习分类器是否响应于所述一个或多个第一传感器信号的输入将所述一个或多个第一传感器信号分类为所述预给定用户运动模式;其中确定分类模型是否响应于所述第二传感器信号的输入将所述第二传感器信号分类为用于控制设备的预给定用户输入包括:
·
确定所述分类模型是否响应于所述一个或多个第二传感器信号的输入将所述一个或多个第二传感器信号分类为所述预给定用户输入。3.根据权利要求1或2中任一项所述的方法,还包括:
·
如果所述第二传感器信号已被分类为所述预给定用户输入;和/或
·
如果所述第一传感器信号已被分类为所述用户运动模式,则向所述设备传送用于控制所述设备的指令。4.根据权利要求1至3中任一项所述的方法,还包括:
·
借助于所述传感器获取第三传感器信号;
·
确定所述机器学习分类器是否响应于所述第三传感器信号的输入将所述第三传感器信号分类为所述预给定用户运动模式;以及
·
如果所述机器学习分类器将所述第三传感器信号分类为所述用户运动模式,则向所述设备传送用于控制所述设备的指令。5.根据权利要求1至4任一项所述的方法,其中确定所述机器学习分类器是否响应于所述第一传感器信号的输入将所述第一传感器信号分类为预给定用户运动模式包括:
·
响应于将所述第一传感器信号输入到所述机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;
·
如果针对所述多个用户运动模式中的一个用户运动模式确定的概率大于预定义的第一概率阈值,则确定所述第一传感器信号为所述预给定用户运动模式。6.根据权利要求1至5任一项所述的方法,其中所述机器学习分类器是经过预训练的机器学习分类器。7.根据权利要求6所述的方法,还包括:使用所述训练数据向量对所述机器学习分类器进行额外训练。8.根据权利要求7所述的方法,其中借助于所述传感器获取第一传感器信号和第二传感器信号包括:
·
在第一时间范围内获取所述第一传感器信号,以及
·
在第二时间范围内获取所述第二传感器信号,其中使用所述训练数据向量对所述机器学习分类器进行额外训练包括:
·
预处理分配给所述训练数据向量的第一传感器信号,使得所述第一传感器信号的第一时间范围减小到小于所述第一时间范围的时间范围;
·
使用经过预处理的第一传感器信号和分配给所述训练数据向量的用户运动模式对所述机器学习分类器进行额外训练。9.根据权利要求1至8中任一项所述的方法,其中所述训练数据向量是假阴性训练数据向量;其中确定所述机器学习分类器是否响应于所述第一传感器信号的输入将所述第一传感器信号分类为预给定用户运动模式包括:
·
响应于所述第一传感器信号输入到所述机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;
·
如果为所述多个用户运动模式中的一个用户运动模式确定的概率大于预定义的第一概率阈值,则确定所述第一传感器信号为所述预给定用户运动模式,其中所述方法还包括:
·
如果所述第二传感器信号没有被分类为所述用户输入,并且如果为所述多个用户运动模式中分配给所述用户输入的用户运动模式确定的概率小于预定义的第一概率阈值并且大于预定义的第二概率阈值,则为机器学习分类器确定假阳性训练数据向量,其中所述假阳性训练数据向量具有所述第一传感器信号和分配给所述用户输入的用户运动模式。10.根据权利要求9所述的方法,还包括:
·
借助于所述传感器获取第三传感器信号;
·
响应于所述第三传感器信号输入到所述机器学习分类器中,确定多个预给定用户运动模式中的每个预给定用户运动模式的概率;
·
其中在以下情况下为所述机器学习分类器确定所述假阳性训练数据向量:o所述第二传感器信号未被分类为所述用户输入,o响应于所述第一传感器信号输入到所述机器学习分类器中,为所述多个用户运动模式中分配给所述用户输入的用户运动模式确定的概率小于预定义的第一概率阈值且大于预定义的第二概率阈值,并且o响应于在所述机器学习分类器中输入所述第三传感器信号,为所述多个用户运动模式中分配给所述用户输入的用户运动模式确定的概率小于预定义的第一概率阈值。
11.一种非易失性存储介质,其存储程序指令,如果执行所述程序指令,则所述程序指令执行根据权利要求1至10中任一项所述的方法。12.一种传感器,其被设置为执行根据权利要求1至10中任一项所述的方法。
技术总结
公开了传感器以及用于为传感器中的机器学习分类器生成训练数据的方法,其中该方法包括:借助于所述传感器获取第一传感器信号和第二传感器信号;确定所述机器学习分类器是否响应于所述第一传感器信号的输入将所述第一传感器信号分类为预给定用户运动模式;确定分类模型是否响应于所述第二传感器信号的输入将所述第二传感器信号分类为用于控制设备的预给定用户输入,其中所述用户输入被分配给所述用户运动模式;如果所述第二传感器信号已经被分类为所述预给定用户输入,并且如果所述第一传感器信号没有被分类为所述用户运动模式,则为所述机器学习分类器确定训练数据向量,其中所述训练数据向量具有所述第一传感器信号以及所述用户运动模式。及所述用户运动模式。及所述用户运动模式。
技术研发人员:S
受保护的技术使用者:罗伯特
技术研发日:2021.09.03
技术公布日:2022/3/8