电子设备的防泄密显示方法、系统和电子设备与流程

1.本发明涉及电子设备的防偷窥的领域，且更为具体地，涉及一种电子设备的防泄密显示方法、系统和电子设备。


背景技术：

2.目前，随着显示技术与网络技术的发展，越来越多的人在网络上进行购物或者账户交易等操作，在进行上述操作过程中，操作者经常需要在电脑、手机、自动柜员机、自动取票机等显示设备上输入个人信息，从而很容易造成个人信息的泄露，因此，显示设备的防偷窥性越来越受到广泛的关注，力求保证操作者的个人信息安全。
3.然而，在电子设备的显示界面上并非所有的信息都需要隐藏显示或者以无法人眼窥视的方式显示，例如，在某些特殊行业，在传递机密信息时期望机密信息的显示是具有防偷窥的，而其他信息的显示则是正常的，例如，显示信息传递进程的信息不需要防偷窥。
4.因此，为了提高对于显示内容主题识别的准确性，以更好地实现显示设备的防偷窥功能，期望一种电子设备的防泄密显示方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种电子设备的防泄密显示方法、系统和电子设备，其通过对屏幕图像进行区域划分，并采用卷积神经网络模型以及基于转换器的上下文编码模型以充分利用所述各区域的高维图像特征之间的关联信息，从而实现了基于全局的分类。进一步再通过引入基于比较一致性因数的元加权向量来对所述语义特征向量进行加权，保证了所获得的所述语义特征向量与原特征图之间的一致性，从而尽可能提高原内容信息的保真度。这样，可以提高对于显示内容主题识别的准确性，进而避免由于关联内容没有被隐藏而造成泄密。
6.根据本技术的一个方面，提供了一种电子设备的防泄密显示方法，其包括：
7.将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；
8.对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；
9.对各个所述子特征图进行向量化以获得多个子特征向量；
10.将所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；
11.对各个所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；
12.将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；
13.计算各个所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；
14.使用所述多个一致性因数来构建多个元加权向量；
15.将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量；
16.将所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及
17.基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
18.在上述电子设备的防泄密显示方法中，将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图，包括：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；
19.其中，所述公式为：
20.fi＝active(ni×fi-1
+bi)
21.其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
22.在上述电子设备的防泄密显示方法中，对各个所述子特征图进行向量化以获得多个子特征向量，包括：对各个所述子特征图进行沿特定维度的向量投影以获得所述子特征向量。
23.在上述电子设备的防泄密显示方法中，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，包括：以如下公式计算各个所述比较矩阵的一致性因数以获得多个一致性因数，其中，所述公式为：
[0024][0025]
其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小。
[0026]
在上述电子设备的防泄密显示方法中，使用所述多个一致性因数来构建多个元加权向量，包括：使用所述多个一致性因数来以如下公式来构建所述多个元加权向量；其中，所述公式为：
[0027][0028]
其中ve是特征值λ
max
对应的特征向量。
[0029]
在上述电子设备的防泄密显示方法中，将所述多个分类特征向量分别输入分类器以获得多个分类结果，包括：将所述分类特征向量分别输入所述分类器的softmax分类函数以获得所述分类特征向量归属于对应区域的屏幕内容为隐私内容的第一概率和所述分类特征向量归属于对应区域的屏幕内容为非隐私内容的第二概率；以及，基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。
[0030]
在上述电子设备的防泄密显示方法中，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式，包括：响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；以及，响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域
的像素以第一种模式进行工作。
[0031]
根据本技术的另一方面，提供了一种电子设备的防泄密显示系统，其包括：
[0032]
显示特征图生成单元，用于将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；
[0033]
映射单元，用于对所述显示特征图生成单元获得的所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图生成单元获得的所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；
[0034]
向量化单元，用于对各个所述映射单元获得的所述子特征图进行向量化以获得多个子特征向量；
[0035]
转换器处理单元，用于将所述向量化单元获得的所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；
[0036]
全局池化单元，用于对各个所述映射单元获得的所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；
[0037]
矩阵相乘单元，用于将每个所述全局池化单元获得的所述特征矩阵和与其对应的所述转换器处理单元获得的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；
[0038]
一致性因数计算单元，用于计算各个所述矩阵相乘单元获得的所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；
[0039]
元加权向量构建单元，用于使用所述一致性因数计算单元获得的所述多个一致性因数来构建多个元加权向量；
[0040]
分类特征向量生成单元，用于将所述元加权向量构建单元获得的所述元加权向量和与其对应的所述转换器处理单元获得的所述语义特征向量进行按位置点乘以获得多个分类特征向量；
[0041]
分类单元，用于将所述分类特征向量生成单元获得的所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及
[0042]
控制单元，用于基于所述分类单元获得的所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0043]
在上述电子设备的防泄密显示系统中，所述显示特征图生成单元，进一步用于：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；其中，所述公式为：
[0044]fi
＝active(ni×fi-1
+bi)
[0045]
其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
[0046]
在上述电子设备的防泄密显示系统中，所述向量化单元，进一步用于：对各个所述子特征图进行沿特定维度的向量投影以获得所述子特征向量。
[0047]
在上述电子设备的防泄密显示系统中，所述一致性因数计算单元，进一步用于：以
如下公式计算各个所述比较矩阵的一致性因数以获得多个一致性因数，其中，所述公式为：
[0048][0049]
其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小。
[0050]
在上述电子设备的防泄密显示系统中，所述元加权向量构建单元，进一步用于：使用所述多个一致性因数来以如下公式来构建所述多个元加权向量；其中，所述公式为：
[0051][0052]
其中ve是特征值λ
max
对应的特征向量。
[0053]
在上述电子设备的防泄密显示系统中，所述分类单元，进一步用于：将所述分类特征向量分别输入所述分类器的softmax分类函数以获得所述分类特征向量归属于对应区域的屏幕内容为隐私内容的第一概率和所述分类特征向量归属于对应区域的屏幕内容为非隐私内容的第二概率；以及，基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。
[0054]
在上述电子设备的防泄密显示系统中，所述控制单元，进一步用于：响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；以及，响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域的像素以第一种模式进行工作。
[0055]
根据本技术的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的电子设备的防泄密显示方法。
[0056]
根据本技术的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的电子设备的防泄密显示方法。
[0057]
与现有技术相比，本技术提供的电子设备的防泄密显示方法、系统和电子设备，其通过对屏幕图像进行区域划分，并采用卷积神经网络模型以及基于转换器的上下文编码模型以充分利用所述各区域的高维图像特征之间的关联信息，从而实现了基于全局的分类。进一步再通过引入基于比较一致性因数的元加权向量来对所述语义特征向量进行加权，保证了所获得的所述语义特征向量与原特征图之间的一致性，从而尽可能提高原内容信息的保真度。这样，可以提高对于显示内容主题识别的准确性，进而避免由于关联内容没有被隐藏而造成泄密。
附图说明
[0058]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0059]
图1为根据本技术实施例的电子设备的防泄密显示方法的应用场景图；
[0060]
图2为根据本技术实施例的电子设备的防泄密显示方法的流程图；
[0061]
图3为根据本技术实施例的电子设备的防泄密显示方法的系统架构示意图；
[0062]
图4为根据本技术实施例的电子设备的防泄密显示系统的框图；
[0063]
图5为根据本技术实施例的电子设备的框图。
具体实施方式
[0064]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0065]
场景概述
[0066]
如前所述，目前，随着显示技术与网络技术的发展，越来越多的人在网络上进行购物或者账户交易等操作，在进行上述操作过程中，操作者经常需要在电脑、手机、自动柜员机、自动取票机等显示设备上输入个人信息，从而很容易造成个人信息的泄露，因此，显示设备的防偷窥性越来越受到广泛的关注，力求保证操作者的个人信息安全。
[0067]
然而，在电子设备的显示界面上并非所有的信息都需要隐藏显示或者以无法人眼窥视的方式显示，例如，在某些特殊行业，在传递机密信息时期望机密信息的显示是具有防偷窥的，而其他信息的显示则是正常的，例如，显示信息传递进程的信息不需要防偷窥。因此，为了提高对于显示内容主题识别的准确性，以更好地实现显示设备的防偷窥功能，期望一种电子设备的防泄密显示方案。
[0068]
相应地，在本技术实施例中，首先采用一种特殊的显示屏，包括：衬底基板，位于衬底基板上的呈阵列排布的多个像素单元；各像素单元包括：在每个子像素区域均层叠设置的第一自发光器件和第二自发光器件，以及在至少两个子像素区域设置的量子点发光器件；且在不同子像素区域内的量子点发光器件的发光颜色不同。在所述显示屏的一种工作模式中，当第一自发光器件开启，第二自发光器件关闭时，显示正常画面。而当第一自发光器件和第二自发光器件同时开启时，显示的是干扰画面。
[0069]
在本技术的技术方案中，如果屏幕中的部分内容为隐私内容时，则对应区域的像素单元以第二种模式工作，如果屏幕中的部分内容为非隐私内容时，则对应区域的像素单元以第一种模式工作，这样就可以实现像素级别的智能显示控制。
[0070]
相应地，在本技术的技术方案中，可对屏幕显示的内容进行区域划分，并提取各个区域的内容。并且考虑到在对屏幕显示的内容进行主题识别时，需要充分利用该区域的内容主题与其他区域的内容主题之间的关联信息，则显然可以通过这种关联来提高主题识别的准确性，并且避免由于关联内容没有被隐藏而造成泄密。也就是，当屏幕区域内容被标识为敏感信息则采用第二种显示模式，当屏幕区域内容被标识为非敏感信息，则采用第一种显示模式。
[0071]
基于此，在本技术的技术方案中，首先，将屏幕图像输入卷积神经网络以获得特征图，然后通过对屏幕图像进行区域划分，来获得与各个区域的内容对应的各个子特征图。然后，将各个子特征图进行向量化以获得多个子特征向量，例如可以通过向量投影将特征图转换为特征向量，也可以进一步输入作为过滤器的卷积神经网络，以得到特征向量。并且，将多个子特征向量输入基于转换器的上下文编码模型，以得到多个语义特征向量。
[0072]
同时，为了维持每个子特征图与其对应的语义特征向量之间的一致性，使用比较一致性因数来构造元加权向量来对语义特征向量进行加权。具体地，首先将子特征图进行通道方向的平均值池化以得到特征矩阵，再将特征矩阵与语义特征向量相乘以得到比较矩阵，并计算比较矩阵的一致性因数：
[0073][0074]
其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小，则元加权向量为：
[0075][0076]
其中ve是特征值λ
max
对应的特征向量。
[0077]
然后，将元加权向量与语义特征向量进行点乘，以得到分类特征向量，再输入分类器以得到分类结果。
[0078]
应可以理解，通过将特征图的各个区域的子特征图转换为特征向量后再进行基于上下文的编码，可以使得语义特征向量包含各个特征向量之间的上下文信息，从而充分利用各区域的高维图像特征之间的关联信息，实现了基于全局的分类。
[0079]
并且，通过引入基于比较一致性因数的元加权向量来对语义特征向量进行加权，保证了原特征图在经过向量投影和上下文编码之后，所获得的语义特征向量仍然与原特征图之间具有一致性，也就是在提取关联信息的同时，尽可能提高原内容信息的保真度。
[0080]
基于此，本技术提出了一种电子设备的防泄密显示方法，其包括：将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；对各个所述子特征图进行向量化以获得多个子特征向量；将所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；对各个所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；计算各个所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；使用所述多个一致性因数来构建多个元加权向量；将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量；将所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0081]
图1图示了根据本技术实施例的电子设备的防泄密显示方法的应用场景图。如图1所示，在该应用场景中，首先，获取电子设备(例如，如图1中所示意的t)的显示屏屏幕(例如，如图1中所示意的p)的图像，其中，所述电子设备包括但不局限于电脑、手机、自动柜员机、自动取票机等。然后，将获得的所述电子设备的屏幕图像输入至部署有电子设备的防泄密显示算法的服务器中(例如，如图1中所示意的s)，其中，所述服务器能够以电子设备的防泄密显示算法对所述电子设备的屏幕图像进行处理，以生成用于表示对应区域内的屏幕内
容是否为隐私内容的分类结果。进而，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0082]
具体地，响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域的像素以第一种模式进行工作。这样，可以提高对于显示内容主题识别的准确性，进而避免由于关联内容没有被隐藏而造成泄密，这样就可以实现像素级别的智能显示控制。
[0083]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0084]
示例性方法
[0085]
图2图示了电子设备的防泄密显示方法的流程图。如图2所示，根据本技术实施例的电子设备的防泄密显示方法，包括：s110，将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；s120，对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；s130，对各个所述子特征图进行向量化以获得多个子特征向量；s140，将所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；s150，对各个所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；s160，将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；s170，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；s180，使用所述多个一致性因数来构建多个元加权向量；s190，将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量；s200，将所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及，s210，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0086]
图3图示了根据本技术实施例的电子设备的防泄密显示方法的架构示意图。如图3所示，在所述电子设备的防泄密显示方法的网络架构中，首先，将获取的电子设备的屏幕图像(例如，如图3中所示意的p)输入卷积神经网络(例如，如图3中所示意的cnn)以获得显示特征图(例如，如图3中所示意的f)；接着，对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容(例如，如图3中所示意的p1)对应的各个子特征图(例如，如图3中所示意的f1)；然后，对各个所述子特征图进行向量化以获得多个子特征向量(例如，如图3中所示意的v1)；接着，将所述多个子特征向量输入基于转换器的上下文编码模型(例如，如图3中所示意的c)以获得多个语义特征向量(例如，如图3中所示意的vf1)；然后，对各个所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵(例如，如图3中所示意的mf1)；接着，将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵(例如，如图3中所示意的m1)；然后，计算各个所述比较矩阵的一致性因数以获得多个一致性因数(例如，如图3中所示意的cf)；接着，使用所述多个一致性因数来构建多个元加权向量(例
如，如图3中所示意的vm)；然后，将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量(例如，如图3中所示意的vc)；接着，将所述多个分类特征向量分别输入分类器(例如，如图3中所示意的圈s)以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及，最后，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0087]
在步骤s110和步骤s120中，将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图，并对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图。如上所述，考虑到在对屏幕显示的内容进行主题识别时，所述该区域的内容主题与其他区域的内容主题存在关联性。因此，在本技术的技术方案中，需要充分利用该所述区域的内容主题与其他区域的内容主题之间的这种关联信息，以通过这种关联性信息来提高所述主题识别的准确性，从而避免由于关联内容没有被隐藏而造成的泄密。
[0088]
也就是，在一个具体示例中，首先，需要将获取的电子设备的屏幕图像输入卷积神经网络中进行处理，以提取出所述屏幕图像的局部特征在高维空间中的特征分布表示，从而得到显示特征图。这里，所述电子设备包括但不局限于电脑、手机、自动柜员机、自动取票机等。接着，再对所述屏幕特征图进行基于屏幕显示内容的区域划分，以便于后续提取所述各个区域的内容主题之间的关联信息。然后，将所述各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图。也就是，将所述各个区域的屏幕显示内容映射到与其对应的高维特征空间中，以便于后续对所述高维图像特征之间的关联信息进行提取。
[0089]
具体地，在本技术实施例中，将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图的过程，包括：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；
[0090]
其中，所述公式为：
[0091]fi
＝active(ni×fi-1
+bi)
[0092]
其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
[0093]
在步骤s130和步骤s140中，对各个所述子特征图进行向量化以获得多个子特征向量，并将所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量。也就是，在本技术的技术方案中，在得到所述各个子特征图后，接着，再将各个所述子特征图进行向量化以获得多个子特征向量。相应地，在一个具体示例中，可以对各个所述子特征图进行沿特定维度的向量投影以获得所述子特征向量。特别地，在另一个具体示例中，也可以进一步将其输入作为过滤器的卷积神经网络中进行处理，以得到所述子特征向量。然后，再将所述多个子特征向量输入基于转换器的上下文编码模型，以得到多个语义特征向量。应可以理解，通过将所述特征图的各个区域的子特征图转换为所述特征向量后再进行基于上下文的编码，可以使得所述语义特征向量包含所述各个特征向量之间的上下文信息，从而充分利用所述各区域的高维图像特征之间的关联信息，以实现基于全局的分类。
[0094]
在步骤s150和步骤s160中，对各个所述子特征图进行沿通道维度方向的全局均值
池化以获得对应于各个所述子特征图的特征矩阵，并将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵。应可以理解，为了维持每个所述子特征图与其对应的所述语义特征向量之间的一致性，在本技术的技术方案中，使用比较一致性因数来构造元加权向量来对所述语义特征向量进行加权。也就是，首先，需要对各个所述子特征图进行沿通道维度方向的全局均值池化处理，以减少参数的数量，并减小过拟合，从而获得对应于各个所述子特征图的特征矩阵。然后，再将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘，以将所述语义特征向量映射到所述特征矩阵的特征空间中，从而获得多个比较矩阵，这样，可以便于后续计算比较一致性因数。
[0095]
在步骤s170中，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关。也就是，在本技术的技术方案中，在得到所述比较矩阵后，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，以便于后续对所述语义特征向量进行加权，从而使其能够维持每个所述子特征图与其对应的所述语义特征向量之间的一致性，这里，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关。
[0096]
具体地，在本技术实施例中，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，包括：以如下公式计算各个所述比较矩阵的一致性因数以获得多个一致性因数，其中，所述公式为：
[0097][0098]
其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小。
[0099]
在步骤s180和步骤s190中，使用所述多个一致性因数来构建多个元加权向量，并将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量。也就是，在本技术的技术方案中，在得到所述比较矩阵的一致性因数后，接着，基于所述多个一致性因数来构建多个元加权向量，以对所述与其对应的语义特征向量进行加权，从而获得用于分类的多个分类特征向量。应可以理解，通过引入基于所述比较一致性因数的元加权向量来对所述语义特征向量进行加权，保证了所述原特征图在经过向量投影和上下文编码之后，所获得的所述语义特征向量仍然与所述原特征图之间具有一致性，也就是在提取关联信息的同时，尽可能提高原内容信息的保真度，以提高后续分类的准确性。
[0100]
具体地，在本技术实施例中，使用所述多个一致性因数来构建多个元加权向量，包括：使用所述多个一致性因数来以如下公式来构建所述多个元加权向量；其中，所述公式为：
[0101][0102]
其中ve是特征值λ
max
对应的特征向量。
[0103]
在步骤s200和步骤s210中，将所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容，并基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。相应地，在一个具
体示例中，首先，将所述分类特征向量分别输入所述分类器的softmax分类函数以获得所述分类特征向量归属于对应区域的屏幕内容为隐私内容的第一概率和所述分类特征向量归属于对应区域的屏幕内容为非隐私内容的第二概率。然后，基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。具体地，当所述第一概率大于所述第二概率时，所述分类结果为对应区域的屏幕内容为隐私内容；当所述第一概率小于所述第二概率时，所述分类结果为对应区域的屏幕内容为非隐私内容。最后，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。具体地，响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域的像素以第一种模式进行工作。
[0104]
综上，本技术实施例的电子设备的防泄密显示方法被阐明，其通过对屏幕图像进行区域划分，并采用卷积神经网络模型以及基于转换器的上下文编码模型以充分利用所述各区域的高维图像特征之间的关联信息，从而实现了基于全局的分类。进一步再通过引入基于比较一致性因数的元加权向量来对所述语义特征向量进行加权，保证了所获得的所述语义特征向量与原特征图之间的一致性，从而尽可能提高原内容信息的保真度。这样，可以提高对于显示内容主题识别的准确性，进而避免由于关联内容没有被隐藏而造成泄密，这样就可以实现像素级别的智能显示控制。
[0105]
示例性系统
[0106]
图4图示了根据本技术实施例的电子设备的防泄密显示系统的框图。如图4所示，根据本技术实施例的电子设备的防泄密显示系统400，包括：显示特征图生成单元410，用于将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；映射单元420，用于对所述显示特征图生成单元410获得的所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图生成单元410获得的所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；向量化单元430，用于对各个所述映射单元420获得的所述子特征图进行向量化以获得多个子特征向量；转换器处理单元440，用于将所述向量化单元430获得的所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；全局池化单元450，用于对各个所述映射单元420获得的所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；矩阵相乘单元460，用于将每个所述全局池化单元450获得的所述特征矩阵和与其对应的所述转换器处理单元440获得的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；一致性因数计算单元470，用于计算各个所述矩阵相乘单元460获得的所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；元加权向量构建单元480，用于使用所述一致性因数计算单元470获得的所述多个一致性因数来构建多个元加权向量；分类特征向量生成单元490，用于将所述元加权向量构建单元480获得的所述元加权向量和与其对应的所述转换器处理单元440获得的所述语义特征向量进行按位置点乘以获得多个分类特征向量；分类单元500，用于将所述分类特征向量生成单元490获得的所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及，控制单元510，用于基于所述
分类单元500获得的所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。
[0107]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述显示特征图生成单元410，进一步用于：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；其中，所述公式为：
[0108]fi
＝active(ni×fi-1
+bi)
[0109]
其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
[0110]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述向量化单元430，进一步用于：对各个所述子特征图进行沿特定维度的向量投影以获得所述子特征向量。
[0111]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述一致性因数计算单元470，进一步用于：以如下公式计算各个所述比较矩阵的一致性因数以获得多个一致性因数，其中，所述公式为：
[0112][0113]
其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小。
[0114]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述元加权向量构建单元480，进一步用于：使用所述多个一致性因数来以如下公式来构建所述多个元加权向量；其中，所述公式为：
[0115][0116]
其中ve是特征值λ
max
对应的特征向量。
[0117]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述分类单元500，进一步用于：将所述分类特征向量分别输入所述分类器的softmax分类函数以获得所述分类特征向量归属于对应区域的屏幕内容为隐私内容的第一概率和所述分类特征向量归属于对应区域的屏幕内容为非隐私内容的第二概率；以及，基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。
[0118]
在一个示例中，在上述电子设备的防泄密显示系统400中，所述控制单元510，进一步用于：响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；以及，响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域的像素以第一种模式进行工作。
[0119]
这里，本领域技术人员可以理解，上述电子设备的防泄密显示系统400中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的电子设备的防泄密显示方法的描述中得到了详细介绍，并因此，将省略其重复描述。
[0120]
如上所述，根据本技术实施例的电子设备的防泄密显示系统400可以实现在各种终端设备中，例如电子设备的防泄密显示算法的服务器等。在一个示例中，根据本技术实施例的电子设备的防泄密显示系统400可以作为一个软件模块和/或硬件模块而集成到终端
设备中。例如，该电子设备的防泄密显示系统400可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该电子设备的防泄密显示系统400同样可以是该终端设备的众多硬件模块之一。
[0121]
替换地，在另一示例中，该电子设备的防泄密显示系统400与该终端设备也可以是分立的设备，并且该电子设备的防泄密显示系统400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0122]
示例性电子设备
[0123]
下面，参考图5来描述根据本技术实施例的电子设备。如图5所示，电子设备包括10包括一个或多个处理器11和存储器12。所述处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0124]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的电子设备的防泄密显示方法的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如比较矩阵、元加权向量等各种内容。
[0125]
在一个示例中，电子设备10还可以包括：输入系统13和输出系统14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0126]
该输入系统13可以包括例如键盘、鼠标等等。
[0127]
该输出系统14可以向外部输出各种信息，包括分类结果等。该输出系统14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0128]
当然，为了简化，图5中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0129]
示例性计算机程序产品和计算机可读存储介质
[0130]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的电子设备的防泄密显示方法中的功能中的步骤。
[0131]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0132]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方
法”部分中描述的电子设备的防泄密显示方法中的步骤。
[0133]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0134]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0135]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0136]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0137]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0138]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种电子设备的防泄密显示方法，其特征在于，包括：将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；对所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；对各个所述子特征图进行向量化以获得多个子特征向量；将所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；对各个所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；将每个所述特征矩阵和与其对应的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；计算各个所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；使用所述多个一致性因数来构建多个元加权向量；将所述元加权向量和与其对应的语义特征向量进行按位置点乘以获得多个分类特征向量；将所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。2.根据权利要求1所述的电子设备的防泄密显示方法，其中，将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图，包括：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；其中，所述公式为：f
i
＝active(n
i
×
f
i-1
+b
i
)其中，f
i-1
为第i层卷积神经网络的输入，f
i
为第i层卷积神经网络的输出，n
i
为第i层卷积神经网络的过滤器，且b
i
为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。3.根据权利要求2所述的电子设备的防泄密显示方法，其中，对各个所述子特征图进行向量化以获得多个子特征向量，包括：对各个所述子特征图进行沿特定维度的向量投影以获得所述子特征向量。4.根据权利要求3所述的电子设备的防泄密显示方法，其中，计算各个所述比较矩阵的一致性因数以获得多个一致性因数，包括：以如下公式计算各个所述比较矩阵的一致性因数以获得多个一致性因数，其中，所述公式为：其中λ
max
是比较矩阵的最大特征值，且m是比较矩阵的大小。5.根据权利要求4所述的电子设备的防泄密显示方法，其中，使用所述多个一致性因数来构建多个元加权向量，包括：
使用所述多个一致性因数来以如下公式来构建所述多个元加权向量；其中，所述公式为：其中v
e
是特征值λ
max
对应的特征向量。6.根据权利要求5所述的电子设备的防泄密显示方法，其中，将所述多个分类特征向量分别输入分类器以获得多个分类结果，包括：将所述分类特征向量分别输入所述分类器的softmax分类函数以获得所述分类特征向量归属于对应区域的屏幕内容为隐私内容的第一概率和所述分类特征向量归属于对应区域的屏幕内容为非隐私内容的第二概率；以及基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。7.根据权利要求6所述的电子设备的防泄密显示方法，其中，基于所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式，包括：响应于所述分类结果为对应区域的屏幕内容为隐私内容，控制所述电子设备的屏幕的对应区域的像素以第二种模式进行工作；以及响应于所述分类结果为对应区域的屏幕内容为非隐私内容，控制所述电子设备的屏幕的对应区域的像素以第一种模式进行工作。8.一种电子设备的防泄密显示系统，其特征在于，包括：显示特征图生成单元，用于将获取的电子设备的屏幕图像输入卷积神经网络以获得显示特征图；映射单元，用于对所述显示特征图生成单元获得的所述屏幕图像进行基于屏幕显示内容的区域划分并将各个区域在所述屏幕图像的位置映射到所述显示特征图生成单元获得的所述显示特征图中以获得与各个区域的屏幕内容对应的各个子特征图；向量化单元，用于对各个所述映射单元获得的所述子特征图进行向量化以获得多个子特征向量；转换器处理单元，用于将所述向量化单元获得的所述多个子特征向量输入基于转换器的上下文编码模型以获得多个语义特征向量；全局池化单元，用于对各个所述映射单元获得的所述子特征图进行沿通道维度方向的全局均值池化以获得对应于各个所述子特征图的特征矩阵；矩阵相乘单元，用于将每个所述全局池化单元获得的所述特征矩阵和与其对应的所述转换器处理单元获得的所述语义特征向量进行矩阵相乘以将所述语义特征向量映射到所述特征矩阵的特征空间中以获得多个比较矩阵；一致性因数计算单元，用于计算各个所述矩阵相乘单元获得的所述比较矩阵的一致性因数以获得多个一致性因数，所述一致性因数与所述比较矩阵中的最大特征值和所述比较矩阵的大小有关；元加权向量构建单元，用于使用所述一致性因数计算单元获得的所述多个一致性因数来构建多个元加权向量；分类特征向量生成单元，用于将所述元加权向量构建单元获得的所述元加权向量和与其对应的所述转换器处理单元获得的所述语义特征向量进行按位置点乘以获得多个分类
特征向量；分类单元，用于将所述分类特征向量生成单元获得的所述多个分类特征向量分别输入分类器以获得多个分类结果，其中，每个所述分类结果用于表示对应区域内的屏幕内容是否为隐私内容；以及控制单元，用于基于所述分类单元获得的所述多个分类结果，控制所述电子设备的屏幕的各个区域的显示模式。9.根据权利要求8所述的电子设备的防泄密显示系统，其中，所述显示特征图生成单元，进一步用于：所述卷积神经网络以如下公式对所述屏幕图像进行空间编码以获得所述显示特征图；其中，所述公式为：f
i
＝active(n
i
×
f
i-1
+b
i
)其中，f
i-1
为第i层卷积神经网络的输入，f
i
为第i层卷积神经网络的输出，n
i
为第i层卷积神经网络的过滤器，且b
i
为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。10.一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的电子设备的防泄密显示方法。

技术总结
本申请公开了一种电子设备的防泄密显示方法、系统和电子设备，其通过对屏幕图像进行区域划分，并采用卷积神经网络模型以及基于转换器的上下文编码模型以充分利用所述各区域的高维图像特征之间的关联信息，从而实现了基于全局的分类。进一步再通过引入基于比较一致性因数的元加权向量来对所述语义特征向量进行加权，保证了所获得的所述语义特征向量与原特征图之间的一致性，从而尽可能提高原内容信息的保真度。这样，可以提高对于显示内容主题识别的准确性，进而避免由于关联内容没有被隐藏而造成泄密。藏而造成泄密。藏而造成泄密。


技术研发人员：周鹏儿 唐小勇 李长叶 吴智灿
受保护的技术使用者：深圳市辰星瑞腾科技有限公司
技术研发日：2021.12.13
技术公布日：2022/3/8