电子装置和方法与流程

1.本公开一般涉及电子装置的用户界面领域，尤其涉及柔性(或可变形)用户界面领域。


背景技术：

2.生成真实物体的数字表示是诸如增强现实(ar)、虚拟现实(vr)、机器人和游戏的广泛应用中的重要课题。这种数字表示的生成可以基于测量方法/技术，允许精确感测物体的物理形状，并且基于将原始物理感测数据转换成虚拟物体的计算算法。可以区分固体物体和可变形物体。固体物体的形状通常可以是静态的，可以只需要一次扫描过程。可变形物体的形状可以是动态变化的形状，并且会需要重复和/或甚至连续的扫描。存在允许静态固体物体的高质量扫描的既定方法(例如，激光扫描或基于相机的方法)，因为这些物体通常可以在专用和优化的环境中扫描，并且时间可以不是关键参数。如果用于扫描静态固体物体的方法也应用于可变形物体，则它们在实际全局应用中的可行性可能会受到显著的限制。在这种情况下，实时跟踪可变形物体形状的动态变化会很重要。用于动态确定物体形状的现有技术系统，例如，使用光学系统(例如，基于视觉的、激光扫描或结构光)从外部记录物体，可能需要物体表面上密集的电/光电传感器网格，或者是复杂的并且建立在昂贵的硬件上(例如，光纤应变感测(foss))。关于高度柔性和可变形(例如，可弯曲的、可拉伸的)物体的形状感测，这些方法中的每一种都可能具有某些缺点，例如，常见的基于非接触的光学方法，其可能例如需要物体的自由视图，并且在3d中感测整个形状可能需要分布在物体周围较大的体积中的几个相机。此外，基于接触的电学方法利用附着在物体上的(光)电传感器阵列(应变、电阻)或嵌入在物体中表面的光纤(foss)，由于传感器和/或电/光连接本身所施加的限制，可能会强烈限制物体的可变形性。此外，foss可能需要庞大而昂贵的光学设置。
3.因此，期望提供改善扫描和重构可变形物体的方法和装置。


技术实现要素：

4.根据第一方面，本公开提供了一种电子装置，该电子装置包括电路，该电路被配置为捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并且基于所捕捉的嵌入在物体中的发光光致发光粒子的图案的图像来重构物体的形状。
5.根据第二方面，本公开提供了一种方法，该方法包括捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并且基于所捕捉的嵌入在物体中的发光光致发光粒子的图案的图像来重构物体的形状。
6.在其他实施例、以下描述和附图中阐述了进一步的方面。
附图说明
7.通过参考附图的示例来解释实施例，其中：
8.图1示意性地示出了用于通过对嵌入粒子的由内向外的光学检测来实时动态感测和重构其形状的可变形物体的实施例；
9.图2示出了物体表面的光致发光粒子的图案的实施例；
10.图3示意性地示出了成像系统和光源单元的第一实施例的横截面；
11.图4示意性地示出了成像系统和光源单元的第二实施例的横截面；
12.图5示意性地示出了成像系统和光源单元的第三实施例的横截面；
13.图6示出了通过对嵌入粒子的由内向外光学检测来实时动态重构可变形物体的形状的流程图；
14.图7示出了通过数字图像相关算法重构可变形物体的形状的流程图；
15.图8示出了对立体图像对进行相关以识别匹配像素的过程的示例；以及
16.图9示意性地描述了可以实现处理单元的功能的电子装置的实施例。
具体实施方式
17.在参考图1详细描述实施例之前，进行一般性解释。
18.下面更详细描述的实施例公开了一种电子装置，该电子装置包括电路，该电路被配置为捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并基于所捕捉的嵌入在物体中的发光光致发光粒子的图案的图像来重构物体的形状。
19.电路可以包括处理器、存储器(ram、rom等)、dnn单元、存储器、输入装置(鼠标、键盘、相机等)、输出装置(显示器(例如，液晶、(有机)发光二极管等)、扬声器等、无线接口等，众所周知，用于电子装置(计算机、智能手机、游戏控制器等)。
20.物体的基底材料可以由聚合物材料制成。物体的外表面可以由不透明材料制成。
21.图像可以包括几行和几列像素。
22.根据实施例，发光光致发光粒子可以是荧光量子点。
23.根据实施例，发光光致发光粒子是磷光磷粒子。
24.根据实施例，发光光致发光粒子可以嵌入在物体的主体中。
25.嵌入在物体的主体中可以意味着粒子分布在物体主体的聚合物基底材料中。
26.根据实施例，发光光致发光粒子可以嵌入在物体的表面中。
27.嵌入在物体的表面中可以意味着粒子分布在物体表面的基底材料中。
28.根据实施例，发光光致发光粒子的图案可以是点的图案或线的图案或网格图案。
29.点的图案可以意味着在两个相邻的光致发光粒子之间存在显著的距离。线的图案可以意味着在两个相邻光致发光粒子之间距离很小的情况下形成线。栅格图案可以意味着形成栅格的线可以在两个相邻光致发光粒子之间具有非常小的距离的情况下形成。
30.根据实施例，电路可以被配置为捕捉发光光致发光粒子的图案的立体图像对，并且基于应用于立体图像对的数字图像相关算法来重构物体的形状。
31.物体的重构形状可以由发光光致发光粒子的一组场景点给出。
32.根据实施例，电路可以被配置为基于对捕捉的立体图像对中的发光光致发光粒子的检测来重构物体的形状。
33.检测捕捉的立体图像对中的发光光致发光粒子可以意味着检测立体图像对中显示发光光致发光粒子的像素。
34.根据实施例，电路可以被配置为基于光束轮廓分析来重构物体的形状。
35.根据实施例，图像可以包括嵌入在物体中的两种或多种不同图案的发光光致发光粒子。
36.根据实施例，嵌入在物体中的两种或多种不同图案的发光光致发光粒子呈现不同的发射波长。
37.根据实施例，电子装置可以进一步包括放置在物体的中心的光源，其中，发光光致发光粒子被光源照射和激发。
38.物体的中心可以是物体内部光源不接触物体的内表面的任何地方。
39.根据实施例，光源的波长和光致发光粒子的发射波长不同。
40.根据实施例，电子装置可以进一步包括设置在物体内部的成像系统，其中，嵌入在物体中的发光光致发光粒子的图案的图像由成像系统捕捉。
41.根据实施例，成像系统可以包括能够共同执行360
°
立体视觉的上部立体视觉系统和下部立体视觉系统。
42.根据实施例，成像系统包括两个或更多个相机传感器，该相机传感器具有能够捕捉360
°
视图的相应透镜系统。
43.根据实施例，成像包括上部和下部球形成像系统，上部和下部球形成像系统包括能够捕捉360
°
视图的微透镜和光电二极管的阵列。
44.根据实施例，物体在可见光和近紫外波长中表现出高光学透明度。
45.根据实施例，物体可以由韧性基底材料制成并且是可变形的。
46.下面更详细描述的实施例公开了一种方法，该方法包括捕捉嵌入在物体中的发光光致发光粒子图案的图像，并基于所捕捉的嵌入在物体中的发光光致发光粒子图案的图像来重构物体的形状。
47.现在参考附图描述实施例。
48.图1示意性地示出了可变形物体的实施例，该可变形物体用于通过对嵌入粒子的由内向外的光学检测来实时动态感测和重构其形状。高度可变形的物体100由柔软且可延展的基底材料101(例如，柔软的聚合物或硅树脂)制成，其在可见光和近紫外波长范围内表现出高光学透明度。发射一种或多种波长的光的发光光致发光粒子102(例如，量子点或磷)被引入到物体的基底材料101中，使得光致发光粒子102形成光致发光粒子的明确图案，例如，点(更多细节参见图2)、线、网格等。光致发光粒子102的图案可以位于物体100的表面或物体100的主体内，或者两者都有。在物体100的中心，放置成像系统和光源单元103。成像系统和光源单元103照射光致发光粒子102，并捕捉和记录嵌入在物体中100中的被照射光致发光粒子102的图案的图像(例如，包括位置、结构、强度分布图)。记录的图像可以例如无线地(wlan、蓝牙)传输到外部的接收器并在接收器处处理，或者可以在成像系统和光源单元103中处理数据。该处理包括从所捕捉的光致发光粒子102的图案的图像重构物体100的形状。从所捕捉的光致发光粒子102的图案的图像重构物体100的形状可以通过图案识别和/或光束轮廓分析来执行，其可以使用几何模型或计算算法(确定性的和/或机器学习)。因为经由来自光致发光粒子102的发射图案的光的模式识别和/或光束轮廓分析来执行形状检测，所以可能对绝对强度和杂散光不敏感。
49.物体100可以例如由粘土或模型粘土制成。物体100可以具有任何默认形状，例如，
球体、盒子等。
50.可变形物体100可用作粘土或模型粘土，用于通过由内向外光学检测嵌入的光致发光粒子来实时动态感测和重构其形状。还可以用于应用cad建模的区域中的组件的实时建模。可以进一步应用于原型生成和设计应用。还可以用作游戏应用等中的交互式控制器。
51.图2示出了物体的表面处光致发光粒子的图案的实施例。高度可变形的球形物体100由柔软和可延展的基底材料制成，其在可见光和近紫外波长范围内表现出高光学透明度。发射一种或多种波长的光的发光光致发光粒子102被引入物体的基底材料中。光致发光粒子102在球形物体100的表面上形成点201的图案，即，点的图案201例如在球形物体100的表面下5mm的层内。光致发光粒子102沿着球形物体100的经度和纬度以点201的图案均匀排列。例如，两个相邻的粒子彼此相距1mm。
52.光致发光描述了吸收光子之后的物质的光发射。光致发光的一种形式是荧光，其中，光子吸收之后的发射通常具有纳秒范围内的寿命。光致发光的另一种形式是磷光，其中，光子吸收之后的发射通常具有毫秒到小时范围内的寿命。
53.发光光致发光粒子102可以是荧光量子点。量子点是只有几纳米大小的微小半导体粒子，例如，由硒化镉(cdse)或碲化镉(cdte)制成。当半导体量子点被紫外光照射时，量子点中的电子可以被激发到更高能量的状态，即，电子从价带被激发到导带，留下一个空穴。电子和空穴可以相互结合形成激子，当激子重组时，激子的能量可以以光的形式发射，即产生荧光。量子点发出的荧光波长取决于量子点的大小，可以通过在合成过程中改变量子点的大小来调节。点越大，点越红，并且点越小，量子点的荧光光谱越蓝。例如，硒化镉通过将nm晶体直径从2nm调整到8nm，在从绿色(500nm波长)到红色(650nm波长)的波长产生荧光。例如，直径为8nm的硒化镉量子点可以用作光致发光粒子102，当用紫外光照射时，其发射红色荧光(650nm)。
54.在另一实施例中，发光光致发光粒子102可以由磷光磷材料制成。磷光材料通常是含有少量杂质的晶体，杂质会扰乱晶体的网格结构。例如，磷光磷粒子可以是铜掺杂的硫化锌粒子，即可以使用zns:cu粒子。当用大约254nm的光辐射时，zns:cu粒子的尺寸可以在3-8nm之间，并且发射光(峰值)在510nm左右。
55.在另一实施例中，发光光致发光粒子102可以在物体100的主体(体积)内以点的图案排列。发光光致发光粒子102也可以在物体100的主体内部和物体100的表面以点的图案排列。
56.在另一实施例中，光致发光粒子102被引入其基底材料的可变形物体可以具有另一种形状，例如，立方体形状或非对称形状。
57.粒子的(明确定义的)图案是任何明确定义的粒子排列，即粒子以非随机、可再现和明确规定的图案排列。例如，发光光致发光粒子102可以以主体内部和/或物体表面的(明确定义的)线图案排列，或者以在主体内部和/或物体表面形成网格图案的图案排列。
58.在另一实施例中，粒子可以随机分布在物体的表面和/或主体上，其中，在物体变形之前其初始位置是已知的。
59.在另一实施例中，可以在物体的表面、物体的主体或两者中嵌入相应的两种或多种不同发光光致发光粒子的两种或多种不同图案可以实现叠加。在光致发光粒子的两个或多个叠加图案的情况下，光致发光粒子的不同图案可以通过使用嵌入在物体中的相应的两
个或多个不同的发光光致发光粒子来区分，发光光致发光粒子可以由相应的两种或多种不同的光致发光材料制成。对于不同光致发光粒子图案的粒子，两种或多种不同的发光光致发光粒子表现出不同的波长，即粒子(材料)表现出不同的发射波长(即每个粒子图案具有不同的光致发光颜色)。例如，尺寸在3-8nm之间并且发射光波长(峰值)在510nm左右的zns:cu粒子可以以第一点图案设置在物体表面，相邻的zns:cu粒子之间的距离为1mm，直径为8nm并且发射光波长在650nm左右的硒化镉量子点可以以第二点图案设置在物体表面，相邻的硒化镉量子粒子之间的距离为1mm，使得以交替的方式每隔0.5mm设置zns:cu粒子和硒化镉量子粒子。
60.在又一实施例中，光致发光粒子的一个或多个图案可以包含在包裹可变形物体的箔中。
61.成像系统和光源单元
62.成像系统和光源单元103包括一个或多个光源(例如，在紫外波长)，其均匀地照射物体100的全身和/或表面，从而激发光致发光粒子102的光发射。根据光致发光粒子102的激发波长来选择光源的发射波长。成像系统和光源单元103还包括成像系统，该成像系统可以包括成像传感器(具有光学装置)，该成像传感器以这样的方式设置，使得成像系统可以围绕物体100的中心捕捉物体100内部的全360
°
视图(更多细节参见图3至图5)。成像系统和光源单元103还包括处理单元，用于驱动成像系统和光源，并处理图像的捕捉、处理和转换。
63.图3示意性地示出了成像系统和光源单元103的第一实施例的横截面。成像系统和光源单元103的横截面300是穿过x-z平面的横截面。横截面300包括四个具有相应透镜系统(物镜)302a-302d的相机传感器(例如，cmos传感器)301a-301d。相机传感器301a和301b及其对应的透镜系统302a和302b形成上部立体视觉系统，该上部立体视觉系统能够对上半球(正z轴)执行立体视觉。上部立体视觉系统的透镜系统302a和302b都是广角透镜系统，视角几乎为180
°
。此外，相机传感器301c和301d及其对应的透镜系统302c和302d形成能够对下半球(负z轴)执行立体视觉的下立体视觉系统。下部立体视觉系统的透镜系统302c和302d都是广角透镜系统，视角几乎为180
°
。利用相机传感器301a-301d和透镜系统302a-302d的这种描述的设置，以立体方式捕捉围绕成像系统和光源单元103的空间的几乎全360
°
视角。透镜系统302a和302b由透明保护层303a和303b保护，该保护层例如可以由玻璃制成。透镜系统302c和302d由透明保护层303c和303d保护，该保护层例如可以由玻璃制成。此外，led 303a-303k均匀地放置在成像系统和光源单元103的表面周围，以照亮围绕成像系统和光源单元103的全360
°
空间。led 303a-303k可以发射紫外光。由相机传感器301a-301d收集的原始数据可以经由接口(例如，相机串行接口)发送到处理单元305，以进行进一步处理。处理单元305可以包括无线接口，例如，蓝牙或无线lan，以将数据发送到外部处理器，进行进一步处理。
64.相机串行接口(csi)可以是移动工业处理器接口(mipi)联盟的规格。可以定义相机和主处理器之间的接口。例如，可以使用csi-2v3.0、csi-3v1.1或ccsv1.0的规格。
65.led例如可以是μled(微型led)。图3中的led的位置将被示意性地理解，并且比图3所示的更多或更少的led可以被放置在成像系统和光源单元103的表面周围。在另一实施例中，可以使用不同于led的其他光源，例如，激光器或荧光灯。光源通常均匀地照亮物体的整个体积和/或表面，并激发光致发光粒子的光发射。光源的发射波长可以根据所用光致发光
材料的激发波长来选择。例如，可以使用发射波长为510nm或650nm的led。在另一实施例中，led的发射波长可以在紫外光范围内，例如，300nm。
66.图4示意性地示出了成像系统和光源单元103的第二实施例的横截面。成像系统和光源单元103的横截面400是穿过x-z平面的横截面。横截面400包括具有相应透镜系统(物镜)402a-402d的四个相机传感器(例如，cmos传感器)401a-401d。相机传感器401a及其对应的透镜系统402a沿着正z轴定向(即向上)；相机传感器401b及其对应的透镜系统402b沿着正x轴定向(即向右)；相机传感器401c及其对应的透镜系统402c沿着负z轴定向(即向下)；相机传感器401d及其对应的透镜系统402d沿着负x轴(即向左)定向。每个透镜系统402a-402d具有至少90
°
的以其中间轴为中心的视角。此外，分别在正y轴方向和负y轴方向上放置具有相应透镜系统(至少90
°
视角)的相机传感器(图4中均未示出)。利用相机传感器和透镜系统的这种描述的设置，可以捕捉围绕成像系统和光源单元103的空间的全360
°
视角。透镜系统402a-402d分别由透明保护层403a-403d保护，该保护层例如可以由玻璃制成。此外，led 403a-403p均匀地放置在成像系统和光源单元103的表面周围，以照亮围绕成像系统和光源单元103的全360
°
空间。led 403a-403k可以发出紫外光。由相机传感器301a-301d收集的原始数据可以经由接口(例如，相机串行接口)发送到处理单元405，以进行进一步处理。处理单元405可以包括无线接口，例如，蓝牙或无线lan，以向外部处理器发送数据。
67.led例如可以是μled(微型led)。图4中的led的位置将被示意性地理解，并且比图4所示的更多或更少的led可以被放置在成像系统和光源单元103的表面周围。在另一实施例中，可以使用不同于led的其他光源，例如，激光器或荧光灯。光源通常均匀地照亮物体的整个体积和/或表面，并激发光致发光粒子的光发射。光源的发射波长可以根据所用光致发光材料的激发波长来选择。例如，可以使用发射波长为510nm或650nm的led。在另一实施例中，led的发射波长可以在紫外光范围内，例如，300nm。
68.在另一实施例中，相机传感器及其相应的透镜系统和光源可以不如图4中那样设置在立方体的六个面上，而是例如设置在八面体的8个面上(即8个相机和透镜系统)或十二面体的12个面上(即12个相机和透镜系统)，或者设置在任何其他多面体的面上或沿着另一几何形状的表面设置。在另一实施例中，可以使用少于6个相机传感器，例如，具有相应透镜系统的2、3或4个相机传感器。相机传感器及其对应的透镜系统和光源可以总是被设置成使得成像系统和光源单元103周围的全360
°
视图被光源照亮并被相机传感器及其对应的透镜捕捉。
69.图5示意性地示出了成像系统和光源单元103的第三实施例的横截面。成像系统和光源单元103的横截面500是穿过x-z平面的横截面，并且示出了球形成像系统和光源单元103的上半球。微透镜阵列501包括微透镜501a-501j，微透镜501a-501j设置在具有光源的球面成像系统的球面旁边。在微透镜501b、501d、501e、501g、501h和501j下，设置光电二极管503a-503f。微透镜501b、501d、501e、501g、501h和501j可以具有这样的视角，使得成像系统和光源单元103的上半球捕捉整个上半球的180
°
，例如，每个微透镜具有45
°
的视角。微透镜和光电二极管均匀地设置在成像系统和光源单元103的上半球周围。成像系统和光源单元103的下半球与成像系统和光源单元103的上半球对称。球形成像系统和光源单元103的上半球和下半球一起捕捉围绕成像系统和光源单元103的空间的全360
°
视角。在微透镜501a、501c、501f、501i和501k下面放置微型led 503a-503e。微透镜501a、501c、501f、501i
和501k可以具有与微透镜501b、501d、501e、501g、501h和501j相同的其他光学特性。例如，微透镜501a、501c、501f、501i和501k可以以广角(例如，120
°
)散焦来自微型led 503a-503e的光。具有相应微型led的两个微型透镜沿x轴放置在赤道上，即具有502a的501a和具有501k的502e。具有相应微型led的两个微型透镜沿y轴相应地沿赤道放置(图5中未示出)。赤道周围具有相应微型led的微型透镜被放置成使得它们对称地照亮上半球的一部分以及下半球的一部分。此外，两个带有相应微型led的微型透镜沿x轴大约45
°
放置，即具有502b的501c和具有501i的502d。具有相应微型led的两个微型透镜相应地沿y轴大约45
°
放置(图5中未示出)。如图5所示，设置在成像系统和光源单元103的上半球中的微型led与对称设置在成像系统和光源单元103的下半球中的微型led一起照亮了围绕成像系统和光源单元103的全360
°
空间。光电二极管503a-503f处理入射光，并经由接口504a、504b(例如，csi接口)将其传输到处理单元505，以进行进一步处理。处理单元505可以包括无线接口，例如，蓝牙或无线lan，以向外部处理器发送数据。
70.在song,young min等人发表在《自然》杂志497.7447(2013)：95-99上的科学论文“digital cameras with designs inspired by the arthropod eye”中，更详细地描述图5中描述的半球形成像系统。
71.图5的附图将被示意性地理解，并且具有相应微透镜的微型led可以例如仅占据光电二极管相应微透镜所占据的空间的1/10或1/5。
72.在另一实施例中，在微透镜501b、501d、501e、501g、501h和501j下，代替光电二极管503a-503f，可以放置全相机传感器(例如，cmos传感器)。
73.在光致发光粒子的单一图案的情况下，可以使用单色相机传感器或光电二极管，而对于具有不同颜色的光致发光粒子的两个或更多叠加的不同图案，可以使用全色传感器。一般来说，因为光源的发射波长(紫外线)和光致发光粒子的检测波长(例如，可见光)不同，所以良好的光谱分离/过滤是可以的，并且干涉效应可以被取代。
74.例如，可以使用发射波长为510nm或650nm的led，或者紫外光范围内的led，例如，300nm。
75.图6示出了通过对嵌入粒子的由内向外光学检测来实时动态重构可变形物体的形状的流程图。在步骤601中，从成像系统和光源单元103的光源照射物体100内部的发光光致发光粒子102的图案201。在步骤602中，由物体100内部的发光光致发光粒子102的图案201发射的光的图像被成像系统和光源单元103的成像系统捕捉。在步骤603中，基于捕捉的图像重构物体100的形状。
76.形状重构
77.基于所捕捉的由物体内部的发光光致发光粒子的图案发射的光的图像，例如，通过图案识别或通过可以利用几何模型或计算算法(确定性和/或机器学习)的光束轮廓分析，重构物体的形状。
78.在第一实施例中(见图7)，描述了一种可变形物体的形状的重构方法，该方法以数字图像相关(dic)或者更具体地以图像模式相关技术(ipct)的名称为人所熟知。例如，pan,bing发表在measurement science and technology 29.8(2018)：082001上的科学论文“digital image correlation for surface deformation measurement:historical developments,recent advances and future goals”或garcia、dorian和jean-jos
éꢀ
orteu发表在《2001年第十届fig变形测量国际研讨会论文集》上的科学论文“3d deformation measurement using stereo-correlation applied to experimental mechanics”或shao,xinxing发表在applied optics 55.4(2016):696-704上的科学论文“real-time 3d digital image correlation method and its application in human pulse monitoring”中，更详细地解释了这种方法。在该实施例中，可以使用具有如图3中描述的立体视觉系统的成像系统和光源单元103，其能够执行立体视觉。此外，在该实施例中，发光光致发光粒子102的图案201可以被引入物体的表面。
79.图7示出了通过数字图像相关算法重构可变形物体的形状的流程图。在步骤701，捕捉立体图像对。在步骤702中，通过校正捕捉的立体图像对来确定场景点的3d位置，对校正的立体图像对执行基于相关性的立体匹配，并且执行三角测量。场景点可以是立体图像对中匹配像素的3d坐标，例如，在全局坐标系中。换言之，场景点可以是在立体图像对中的匹配像素中显示的物体的3d坐标。在步骤703中，执行场景点上的物体检测，以检测发光光致发光粒子102及其3d位置。在步骤704中，在检测到的光致发光粒子102的3d位置之间进行插值，以获得物体100的连续重构形状。
80.在完成步骤703之后，已经重新绘制物体100的形状。在捕捉图像之前，可以对相机传感器301a-301d和相应的透镜系统302a-302d执行校准，这产生校准参数。校准参数包括例如相机传感器301a-301d和相应透镜系统302a-302d的固有参数，例如，透镜系统302a-302d的焦距、偏斜、失真和图像中心，并且包括相机传感器301a-301d和相应透镜系统302a-302d的外部参数，例如，相机传感器301a-301d在全局坐标系中的位置和方向以及相机传感器301a和301b与相机传感器301c和301d之间的相对位置和方向。物体检测可以用机器学习方法来执行，例如，viola
–
jones物体检测算法，基于haar特征、尺度不变特征变换(sift)、方向梯度直方图(hog)特征方法等或者深度学习方法，例如，区域提议、单镜头多盒检测器(ssd)、可变形卷积网络等。检测到的光致发光粒子102的3d位置(即场景点)之间的插值可以通过多项式插值、b样条、贝塞尔曲线等来执行。
81.关于图7描述的过程应用于由具有180
°
视角的上部立体视觉系统的相机传感器301a和301b捕捉的发光光致发光粒子102的图案201的立体图像对以及由具有180
°
视角的下部立体视觉系统的相机传感器301c和301d捕捉的发光光致发光粒子102的图案201的立体图像对。因此，确定围绕成像系统和光源单元103的360
°
空间中物体100内部的每个发光光致发光粒子102的场景点，从而重构物体100的形状。如上所述，可以通过进一步应用插值来重构物体100的连续形状。
82.garcia、dorian和jean-jos
éꢀ
orteu发表在2001年第10届fig变形测量国际研讨会会议录上的科学论文“3d deformation measurement using stereo-correlation applied to experimental mechanics”中更详细地描述了关于图7描述的过程。
83.校正立体图像对的基于相关性的立体匹配可以通过几种不同的算法来实现。例如，可以应用特征匹配算法，或者为粒子图像测速术(piv)开发模板匹配算法或相关算法。由于发光光致发光粒子102的已知图案201，与发光光致发光粒子的随机图案相比，相关算法可以在相应两点之间的映射的准确性上加快和增加。如果将一个以上的发光光致发光粒子102的图案引入物体的表面和/或主体，则相关算法的速度和精度可以进一步提高。
84.在另一实施例中，可以使用称为数字体积相关(dvc)的技术来重构物体100的形
状。
85.图8示出了关联立体图像对以识别匹配像素的过程的示例。左立体图像801(例如，由相机传感器301a拍摄)和右立体图像802(例如，由相机传感器301b拍摄)由根据相机传感器的分辨率和色深的各个像素组成。立体图像对801和802彼此相关，以识别匹配像素，这产生相关图像。专家可以使用如上所述的已知的合适的图像相关方法。在相关过程中，检测到物体803(例如，一个光致发光粒子102)在图像801和图像802中成像，并且例如图像801中的像素804与图像802中的像素805匹配。因为不同的相机传感器(例如，301a和301b)位置和方向，图像801中的物体803的位置不同于图像802中的物体803的位置。第二相机图像802中的物体804的图像的形状也可以由于视角的改变而不同于第一相机图像801中的物体的形状。从例如图像801中的像素804与图像802中的像素805相比的不同位置，可以使用三角测量(立体)技术来推断像素在三维空间中的位置。
86.在另一实施例中，通过对由引入到物体100中的发光光致发光粒子102的照明图案201发射的光束执行的光束轮廓分析来重构物体100的形状。发射的光束被成像系统和光源单元103的相机传感器(例如，cmos)或光电二极管捕捉。分析光束轮廓，并根据分析的光束轮廓确定每个粒子102的距离和位置，并重构物体100的形状。
87.光束轮廓是沿着光束路径在给定位置(例如，在成像系统和光源单元103的相机传感器处)的光束的2d辐照度图。
88.光束轮廓分析可以基于一种称为聚焦诱导光响应(fip)的技术。在fip技术中，光源(例如，由发光光致发光粒子102的照明图案201发射的光束)通过透镜成像到光电探测器上。光源图像的大小取决于光电探测器相对于聚焦图像平面的位置。fip技术利用半导体装置(例如，光电二极管或cmos相机传感器)的非线性辐照度相关的光响应，这意味着光电探测器(即，cmos相机传感器或成像系统和光源单元103内的光电二极管)的信号不仅取决于光束的入射辐射功率，还取决于其在传感器区域上的密度，即辐照度。当在其上聚焦或散焦相同量的光时，这种非线性地依赖于辐照度的光响应将导致探测器的输出改变，并且将导致传感器的输出根据物体聚焦或散焦的程度而改变。引入到物体100中的发光光致发光粒子的图案聚焦或离焦的程度取决于可以重构的物体的形状。pekkola、oili等人在《科学报告》8.1(2018)：1-8中发表的科学论文“focus-induced photoresponse:a novel way to measure distances with photodetectors”中也对此进行了更详细的描述。"
89.光束的辐照度可以指以给定的方向到达某个表面的能量，光束的强度可以定义为穿过垂直于光束的区域的能量。
90.因此，在物体是默认未变形形状的状态下，成像系统和光源单元103内部的图像传感器在特定焦点上校准，并且具有来自发光光致发光粒子102的照明图案201发射的接收光束的特定辐照度。然后，通过分析由变形物体100内部的发光光致发光粒子102的照明图案201发射的光束的光束轮廓(即，图像传感器上的辐照度)，可以确定每个发光光致发光粒子102的位置，从而可以重构物体的形状。
91.在另一实施例中，可以使用机器学习技术来确定物体100的形状。这可以通过将物体100变形为在全局坐标中已知的形状来完成，例如，通过像tof这样的3d扫描仪。然后，利用成像系统和光源单元103捕捉由变形物体的发光光致发光粒子102的照明图案201发射的光的图像。重复该过程，以建立所捕捉的由发光光致发光粒子102的照明图案201发出的光
的图像和物体100的相应已知全局坐标的的标记对的数据库。利用标记对的数据库，训练机器学习算法，例如，深度神经网络(dnn)。在操作模式下，经训练的dnn然后能够确定物体100的全局坐标。
92.在另一实施例中，可以确定施加到物体100上的外力。这可以通过向物体100施加已知的法向力来完成，从而使物体变形，并利用成像系统和光源单元103通过发光光致发光粒子102的照明图案201捕捉发射光的图像。重复该过程，以建立所捕捉的由发光光致发光粒子102的照明图案201发射的光的图像和相应地施加到物体100的法向力的标记对的数据库。利用标记对的数据库，训练机器学习算法，例如，深度神经网络(dnn)。在操作模式下，经训练的dnn然后能够确定施加到物体100的法向力。这在sferrazza,carmelo的科学论文“design,motivation and evaluation of a full-resolution optical tactile sensor”中更详细地描述。
93.实现
94.图9示意性地描述了可以实现处理单元305、405、505的功能的电子装置的实施例。电子装置1200可以控制物体内部光致发光粒子的照明，并且控制光致发光粒子的发射光的图像的捕捉，并且处理捕捉的图像，以重构物体的形状。电子装置1200还可以实现接收捕捉图像以重构物体的形状的处理器的功能。电子装置1200可以进一步实现深度神经网络的训练和操作的功能，用于物体的形状重构或者用于确定施加到物体的外力。电子装置1200包括作为处理器的cpu 1201。电子装置1200还包括连接到处理器1201的能够训练和操作dnn的gpu 1205。电子系统1200还包括相机串行接口(csi)接口1207，其将相机传感器或光电二极管连接到处理器1201。csi接口可以是移动工业处理器接口(mipi)联盟的规格，并且可以被指定为csi-2v3.0、csi-3v1.1或ccsv1.0等。电子系统1200还包括蓝牙1204和wlan 1206模块，用于从外部装置接收数据或向外部装置发送数据。电子装置1200还包括数据存储器1202和数据存储器1203(此处是ram)。数据存储器1203被设置为临时存储或缓存数据或计算机指令，以供处理器1201处理。数据存储器1202被设置为长期存储器，例如，用于记录图像或物体的重构形状的坐标。
95.应该认识到，实施例描述了具有示例性方法步骤顺序的方法。然而，方法步骤的具体顺序仅仅是为了说明的目的而给出的，不应该被解释为具有约束力。
96.还应当注意，将图9的电子装置划分成单元仅仅是为了说明的目的，并且本公开不限于特定单元中的任何特定功能划分。例如，至少部分电路可以由分别编程的处理器、现场可编程门阵列(fpga)、专用电路等来实现。
97.如果没有另外声明，本说明书中描述的和所附权利要求中要求保护的所有单元和实体可以被实现为集成电路逻辑，例如，在芯片上，并且如果没有另外声明，由这些单元和实体提供的功能可以由软件实现。
98.就至少部分地使用软件控制的数据处理设备来实现上述公开的实施例而言，应当理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
99.注意，本技术也可以如下所述进行配置：
100.(1)一种电子装置，包括电路，所述电路被配置为：捕捉嵌入在物体(100)中的发光光致发光粒子(102)的图案(201)的图像，并且基于所捕捉的嵌入在物体(100)中的发光光
致发光粒子(102)的图案(201)的图像来重构物体(100)的形状。
101.(2)根据(1)所述的电子装置，其中，所述发光光致发光粒子(102)是荧光量子点。
102.(3)根据(1)或(2)所述的电子装置，其中，所述发光光致发光粒子(102)是磷光粒子。
103.(4)根据(1)至(3)中任一项所述的电子装置，其中，所述发光光致发光粒子(102)嵌入在所述物体(100)的主体中。
104.(5)根据(1)至(4)中任一项所述的电子装置，其中，所述发光光致发光粒子(102)嵌入在所述物体(100)的表面中。
105.(6)根据(1)至(5)中任一项所述的电子装置，其中，所述发光光致发光粒子(102)的图案(201)是点的图案或线的图案或网格图案。
106.(7)根据(1)至(6)中任一项所述的电子装置，其中，所述电路被配置为捕捉发光光致发光粒子(102)的图案(201)的立体图像对，并且基于应用于所述立体图像对的数字图像相关算法来重构所述物体(100)的形状。
107.(8)根据(7)所述的电子装置，其中，所述电路被配置为基于对所捕捉的立体图像对中的发光光致发光粒子(102)的检测来重构物体(100)的形状。
108.(9)根据(1)至(8)中任一项所述的电子装置，其中，所述电路被配置为基于光束轮廓分析来重构物体(100)的形状。
109.(10)根据(1)至(9)中任一项所述的电子装置，其中，所述图像包括嵌入在物体(100)中的两种或多种不同图案(201)的发光光致发光粒子(102)。
110.(11)根据(10)所述的电子装置，其中，嵌入在物体(100)中的两种或多种不同图案(201)的发光光致发光粒子(102)呈现不同的发射波长。
111.(12)根据(1)至(11)中任一项所述的电子装置，还包括置于物体(100)的中心的光源，其中，所述发光光致发光粒子(102)被所述光源照射。
112.(13)根据(12)所述的电子装置，其中，所述光源的波长和发光光致发光粒子(102)的发射波长不同。
113.(14)根据(1)至(13)中任一项所述的电子装置，还包括设置在物体(100)的内部的成像系统，其中，嵌入在物体(100)中的发光光致发光粒子(102)的图案(201)的图像由成像系统捕捉。
114.(15)根据(14)所述的电子装置，其中，所述成像系统包括能够共同执行360
°
立体视觉的上部立体视觉系统和下部立体视觉系统。
115.(16)根据(14)所述的电子装置，其中，所述成像系统包括两个或更多个相机传感器，所述相机传感器具有能够捕捉360
°
视图的相应透镜系统。
116.(17)根据(14)所述的电子装置，其中，所述成像包括上部和下部球形成像系统，上部和下部球形成像系统包括能够捕捉360
°
视图的微透镜和光电二极管的阵列。
117.(18)根据(1)至(17)中任一项所述的电子装置，其中，所述物体在可见光和近紫外波长中表现出高光学透明度。
118.(19)根据(1)至(18)中任一项所述的电子装置，其中，所述物体由韧性基底材料制成并且是可变形的。
119.(20)一种方法，包括：捕捉嵌入在物体(100)中的发光光致发光粒子(102)的图案
(201)的图像，并且基于所捕捉的嵌入在物体(100)中的发光光致发光粒子(102)的图案(201)的图像来重构物体(100)的形状。

技术特征：
1.一种电子装置，包括电路，所述电路被配置为：捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并且基于所捕捉的嵌入在所述物体中的发光光致发光粒子的所述图案的图像来重构所述物体的形状。2.根据权利要求1所述的电子装置，其中，所述发光光致发光粒子是荧光量子点。3.根据权利要求1所述的电子装置，其中，所述发光光致发光粒子是磷光粒子。4.根据权利要求1所述的电子装置，其中，所述发光光致发光粒子嵌入在所述物体的主体中。5.根据权利要求1所述的电子装置，其中，所述发光光致发光粒子嵌入在所述物体的表面中。6.根据权利要求1所述的电子装置，其中，所述发光光致发光粒子的所述图案是点的图案或线的图案或网格图案。7.根据权利要求1所述的电子装置，其中，所述电路被配置为捕捉发光光致发光粒子的所述图案的立体图像对，并且基于应用于所述立体图像对的数字图像相关算法来重构所述物体的所述形状。8.根据权利要求7所述的电子装置，其中，所述电路被配置为基于对所捕捉的立体图像对中的所述发光光致发光粒子的检测来重构所述物体的所述形状。9.根据权利要求1所述的电子装置，其中，所述电路被配置为基于光束轮廓分析来重构所述物体的所述形状。10.根据权利要求1所述的电子装置，其中，所述图像包括嵌入在所述物体中的两种或多种不同图案的发光光致发光粒子。11.根据权利要求10所述的电子装置，其中，嵌入在所述物体中的两种或多种不同图案的发光光致发光粒子呈现不同的发射波长。12.根据权利要求1所述的电子装置，还包括置于所述物体的中心的光源，其中，所述发光光致发光粒子被所述光源照射。13.根据权利要求12所述的电子装置，其中，所述光源的波长和所述光致发光粒子的发射波长不同。14.根据权利要求1所述的电子装置，还包括设置在所述物体的内部的成像系统，其中，嵌入在物体中的发光光致发光粒子的所述图案的所述图像由成像系统捕捉。15.根据权利要求14所述的电子装置，其中，所述成像系统包括能够共同执行360
°
立体视觉的上部立体视觉系统和下部立体视觉系统。16.根据权利要求14所述的电子装置，其中，所述成像系统包括两个或更多个相机传感器，所述相机传感器具有能够捕捉360
°
视图的相应透镜系统。17.根据权利要求14所述的电子装置，其中，所述成像包括上部和下部球形成像系统，所述上部和下部球形成像系统包括能够捕捉360
°
视图的微透镜和光电二极管的阵列。18.根据权利要求1所述的电子装置，其中，所述物体在可见光和近紫外波长中表现出高光学透明度。19.根据权利要求1所述的电子装置，其中，所述物体由韧性基底材料制成并且是可变形的。
20.一种方法，包括：捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并且基于所捕捉的嵌入在所述物体中的发光光致发光粒子的所述图案的图像来重构所述物体的形状。

技术总结
本申请涉及电子装置和方法。一种电子装置，包括电路，该电路被配置为捕捉嵌入在物体中的发光光致发光粒子的图案的图像，并且基于所捕捉的嵌入在物体中的发光光致发光粒子的图案的图像来重构物体的形状。图案的图像来重构物体的形状。图案的图像来重构物体的形状。


技术研发人员：拉斯-彼得
受保护的技术使用者：索尼集团公司
技术研发日：2021.08.11
技术公布日：2022/3/8