光瞳扩展器校准的制作方法
本公开涉及可佩戴头戴式装置，尤其涉及用于可佩戴视觉显示头戴式装置的部件、模块和方法。
背景
头戴式显示器(HMD)、头盔式显示器、近眼显示器(NED)及类似物正越来越多地用于显示虚拟现实(VR)内容、增强现实内容、混合现实(MR)内容等。仅举几个例子，这种显示器在包括娱乐、教育、培训和生物医学科学在内的各种领域都有应用。显示的VR/AR/MR内容能够是三维的(3D)，以增强体验，并且将虚拟对象与用户观察到的真实对象相匹配。可以实时跟踪用户的眼睛位置和凝视方向和/或定向，并且可以根据用户的头部定向和凝视方向动态地调整显示的图像，以提供在模拟或增强环境中的更好的沉浸体验。
头戴式显示器需要紧凑的显示设备。因为HMD或NED的显示器通常戴在用户的头上，所以大的、笨重的、不平衡的/或重的显示设备将是不方便的，并且用户佩戴可能会不舒服。紧凑型显示设备可以基于包括微型显示面板或光束扫描器的图像投影仪。
基于投影仪的显示器提供角度域中的图像。这样的图像能够被用户的眼睛直接观察到，而不需要中间屏幕。光瞳扩展器将角度域中的图像传送到用户的眼睛，并扩展投影仪的输出光瞳以便于观察。投影仪显示器中缺少屏幕能够减小尺寸和重量。
对于多种类型的光瞳扩展器，亮度和颜色传递特性取决于显示器的视窗内的观察位置。当没有适当补偿时，这种效果可能导致显示给用户的图像的人工局部着色。
概述
根据本公开，提供了一种校准光瞳扩展器的方法。该方法包括在光瞳扩展器的输入光瞳处提供图像光。图像光在角度域中传送图像。图像光的参数的角度分布在光瞳扩展器的输出光瞳处的多个非均匀间隔的网格位置处被获得。根据获得的参数的角度分布，在输出光瞳上确定由光瞳扩展器引入到图像光中的参数的变化的角度依赖性。非均匀间隔的网格位置的空间密度在输出光瞳上变化，在具有在图像的至少一部分视场上取平均的参数的变化的较大空间导数的输出光瞳的区域处较大。该参数可以包括例如以下中的至少一个：图像光的颜色坐标；颜色通道的功率；或者图像光的亮度通道的功率。输出光瞳上非均匀间隔的网格位置的空间密度可以例如与参数的平均变化的空间导数成正比。
在一些实施例中，该方法可以进一步包括通过以下步骤来确定非均匀间隔的网格位置：获得在光瞳扩展器的输出光瞳处的多个第一网格位置处的图像光的参数的平均变化；通过多个第一网格位置之间的插值来确定输出光瞳上参数的平均变化；以及从输出光瞳上参数的平均变化获得确定的输出光瞳上参数的平均变化的空间导数。第一网格位置可以是均匀间隔的。参数的平均变化可以通过在比多个第一网格位置间隔更密集的多个第二网格位置处插值来确定。
在一些实施例中，参数的平均变化可以通过将参数变化的角度分布在图像的视场上进行平均来确定。非均匀间隔的网格可以包括矩形网格或多边形网格或径向网格中的至少一个，径向网格的中心靠近具有平均参数的较大空间导数的输出光瞳的区域。
根据本公开，还提供了一种操作近眼显示器(NED)的方法，该近眼显示器(NED)包括：图像投影仪，其用于提供在角度域中传送图像的图像光；光瞳扩展器，其可操作地耦合到图像投影仪，以用于在NED的视窗上扩展图像光；以及眼睛跟踪器，其用于确定用户的眼瞳在视窗中的位置。该方法包括使用眼睛跟踪器来确定用户的眼瞳在视窗中的当前位置；通过在先前确定的在视窗处的多个非均匀间隔的网格位置处的参数的变化的角度依赖性之间的插值，获得在确定的用户眼瞳的位置处由光瞳扩展器引入的图像光的参数的变化的角度依赖性；以及调整图像以至少部分地抵消由光瞳扩展器引入的变化的角度依赖性。非均匀间隔的网格位置的空间密度在视窗上变化，在具有在图像的至少一部分视场上取平均的参数的变化的较大空间导数的视窗的区域处较大。该参数可以包括例如以下中的至少一个：图像光的颜色坐标；颜色通道的功率；或者图像光的亮度通道的功率。作为非限制性示例，输出光瞳上非均匀间隔的网格位置的空间密度可以与参数的平均变化的空间导数成正比。
在上述方法的一些实施例中，非均匀间隔的网格位置可以通过以下方式来确定：在视窗处的多个第一网格位置处获得图像光的参数的平均变化；通过在多个第一网格位置之间的插值来确定在视窗上的参数的平均变化；以及从视窗上的参数的平均变化中获得所确定的视窗上的参数的平均变化的空间导数。参数的平均变化可以通过在比多个第一网格位置间隔更密集的多个第二网格位置处插值来确定。
根据本公开，还提供了一种近眼显示器(NED)，其包括：图像投影仪，其用于提供在角度域中传送图像的图像光；光瞳扩展器，其可操作地耦合到图像投影仪，以用于在NED的眼睛上扩展图像光；眼睛跟踪器，其用于确定用户的眼瞳在视窗中的位置；以及控制器，其可操作地耦合到图像投影仪和眼睛跟踪器。控制器被配置成使用眼睛跟踪器以确定用户的眼瞳的当前位置；通过在先前确定的在NED的视窗处的多个非均匀间隔的网格位置处的参数的变化的角度依赖性之间的插值，获得在所确定的用户的眼瞳的位置处由光瞳扩展器引入的图像光的参数的变化的角度依赖性；调整图像以至少部分地抵消由光瞳扩展器引入的变化的角度依赖性；并且使图像投影仪发射传送调整后的图像的图像光。非均匀间隔的网格位置的空间密度在视窗上变化，在具有在图像的至少一部分视场上取平均的参数的变化的较大空间导数的视窗的区域处较大。
在一些实施例中，视窗上的非均匀间隔的网格位置的空间密度可以与参数的平均变化的空间导数成正比。该参数可以包括以下中的至少一个：颜色坐标；颜色通道的功率；或者图像光的亮度通道的功率。光瞳扩展器可以包括光瞳复制波导。
附图简述
现在将结合附图描述示例性实施例，其中：
图1A是具有包括微型显示面板的图像投影仪的近眼显示器(NED)的剖视图；
图1B是具有包括光束扫描器的图像投影仪的NED的局部剖视图；
图2A是可用于图1A或图1B的NED的基于波导的2D光瞳扩展器的侧剖视图；
图2B是图2A的波导光瞳扩展器的平面图，其示出光瞳扩展器中的图像光的多条路径；
图3是用于表征光瞳扩展器的校准装置的剖视图；
图4是使用图3的校准装置校准光瞳扩展器的方法的流程图；
图5是在光瞳扩展器的输出光瞳上间隔的校准点的均匀网格的示意图；
图6是示出校准点的网格之间的插值的示意图；
图7A是测量的校准灵敏度图的示例，其示出了在测试中的光瞳扩展器的视场(FOV)上取平均的平均色差的变化率；
图7B是测量的校准灵敏度图的示例，其示出了在测试中的光瞳扩展器的视场(FOV)上取平均的95％百分位色差的变化率；
图8A是用于校准具有非均匀颜色灵敏度的光瞳扩展器的测量点的非均匀矩形网格的示例；
图8B是用于校准具有非均匀颜色灵敏度的光瞳扩展器的测量点的非均匀网状型网格的示例；
图8C是用于校准具有非均匀颜色灵敏度的光瞳扩展器的测量点的非均匀可伸缩网格的示例；
图8D是用于校准具有非均匀颜色灵敏度的光瞳扩展器的测量点的非均匀径向网格的示例；
图9是用于获得非均匀校准网格的方法的流程图；
图10是用于操作近眼显示器的方法的流程图；
图11A是本公开的头戴式显示器的等距视图；以及
图11B是包括图11A的头戴式装置的虚拟现实系统的框图。
详细描述
虽然结合各种实施例和示例描述了本教导，但是意图并不是本教导被限制到这样的实施例。相反，如本领域技术人员所理解的，本教导包括各种替代和等同物。本文中叙述本公开的原理、方面和实施例以及其特定示例的所有陈述旨在包括其结构和功能两者的等同物。另外，意图是这样的等同物包括当前已知的等同物以及将来开发的等同物两者，即，包括执行相同功能的所开发的任何要素，而不考虑结构。
如在本文所使用的，除非明确规定，否则术语“第一”、“第二”等并不意欲暗示顺序次序，而是更确切地意欲将一个元素与另一个元素区分开。类似地，除非明确规定，否则方法步骤的顺序次序并不暗示它们执行的顺序次序。
光瞳扩展器，例如光瞳复制波导，其用于放大近眼显示器(NED)的图像投影仪的输出光瞳，以使用户能够看到由图像投影仪生成的图像，而不必调整NED。输出光瞳在NED的整个视窗上被放大，以使眼睛之间距离不同(称为瞳孔间距)和面部特征不同的用户能够舒适地佩戴NED。光瞳扩展器通过提供由图像投影仪生成的光束的角度扇形的多个偏移副本，并将光束扇形的多个偏移副本散布在视窗上来实现这一点。这里，术语“视窗”是指用户眼睛的几何区域，在该区域，NED的用户可以观察到高质量的图像。
光瞳复制波导可以包括衍射光栅和其他波长选择光学元件，以重定向和传播图像光。波长选择光学元件可以使波导的光学吞吐量依赖于波长。此外，图像光可能沿着光瞳复制波导内的多条路径传播，由于多径光干涉而导致光学吞吐量的波长依赖性。依赖于波长的光学吞吐量可能导致显示图像的人工着色。这种颜色失真效果通常取决于眼睛相对于波导的位置，即眼睛在视窗中的位置。
可以通过使用眼睛跟踪系统来实时确定眼瞳在NED的视窗中的位置。所确定的眼睛位置可用于提供对由多径传播引起的颜色失真和光瞳复制波导中的其他效应的动态补偿。所需的颜色补偿量在于视窗坐标和光束角度这两者，这会使颜色校准成为一个麻烦且耗时的过程。此外，存储多个颜色补偿图所需的计算机存储器可能变得非常大。
根据本公开，NED可以在视窗处的眼睛位置的网格处被预先校准。对于网格的校准点之间的眼睛位置，可以执行颜色传递函数和光瞳复制器的光学吞吐量的所需依赖性的插值。网格的点可以被预先选择，使得在颜色传递函数和/或光学吞吐量的依赖性随着眼瞳在视窗处的位置而急剧变化的视窗区域中，网格点被定位成彼此更靠近。在颜色传递函数和/或光吞吐量的依赖性随着眼瞳位置缓慢变化的视窗区域中，网格点的密度可以相应地降低。
参考图1A，NED 100A包括电子显示面板102，其包括多个像素，例如第一像素104和第二像素105，以用于提供包括分别用实线和虚线示出的第一光束114和第二光束115的多个光束。多个光束的光功率水平与由电子显示面板102从图像源例如从NED 100A的控制器110接收的图像数据109一致。光瞳扩展器106被配置成接收多个光束并将光束提供到NED100A的视窗108。电子显示面板102和光瞳扩展器106可以由例如具有一副眼镜形状的NED主体120支撑。
微型透镜107可用于将多个像素的坐标转换成多个光束的相应光束角度。例如，第一光束114在视窗108处的角度对应于电子显示面板102的相应的第一像素104的坐标，以及第二光束115在视窗108处的角度对应于电子显示面板102的相应的第二像素105的坐标。微型透镜107和电子显示面板一起形成基于显示器的投影仪130A，提供角度域中的图像。
从图1A可以看到，第一光束114和第二光束115的角度对应于在用户的眼睛117的视网膜124上的坐标。以这种方式，电子显示面板的第一像素104和第二像素105的坐标对应于在用户的眼睛117的视网膜124上的位置，使用户能够看到由电子显示面板显示的图像。
光瞳扩展器106的吞吐量，即图像光的输出光功率与输入光功率之比，依赖于视窗108处的光束的光束角度。例如，第一光束114和第二光束115的吞吐量可以是不同的。吞吐量对光束角度的依赖性可能来自于使用基于波导的光瞳扩展器。
在图1A所示的实施例中，光瞳扩展器106包括支撑输入耦合衍射光栅181、输出耦合衍射光栅182和光瞳扩展衍射光栅183的波导175。控制器110可操作地耦合到电子显示面板102，并且被配置成更新图像数据109，以至少部分地抵消由光瞳扩展器106引入的光功率和颜色的变化，例如，通过预加强在低吞吐量区域中显示的图像，衰减在高吞吐量区域中显示的图像，在与由光瞳扩展器106引入的颜色坐标偏移相反的方向上移位颜色坐标，等等。
由光瞳扩展器106引入到被传送的图像中的吞吐量和颜色坐标偏移可以进一步取决于视窗108处的光束的光束坐标。为了考虑这种效果，NED100A可以包括眼睛跟踪系统112，以用于确定用户眼睛117在视窗108处的位置和定向中的至少一个，这能够用于确定眼睛117的瞳孔的坐标。控制器110可以可操作地耦合到眼睛跟踪系统112，并被配置成更新图像数据109，以便通过考虑由眼睛跟踪系统112确定的用户的眼睛117的瞳孔的位置和/或定向来至少部分地抵消由光瞳扩展器106引入的颜色和/或吞吐量变化的角度依赖性。
在电子显示器102包括彩色图像的多个颜色通道的实施例中，例如红色(R)、绿色(G)和蓝色(B)颜色通道，光瞳扩展器106的吞吐量可以依赖于特定于每个颜色通道的光束的坐标和角度。在这样的实施例中，如果需要，控制器110可以被配置成在每颜色通道基础上、即对于每个颜色通道不同地更新图像数据109。图像数据109由控制器110更新，以通过考虑由眼睛跟踪系统112确定的用户的眼睛117的位置和定向中的至少一个来针对每个颜色通道至少部分地抵消光瞳扩展器106的吞吐量对光束的坐标和角度的依赖性。可以预先校准图1A的NED 100A，以获得光学吞吐量对光束参数(诸如角度或坐标)的依赖性。可以校准单独的设备部件(例如光瞳扩展器部件)或者整个显示设备。
参考图1B，扫描NED 100B类似于图1A的NED 100A，包括扫描图像投影仪130B代替包括电子显示面板和微型透镜107的基于显示器的投影仪130A。扫描图像投影仪130B执行相同的功能，但是不是一次提供全部图像，而是扫描或光栅化图像。为此，扫描图像投影仪130B包括光引擎132，该光引擎132将一个或几个光束导向可倾斜反射镜134，例如微机电系统(MEMS)可倾斜反射镜。当可倾斜反射镜134被扫描时，例如从对应于第一光束114的角度到对应于第二光束115的角度，由光引擎132生成的光束的光功率水平和/或颜色被调整以光栅化要显示的图像。扫描或光栅化执行得足够快，使得用户的眼睛117对接收到的扫描光束的光功率水平进行整合，并看到完整的图像。
参照图2A和图2B进一步解释图1A和图1B的光瞳扩展器106的吞吐量的光束坐标和角度依赖性的起源。图2A在侧视图中示出了光瞳扩展器106。图像光的光束205照射到输入耦合衍射光栅181上，输入耦合衍射光栅181衍射光束205以朝着输出耦合衍射光栅182传播。在那里，在第一点201处(图2B)，光束205的光路分成两条：用实线示出的第一路径211和用细虚线示出的第二路径212。用粗虚线示出的第三路径213在第二点202处分离。最后，用短划线示出的第四路径214在第三点203处分离。所有四条路径211、212、213和214在第四点204处相遇，在第四点204处光束205离开波导175。在四条路径211、212、213和214中，两条路径——第一路径211和第二路径212——具有名义上相等的路径长度；以及两条路径——第三路径213和第四路径214——具有名义上相等(尽管不同于第一路径211和第二路径212)的路径长度。因此，形成了四路径干涉仪，这可以导致光瞳扩展器106的吞吐量的波长依赖性。此外，因为路径长度和它们的差异依赖于入射角或者依赖于光束205在视窗108(图1A)处的输出耦合衍射光栅182处的衍射角，光瞳扩展器106的吞吐量也将依赖于光束205的角度。然而此外，因为波导175可以由于制造公差而具有轻微的楔形或波浪，路径长度和它们的差异也可以依赖于光束205在输出耦合衍射光栅182处或在视窗108处的坐标,并且对于每个制成的光瞳扩展器，依赖性可以是不同的。
可以校准图1A的NED 100A和图1B的100B，以补偿吞吐量和颜色性能对光束角度和坐标的依赖，即对角度域中的像素坐标(对应于光束角度)和视窗中的眼瞳的位置(对应于光束坐标)的依赖。可以校准单独的设备部件(例如光瞳扩展器部件)或者整个显示设备。
转向图3，校准装置300包括测试光源，该测试光源包括测试显示面板302和透镜307，平台306上的测试相机317，以及用于向测试显示面板302提供测试图案309的测试控制器310。作为非限制性示例，测试显示面板302可以包括具有多个像素(例如第一像素304和第二像素305)的电子显示面板，以用于提供包括第一测试光束314和第二测试光束315的多个光束，这些光束在图3中分别用实线和虚线示出。可选地，测试显示面板302可以用均匀光的扩展光源代替，例如具有朗伯角分布的白光。测试相机317可以被构造成在它的光学性能上高度模仿人眼。例如，测试相机317可以包括恒定或可变的输入光瞳，该输入光瞳具有与人眼的瞳孔直径(或直径范围)匹配的光瞳直径或光阑、类似于人眼的视角的视角等。平台306可以是可移动平台、可倾斜平台，或可移动和可倾斜平台。平台可以包括用于在宽度、高度和深度的维度上平移测试相机317的X、XY或XYZ平移台。
参考图4并进一步参考图1A、图1B和图3，可以使用图3的校准装置300来执行校准光瞳扩展器例如图1A和图1B的基于波导的光瞳扩展器106的方法400。方法400包括在光瞳扩展器106的输入光瞳处提供(402)在角度域中传送测试图像的图像光。测试图像可以包括但不限于黑白或彩色测试图案、白色场(即空白白色图像)、彩色通道场(例如红色、绿色和/或蓝色颜色通道)等。例如，图像光可以包括第一测试光束314和第二测试光束315。
方法400还包括获得(图4；404)图像光的参数的角度分布。仅举几个例子，该参数可以包括图像光的颜色坐标、图像光的颜色通道的功率和/或图像光的亮度通道的功率。在一些实施例中，可以在光瞳扩展器的输入光瞳处提供已知光功率密度的平坦白色测试图案，使得在输出光瞳处测量的光功率密度使得人们能够确定光瞳扩展器的吞吐量，并且测量的颜色坐标使得人们能够确定在NED视窗上的光瞳扩展器的颜色偏移或颜色传递函数。
方法400还包括确定(406)由光瞳扩展器引入到图像光中的参数的变化的角度依赖性。例如，通过用测试相机317(图3)拍摄图像，从获得的参数的角度分布在输出光瞳上确定参数的变化的角度依赖性。因为测试图像在角度域中，所以测量参数的角度依赖性是基于逐个像素的，也就是说，测量的吞吐量和/或颜色偏移是基于逐个像素确定的。这些逐个像素的校准数据使得随后的光学吞吐量和颜色补偿能够逐个像素地进行，也就是说，由在光瞳扩展器中传播的图像光传送的角度域中的图像的每个像素可以被单独校正。
方法400还包括在光瞳扩展器的输出光瞳处的多个非均匀间隔的网格位置处进行重复(图4；408)测试测量，例如通过平移放置在平台306(图3)上的测试相机317。非均匀间隔的网格位置的空间密度在输出光瞳上变化，在具有在测试图像的至少一部分视场(FOV)上积分的参数的变化的较大空间导数的输出光瞳的区域处较大。
为了突出使用非均匀测试网格的优势，将首先考虑均匀测试网格。参考图5，矩形测试网格500包括均匀间隔的测试网格位置502的矩形阵列。最初，由光瞳复制器引入的图像光的参数的角度依赖的变化，诸如光学吞吐量T(在角度域中图像上的光功率密度的降低)、颜色传递函数ΔE(由光瞳扩展器引入的图像的每个像素的颜色坐标E的偏移)等，在NED的视窗上的均匀间隔的测试网格位置502处被确定。这些角度依赖的变化，例如T、ΔE，可以被存储为用于每个测试网格位置的表。例如，参考图6并进一步参考图5，具有角坐标(α,β)的每个像素的列表吞吐量T和颜色传递函数ΔE被存储为第一位置502A的第一表602A、第二位置502B的第二表602B、第三位置502C的第三表602C和第四位置502D的第四表602D。
第一表602A至第四表602D可以用于以下列方式校准要显示给佩戴NED的观看者的图像。NED的眼睛跟踪系统可以确定观看者的眼睛位于第一测试网格位置502A、第二测试网格位置502B、第三测试网格位置502C和第四测试网格位置502D之间的位置550处(图5和图6)。然后，NED的控制器可以分别确定从眼瞳位置550到第一测试网格位置502A、第二测试网格位置502B、第三测试网格位置502C和第四测试网格位置502D的对应距离dA、dB、dC和dC，分别由直线512A、512B、512C和512D示出。对于图像像素的每个角坐标(α,β)，控制器可以如下确定参数变化P的值：
其中
其中d是到A、B、C和D的距离的倒数的和，距离例如第一位置502A和第三位置502C之间的距离或者第二位置502B和第四位置502D之间的距离，并且P是由光瞳扩展器引入的光学参数的变化，诸如光学吞吐量T(α,β)(角度域中图像上输出与输入光功率密度之比)或颜色传递函数ΔE(α,β)(光瞳扩展器引入的图像每个像素的颜色坐标E的偏移)。
上述校准光瞳复制器/光瞳扩展器的方法的一个问题是参数的依赖性，例如吞吐量T，尤其是色差ΔE(例如在CIELAB坐标中)，可能非常不均匀。当参数不均匀时，即在视窗的某个位置处有一个尖锐的峰值时，由等式(1)在均匀测试网格的位置诸如图5的矩形测试网格500的位置502之间提供的线性插值可能不够精确。作为说明，参考图7A，示出了针对光瞳复制波导的测试样本的测量的平均颜色偏移ΔE(在CIELAB坐标中)的“热图”700A。颜色偏移ΔE的平均值被绘制为以毫米为单位的输出光瞳线性坐标即视窗X、Y坐标的函数。可以通过在图像的FOV上求平均，即通过在图像像素坐标(α,β)上积分，获得颜色偏移ΔE的平均值。可以看出，颜色偏移ΔE不均匀地分布在测试光瞳复制波导上，在短划线椭圆702A勾勒的区域处具有明显的峰值。图7B示出了图像像素坐标(α,β)上的颜色偏移ΔE分布的测量的95％值的“热图”700B。在图7B中，高的-ΔE峰值位于用细长的短划线椭圆702B勾勒出的区域中。
根据本公开，测试点(光瞳复制器将通过在测试点处测量吞吐量和/或颜色偏移来表征)的网格可以被制成不均匀的，使得非均匀间隔的网格位置的空间密度在NED的视窗上变化。在输出光瞳的具有参数的变化的较大空间导数的区域处，空间密度较大。例如，可以使输出光瞳上非均匀间隔的网格位置的空间密度与参数的平均变化的空间导数成正比。测量的参数变化可以在图像的至少一部分FOV上取平均。
下面考虑非均匀测试网格的几个非限制性说明性例子。首先参考图8A，非均匀矩形网格800A沿着X方向(图8A中的水平方向)和/或Y方向(图8A中的垂直方向)具有空间变化的网格间距。网格位置的X和Y密度在光瞳复制器的平均光学参数的变化的高空间导数的区域802A处增加。举例来说，与光学吞吐量和/或颜色偏移变化更慢的角落区域相比，区域802A可以是光学吞吐量和/或颜色偏移快速变化的区域。可以在所有颜色通道上或基于逐个通道地测量光学吞吐量。
参考图8B，非均匀网状或多边形网格800B包括单独的多边形形状的网格单元。多边形可以包括三角形、四边形、五边形、六边形等，并且可以是对称的或非对称的。在所选光学参数的高变化率(空间导数)的区域802B中，网格位置即网格单元的顶点的密度可以更高。所选择的光学参数可以包括特定颜色通道的吞吐量、亮度变化、颜色偏移等。在整个说明书中，术语“高变化率”应理解为与视窗/光瞳复制器的其他区域即光学吞吐量和/或颜色偏移在空间上变化更慢的区域相比较。该参数可以在所有颜色通道上被测量，或者在逐个通道的基础上被测量，并且在整个FOV或者FOV的选定部分(例如FOV的中心部分)上取平均。
参考图8C，非均匀曲线网格800C包括矩形网格单元，矩形网格单元在FOV平均参数的低空间变化率区域被拉伸，即非线性扩展。网格单元在FOV平均参数的高空间变化率的区域802C处被致密化或非线性压缩，诸如由光瞳扩展器在该位置引入的每通道或全亮度下降和/或颜色偏移。
转向图8D，非均匀径向网格800D由从光瞳复制参数的快速空间变化的区域802D的中心810延伸的径向线804形成。径向线804被一组同心圆周线806交叉，网格由交叉点808形成。圆周线806的空间密度可以朝向中心810增加，中心810可以设置在具有平均吞吐量的较大空间导数的区域802D附近。如图所示，圆周线806可以是椭圆形的，也可以是圆形的、蜿蜒的等。应当理解，图8A到图8D的网格800A-800D仅是示例，并且许多其他非均匀网格类型和配置也是可能的。
现在参考图9，用于确定用于测试光瞳复制器的非均匀间隔的网格位置的方法900包括获得(902)在光瞳扩展器的输出光瞳处的多个第一网格位置处的图像光的参数的平均变化。第一网格可以是预先选择的初始网格，例如具有均匀间隔的网格位置的网格，诸如图5的矩形测试网格500。例如，如上面参考图6所示和解释的，可以通过多个第一网格位置之间的插值来确定(904)输出光瞳上的参数的平均变化。然后可以从参数的平均变化中获得(906)所确定的参数的平均变化的空间导数。可以通过在比多个第一网格位置间隔更密集的多个预定义第二网格位置处插值参数值来获得输出光瞳上的空间导数。第二网格位置可以是均匀的或非均匀的。然后，非均匀网格位置被选择(908)，使得在具有在图像的至少一部分FOV上取平均的参数的变化的较大空间导数的输出光瞳的区域处，非均匀网格位置的密度较大。例如如上图8A到8D所示，非均匀网格通常可以是矩形的、极线的、波浪形的、蜿蜒的等。
转到图10，操作NED例如图1A的NED 100A或图1B的扫描NED 100B的方法1000，包括使用眼睛跟踪器以确定(1002)用户的眼瞳在视窗中的当前位置。为了确定当前眼瞳位置，眼睛跟踪器可以用不可见光(例如红外光)照射眼睛，并获得被照射眼睛的一系列图像。然后，眼睛跟踪器可以使用眼睛的几何模型来确定眼睛在NED的视窗内的位置和定向，并从所确定的眼睛位置和定向来确定眼瞳位置。
在所确定的用户的眼瞳的位置处，由光瞳扩展器引入的图像光的参数的变化的角度依赖性通过先前在视窗处的多个非均匀间隔的网格位置处确定的参数的变化的角度依赖性之间的插值来获得(1004)。参数可以包括颜色变化、亮度变化、特定颜色通道处的光学吞吐量、不同颜色通道的光学吞吐量的和和/或差等。
要显示的图像可以被调整(1006)，以至少部分地抵消所获得的由光瞳扩展器引入的变化的角度依赖性。例如，在光瞳扩展器的光学吞吐量较低的输出光瞳的区域中，图像的亮度可以被预加强以抵消较低的光学吞吐量。在由于不同颜色通道(例如红色(R)、绿色(G)和蓝色(B)颜色通道)处的不同吞吐量而引入已知颜色变化的输出光瞳的区域中，图像的颜色可以在相反方向上偏移相同的量，等。
为了以参数的高空间变化率提供输出光瞳/视窗区域中的参数变化的精确插值，可以使非均匀间隔的网格位置的空间密度在输出光瞳/视窗上变化，在具有在图像的至少一部分FOV上取平均的参数的变化的较大空间导数的输出光瞳的区域处，空间密度较大。可以在NED的校准阶段期间，使用例如图9的方法900，预先选择非均匀间隔的网格。然后可以显示调整后的图像(1008)。
例如，方法1000可以在图1A的NED 100A的控制器110中实现。取决于NED控制器的配置，方法1000可以用软件、固件、它们的某种组合等来实现。
本公开的实施例可以包括人工现实系统或结合人工现实系统来实现。人工现实系统在通过感官获得的关于外界的感官信息(如视觉信息、音频、触摸(躯体感觉)信息、加速度、平衡等)呈现给用户之前，以某种方式调整感官信息。作为非限制性示例，人工现实可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、躯体或触觉反馈或者它们的某种组合。这些内容中的任何一个都可以在单个通道或多个通道中呈现，例如在向观看者产生三维效果的立体视频中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括可穿戴显示器，例如连接到主计算机系统的HMD、独立的HMD、具有眼镜形状因子的近眼显示器、移动设备或计算系统，或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
参考图11A，HMD 1100是为了更大程度地沉浸到AR/VR环境内而包围用户的面部的AR/VR可穿戴显示系统的示例。例如，HMD 1100是图1A的NED 100A或图1B的扫描NED 100B的实施例。HMD 1100的功能是用计算机生成的图像来增强物理、真实世界环境的视图，和/或生成完全虚拟的3D图像。HMD 1100可以包括前主体1102和带1104。前主体1102被配置为以可靠和舒适的方式放置在用户的眼睛前面，以及带1104可以被拉伸以将前主体1102固定在用户的头上。显示系统1180可以布置在前主体1102中，用于向用户呈现AR/VR图像。前主体1102的侧面1106可以是不透明的或透明的。
在一些实施例中，前主体1102包括定位器1108、用于跟踪HMD 1100的加速度的惯性测量单元(IMU)1110以及用于跟踪HMD 1100的位置的位置传感器1112。IMU 1110是基于从一个或更多个位置传感器1112接收的测量信号来生成指示HMD 1100的位置的数据的电子设备，位置传感器1112响应于HMD 1100的运动生成一个或更多个测量信号。位置传感器1112的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 1110的误差校正的一种类型的传感器或者其某种组合。位置传感器1112可以位于IMU 1110的外部、IMU 1110的内部或者这两种位置的某种组合。
定位器1108由虚拟现实系统的外部成像设备跟踪，使得虚拟现实系统可以跟踪整个HMD 1100的定位和定向。可以将由IMU 1110和位置传感器1112产生的信息与通过跟踪定位器1108获得的位置和定向进行比较，以提高HMD 1100的位置和定向的跟踪准确性。当用户在3D空间中移动和转动时，准确的位置和定向对于向用户呈现适当的虚拟场景是重要的。
HMD 1100还可以包括深度相机组件(DCA)1111，其捕获描述围绕HMD 1100的部分或全部的局部区域的深度信息的数据。为此，DCA 1111可以包括激光雷达(LIDAR)或类似设备。可以将深度信息与来自IMU 1110的信息进行比较，以便更准确地确定HMD 1100在3D空间中的位置和定向。
HMD 1100还可以包括眼睛跟踪系统1114，用于实时地确定用户眼睛的定向和位置。所获得的眼睛的位置和定向还允许HMD 1100确定用户的凝视方向，并相应地调整由显示系统1180生成的图像。在一个实施例中，确定聚散度(vergence)，即用户的眼睛凝视的会聚角度。根据观看角度和眼睛位置，所确定的凝视方向和聚散度角(vergence angle)也可以用于视觉伪像的实时补偿。此外，所确定的聚散度角和凝视角度可用于与用户交互、突出显示对象、将对象带到前景、创建附加对象或指针等。还可以提供音频系统，包括例如一组内置在前主体1102中的小扬声器。
参考图11B，AR/VR系统1150是基于例如图1A的NED 100A或图1B的扫描NED 100B的AR/VR系统的示例实现。AR/VR系统1150包括图11A的HMD 1100、外部控制台1190和输入/输出(I/O)接口1115，外部控制台1190存储各种AR/VR应用、设置和校准程序、3D视频等，输入/输出(I/O)接口1115用于操作控制台1190和/或与AR/VR环境交互。HMD 1100可以用物理电缆“系留(tether)”到控制台1190上，或者经由诸如Wi-Fi等的无线通信链路连接到控制台1190。可以有多个HMD 1100，每个HMD 1100具有相关联的I/O接口1115，其中每个HMD 1100和I/O接口1115与控制台1190通信。在替代配置中，AR/VR系统1150中可以包括不同的和/或附加的部件。此外，在一些实施例中，结合图11A和图11B中所示的一个或更多个部件描述的功能，可以以不同于结合图11A和图11B描述的方式分布在部件之中。例如，控制台1115的一些或全部功能可以由HMD 1100提供，反之亦然。HMD 1100可以设置有能够实现这种功能的处理模块。
如上面参考图11A所述，HMD 1100可以包括用于跟踪眼睛位置和定向、确定凝视角度和会聚角度等的眼睛跟踪系统1114(图11B)、用于确定HMD 1100在3D空间中的位置和定向的IMU 1110、用于捕获外部环境的DCA 1111、用于独立确定HMD 1100的位置的位置传感器1112、以及用于向用户显示AR/VR内容的显示系统1180。显示系统1180包括(图11B)电子显示器1125，例如但不限于液晶显示器(LCD)、有机发光显示器(OLED)、无机发光显示器(ILED)、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、投影仪或其组合。显示系统1180还包括光学块1130，其功能是将电子显示器1125产生的图像传送给用户的眼睛。光学块可以包括各种透镜，例如折射透镜、菲涅耳透镜、衍射透镜、有源或无源潘查拉特南-贝里相位(PBP)透镜、液体透镜、液晶透镜等，光瞳复制波导，光栅结构，涂层等。显示系统1180还可以包括变焦模块1135，其可以是光学块1130的一部分。变焦模块1135的功能是调节光学块1130的焦点，以例如补偿视觉辐辏调节冲突(vergence-accommodation conflict)、校正特定用户的视觉缺陷、抵消光学块1130的像差等。
I/O接口1115是允许用户发送动作请求并从控制台1190接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口1115可以包括一个或更多个输入设备，例如键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台1190的任何其他合适的设备。由I/O接口1115接收的动作请求被传送到控制台1190，控制台执行对应于动作请求的动作。在一些实施例中，I/O接口1115包括IMU，其捕获指示相对于I/O接口1115的初始位置的I/O接口1115的估计位置的校准数据。在一些实施例中，I/O接口1115可以根据从控制台1190接收到的指令向用户提供触觉反馈。例如，当动作请求被接收到时触觉反馈可以被提供，或者当控制台1190向I/O接口1115传送指令使I/O接口1115在控制台1190执行动作时生成触觉反馈。
控制台1190可以向HMD 1100提供内容，以根据从IMU 1110、DCA 1111、眼睛跟踪系统1114和I/O接口1115中的一个或更多个接收的信息进行处理。在图11B所示的示例中，控制台1190包括应用储存器1155、跟踪模块1160和处理模块1165。控制台1190的一些实施例可以具有不同于结合图11B描述的模块或部件的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图11A和图11B描述的方式被分配在控制台1190的部件中。
应用储存器1155可以存储用于由控制台1190执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于演示给用户的内容。由应用生成的内容可以响应于经由HMD 1100的移动或I/O接口1115而从用户接收的输入。应用的示例包括：游戏应用、演示和会议应用、视频回放应用或其他合适的应用。
跟踪模块1160可以使用一个或更多个校准参数来校准AR/VR系统1150，并且可以调整一个或更多个校准参数以减少HMD 1100或I/O接口1115的位置确定中的误差。由跟踪模块1160执行的校准还考虑了从HMD 1100中的IMU 1110和/或被包括在I/O接口1115中的IMU(如果有的话)接收的信息。另外，如果对HMD 1100的跟踪丢失，则跟踪模块1160可以重新校准AR/VR系统1150的部分或全部。
跟踪模块1160可以跟踪HMD 1100或I/O接口1115的移动、IMU 1110或其某种组合。例如，跟踪模块1160可基于来自HMD 1100的信息来确定HMD 1100的参考点在局部区域的映射中的位置。跟踪模块1160也可以分别地使用来自IMU 1110的指示HMD 1100的位置的数据或者使用来自被包括在I/O接口1115中的IMU的指示I/O接口1115的位置的数据，来确定HMD 1100的参考点或者I/O接口1115的参考点的位置。此外，在一些实施例中，跟踪模块1160可以使用来自IMU 1110的指示HMD 1100的位置的数据的部分以及来自DCA 1111的局部区域的表示来预测HMD 1100的未来定位。跟踪模块1160向处理模块1165提供HMD 1100或I/O接口1115的估计的或预测的未来位置。
处理模块1165可以基于从HMD 1100接收的信息生成围绕HMD 1100的部分或全部的区域(“局部区域”)的3D映射。在一些实施例中，处理模块1165基于从DCA 1111接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。在各种实施例中，处理模块1165可以使用深度信息来更新局部区域的模型，并且部分地基于更新的模型来生成内容。
处理模块1165在AR/VR系统1150内执行应用，并从跟踪模块1160接收HMD 1100的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，处理模块1165确定要提供给HMD 1100用于向用户呈现的内容。例如，如果接收到的信息指示用户已经向左看，则处理模块1165为HMD 1100生成反映(mirror)用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。另外，处理模块1165响应于从I/O接口1115接收的动作请求来执行在控制台1190上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 1100的视觉或听觉反馈或者经由I/O接口1115的触觉反馈。
在一些实施例中，基于从眼睛跟踪系统1114接收的眼睛跟踪信息(例如，用户眼睛的定向)，处理模块1165确定提供给HMD 1100用于在电子显示器1125上呈现给用户的内容的分辨率。处理模块1165可以向HMD 1100提供内容，该内容在电子显示器1125上在用户凝视的中央凹区(foveal region)中具有最大像素分辨率。处理模块1165可以在电子显示器1125的其他区域中提供较低的像素分辨率，从而减少AR/VR系统1150的功耗并节省控制台1190的计算资源，而不会损害用户的视觉体验。在一些实施例中，处理模块1165可以进一步使用眼睛跟踪信息来调整对象在电子显示器1125上的显示位置，以防止视觉辐辏调节冲突和/或抵消光学失真和像差。
用于实现结合本文所公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可以用被设计成执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门(discrete gate)或晶体管逻辑、分立硬件部件或它们的任意组合来实现或执行。通用处理器可以是微处理器，但是替代地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或更多个微处理器、或者任何其他这样的配置。替代地，一些步骤或方法可以由特定于给定功能的电路来执行。
本公开在范围上不受本文描述的特定实施例限制。实际上，除了在本文描述的那些实施例和修改之外，根据前面的描述和附图，其他各种实施例和修改对于本领域中的普通技术人员将是明显的。因此，这样的其他实施例和修改被规定为落在本公开的范围内。此外，尽管在本文在特定实现的上下文中在特定环境中为了特定的目的描述了本公开，但是本领域中的普通技术人员将认识到它的有用性不限于此，以及本公开可以有益地在任何数量的环境中为了任何数量的目的而实现。因此，应该考虑如本文描述的本公开的全部广度和精神来解释所阐述的权利要求。