用于配准第一图像帧与第二图像帧的设备、方法和系统与流程

本发明涉及用于配准第一图像帧与第二图像帧的远程光体积描记设备、远程光体积描记方法和远程光体积描记系统。

背景技术

人的生命体征(例如，心率(HR)、呼吸速率(RR)或动脉血氧饱和度(SpO2))可以充当人的当前状态的指标，并且可以充当对严重医学事件的有力预测指标。出于这个原因，在住院和门诊护理环境中，在家中或者在另外的健康、休闲和健身环境中，生命体征被广泛监测。

测量生命体征的一种方法是体积描记法。体积描记法通常是指测量器官或身体部位的体积变化，特别是指探测由随着每一次心跳行进通过对象的身体的心血管脉搏波产生的体积变化。

光体积描记术(PPG)是一种光学测量技术，它用于评价感兴趣区或体积的光反射或光透射的时变变化。PPG基于如下原理：血液比周围组织吸收更多的光。因此，随着每一次心跳血容量的变化会相应地影响透射或反射。除了关于心率的信息以外，PPG波形(也被称为PPG信号)还能够包括归因于另外的生理现象(例如，呼吸)的信息。通过评价不同波长(通常为红色和红外波长)的透射率和/或反射率，能够确定血氧饱和度。

用于测量对象的心率和(动脉)血氧饱和度的常规脉搏血氧计(在本文中也被称为接触式PPG设备)被附接到对象的皮肤，例如，指尖、耳垂或前额。因此，它们被称为“接触式”PPG设备。虽然接触式PPG被认为是一种基本无创的技术，但是由于脉搏血氧计被直接附接到对象并且任何线缆会限制移动的自由度并可能阻碍工作流程，因此接触式PPG测量通常会令人不舒服并且是干扰性的。

在过去的十年中，已经提出了用于非干扰性测量的非接触式远程PPG(rPPG)设备(也被称为基于相机的设备)。远程PPG利用光源，或者在一般辐射源中被设置为远离感兴趣对象。类似地，探测器(例如，相机或光探测器)也能够被设置为远离感兴趣对象。因此，远程光体积描记系统和设备被认为是非干扰性的，并且非常适合用于医学日常应用和非医学日常应用。例如在W.Wang,A.C.den Brinker、S.Stuijk和G.de Haan的文章“Algorithmic principles of remote-PPG”(IEEETransactions on Biomedical Engineering，第64卷，第7期，第1479-1491页，2017年)和M.Van Gastel、S.Stuijk和G.De Haan的文章“New principle for measuring arterial blood oxygenation,enabling motion-robust remote monitoring”(Scientific reports，第6卷，第38609页，2016年)中公开了远程PPG。

通过使用PPG技术能够测量生命体征，这些生命体征可以通过由脉动的血容量引起的皮肤中的微小的光吸收变化(即，通过由血容量脉动引发的人体皮肤的周期性颜色变化)来揭示。由于这种信号非常小并且由于照明变化和运动而隐藏在更大的变化中，因此人们普遍关注如何改善基本的低信噪比(SNR)。因此，这样的改善的PPG信号应当没有受到失真(例如，身体运动、光谱变化、低表皮脉动性和/或非皮肤像素污染等)的影响。仍然存在苛刻的情况，如剧烈的运动、严峻的环境照明条件或者应用要求高准确性，特别是对于更为关键的医学护理应用，其要求改善生命体征测量设备和方法的鲁棒性和准确性。

视频健康监测(心率、呼吸速率、SpO2、体动记录、神志不清等)是一个有前途的新兴领域。其固有的非干扰性对于皮肤脆弱的患者或需要长期监测生命体征的患者(例如，NICU患者、被广泛烧伤的患者、必须在家中在睡眠期间进行监测的COPD患者)来说具有明显的优势。在其他环境(例如，普通病房或急诊部门)中，非接触式监测的舒适性仍然是一个有吸引力的特征。

虽然视频健康监测是一个有前途的新领域，但是还必须克服许多挑战。将系统设计为对患者的移动具有鲁棒性是当前是主要挑战之一，特别是在急诊部门中实现的应用。

一种用于为生命体征提取(例如，脉搏提取)提供这样的鲁棒系统的手段是例如组合多波长通道以消除来自测量信号的(运动)失真。因此，系统可以具有被配备有Bayer滤波器的多光谱相机以在不同波长下测量皮肤。然而，Bayer滤波器通常可用作RGB滤波器，但在较少情况下也可用作近红外(NIR)滤波器，其中，NIR波长对于脉搏提取是特别有利的。此外，多光谱相机系统仍被认为是昂贵的，其在中期展望(即，5年)中可能不变，因此限制了它们的广泛应用。

另外，为了提高整体系统的灵活性，能够使用具有用于预定义的波长或波长范围的光纤的多个单色相机。与多光谱相机系统相比，这样的系统提供了成本有效的替代方案，并且与多光谱相机系统相比，这样的系统允许针对波长选择(例如，760nm、800nm、905nm)的更高自由度，因为它们与Bayer滤波器的可用性无关。另外，多个单色相机系统能够与窄带滤波器一起应用，而窄带滤波器使得能够进行SpO2测量。相比之下，多光谱相机系统通常会遭受频带串扰的影响，而频带串扰不允许进行SpO2测量。

多个单色相机系统通常包括两个或更多个相机，这两个或更多个相机彼此间隔开，观察共同的感兴趣区域。由于这两个或更多个相机间隔开，因此当它们聚焦于共同的感兴趣区域时，它们的光路不同。当观察从两个或更多个相机采集的两幅图像帧时，这引起共同的感兴趣区域的位置的位移，其中，发生的这种现象通常被称为“视差”。由于视差对生命体征测量结果提取的影响显著性取决于焦距以及感兴趣区域与(一个或多个)相机之间的距离，因此它仍被认为是针对使用多个单色相机的情况的重大挑战。

减小视差的现有解决方案是图像配准/对准。其中，图像配准通常包括两个阶段，其中，在第一阶段中，(例如针对记录的前几帧)执行校准，以便估计不同相机的图像帧之间的线性变换模型(例如，平移、欧几里德、仿射或单应)。在第二阶段中，所估计的模型可以应用于后续图像帧以将所述图像帧配准到参考图像帧。

US 2018/0262685 A1公开了解决当使用多个镜头相机拍摄例如360°视频时发生的视差问题的系统。该系统使用对来自多个相机的图像帧的拼接结果。应用翘曲变换以确定采集区的边界区域的像素的位移。此外，应用空间和/或时间平滑化，并且以多个空间尺度确定翘曲变换。

VAN GASTEL,Mark、STUIJK,Sander、DE HAAN,Gerard的“Motion robust remote-PPG in infrared”(IEEE Transactions on Biomedical Engineering，2015年，第62卷，Jg.,Nr.5，第1425-1433页)公开了rPPG在(近)红外光谱中的可行性，这拓宽了rPPG的应用范围。

ZHOU,Dongxiang、ZHANG,Hong的“Modified GMM background modeling and optical flow for detection of moving objects”(在IEEE 2005系统、人类和控制论的2005IEEE国际会议中，第2224-2229页)公开了在嘈杂的背景中对移动的目标的检测。

GAY-BELLILE、Vincent等人的“Image registration by combining thin-plate splines with a 3Dmorphable model”(在IEEE 2006图像处理的2006国际会议中，第1069-1072页)公开了组合薄板条样与3D实体的图像变形模型、3D控制网格和相机。

技术实现要素：

本发明的目的是提供降低视差对图像帧的配准的影响的远程光体积描记设备、远程光体积描记方法以及远程光体积描记系统。

在本发明的第一方面中，提出了一种用于配准由第一成像单元采集的第一图像帧与由第二成像单元采集的第二图像帧的远程光体积描记设备，所述第一图像帧和所述第二图像帧均描绘共同的感兴趣区域，所述远程光体积描记设备包括处理单元，所述处理单元被配置为：测量所述第一图像帧与所述第二图像帧之间的第一像素位移；根据所述第一成像单元与所述第二成像单元之间的空间几何约束和/或时间几何约束来校正所述第一像素位移；并且基于经校正的第一像素位移来配准所述第一图像帧与所述第二图像帧。

在本发明的另外的方面中，提出了一种远程光体积描记系统，所述远程光体积描记系统包括：第一成像单元，其被配置为采集第一图像帧；第二成像单元，其与所述第一成像单元间隔开并且被配置为采集第二图像帧；以及根据本发明的设备，其用于配准所述第一图像帧与所述第二图像帧。

在本发明的又另外的方面中，提供了一种对应的远程光体积描记方法、一种计算机程序，以及一种非瞬态计算机可读记录介质。所述计算机程序包括程序代码模块，所述程序代码模块用于当所述计算机程序在计算机上被执行时使所述计算机执行本文所公开的方法的步骤。在所述非瞬态计算机可读记录介质中存储有计算机程序产品，所述计算机程序产品在由处理器运行时使本文公开的方法得以执行。

在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的方法、系统、计算机程序和介质具有与所要求保护的系统相似和/或相同的优选实施例，特别是如在从属权利要求中所定义的和如在本文中所公开的优选实施例。

本发明基于使用非线性自适应图像配准的想法来解决上面提到的常规图像配准的问题。

根据本发明，处理单元涉及测量例如优选由两个不同的成像单元(即，相机)同时采集的两个不同的图像帧之间的像素或像素组的位移，其中，这两个图像帧描绘相同的感兴趣目标或区域。所测量的像素位移优选用于内插图像帧，以便具有相同的对准结果。此外，不同图像帧的空间约束和/或时间约束用于限制像素到像素位移或预定义的像素组之间的位移的测量结果，以便对内插值进行平滑化。因此，对所测量的像素位移的校正能够单独基于空间约束，单独基于时间约束或者基于空间约束和时间约束这两者(时空约束)。优选地，在利用时间约束的情况下，可以定义时间窗口大小。其中，术语“时间窗口大小”可以被理解为用于图像的缓冲的时间窗口长度。因此，当使用时间图像序列来估计模型的时间约束时，可以将时间图像序列设置为在时间(t→t+1)中的至少两幅图像，也可以替代地将时间图像序列设置为在时间(t→t+N)中的几幅图像。

本发明具有以下优点和重点：它允许不同成像单元之间的非线性配准。这样的非线性配准是自适应的(即，对于视频内容是自适应的)，因此能够用于改善对采集运动中的目标的图像帧的配准。其中，图像配准能够应用于在采集场景中具有深度变化或对象/目标移动的场景(例如，要测量的目标到相应的成像单元的距离变化)。

因此，与(如在US 2018/0262685 A1中公开的)基于变换的图像配准相比，本发明示出了明显的优势，因为基于变换的图像配准是线性的，因此当要测量具有明显的深度信息的场景和/或具有3D几何形状的目标时，这种线性图像配准具有明显的局限性，因为它只对2D平面有效。

此外，基于变换的图像配准使用无法自适应视频内容的配准模型的估计结果，因为这样的配准模型只对使用固定的到相机的距离来进行模型估计的对象(例如，面部)有效。如果对象在测量期间移动并改变其到相机的距离，则基于变换的配准的结果是错误的，并且会将例如颜色梯度和/或伪影引入到生命体征提取信号，这被认为对健康信号提取是有害的，特别是对于诸如以下方法之类的提取方法：(如在G.de Haan、A.van Leest的“Improved motion robustness of remote-PPG by using the blood volume pulse signature”(Physiol.Meas.，第35卷，第9期，第1913-1922页，2014年10月)中所公开的)血容量脉动向量(PBV)方法、(如在G.de Haan和V.Jeanne的“Robust Pulse Rate from Chrominance-Based rPPG”(IEEE Transactions on Biomedical Engineering，第60卷，第10期，第2878-2886页，2013年10月)中所公开的)基于色度的方法以及(如在W.Wang、A.C.den Brinker、S.Stuijk和G.de Haan的“Algorithmic principles of remote-PPG”(IEEE Transactions on Biomedical Engineering，第64卷，第7期，第1479-1491页，2017年)中所公开的)平面正交于皮肤(POS)方法。特别地，血氧饱和度的测量结果取决于颜色变化的幅度，因此对配准伪影高度敏感。利用本发明，能够避免这种情况，因为配准模型是自适应的(即，对于视频内容是自适应的)。

特别是在具有成像单元之间的较大视差、明显的场景深度和/或对象运动(其中，目标与成像单元之间的距离是随时间变化的)的环境中，非线性和自适应图像配准被认为是有利的。

此外，根据本发明的图像配准能够有效地减小因不完美的图像配准引起的颜色伪影，这种颜色伪影对于基于线性的图像配准来说是众所周知的。

另外，在健康监测系统(其中，集成的解决方案(例如具有单条光路)是不常见的和/或太昂贵的)中，本发明被认为是有益的，因为包括根据本发明的设备以及多个成像单元(优选是多光谱NIR相机)的健康监测系统能够用作有效的替代方案，因为能够显著提高多个成像单元之间的图像配准的质量。因此，能够提高生命体征提取(特别是优选使用多个NIR波长进行校准的SpO2监测)的鲁棒性/准确性。

在根据本发明的设备的另外的实施例中，所述第一图像帧和所述第二图像帧是在相同的时间点采集的。其中，不仅优选由两个成像单元同时采集用于配准的第一图像帧和第二图像帧，而且优选使两个成像单元彼此同步。

在根据本发明的设备的又一实施例中，所述处理单元被配置为测量像素之间的像素到像素位移或在所述感兴趣区域内部的像素组之间的位移，作为所述第一像素位移。对像素位移的测量优选是通过以下操作来完成的：首先，选择第一图像帧或第二图像帧，作为参考图像帧；其次，测量每个像素的位移或参考图像帧与非参考图像帧之间的预定义像素组的位移。特别是在准确性要求降低的情况下(例如由于测量数据的冗余信息)，测量感兴趣区域内部的像素组的位移来代替测量逐像素位移能够显示出优势，因为能够减少计算时间并且能够提高配准的性能。

在根据本发明的设备的另外的实施例中，所述处理单元被配置为基于针对所述感兴趣区域内部的每个个体像素或针对所述感兴趣区域内部的像素组而采集的密集光流来测量所述第一像素位移。术语“密集光流”是指两个图像帧之间的目标、表面和/或边缘的表观运动的图案，这两个图像帧要么是由两个不同的彼此间隔开的成像单元同时采集的(视差)，要么是由一个成像单元在两个不同的时间采集的(即，当目标处于运动中时)。此外，密集光流能够被定义为两个不同的图像帧之间的像素或像素组的移动的表观速度的分布。

在根据本发明的设备的又一实施例中，所述密集光流基于以下各项中的一项：Lukas Kanade流、Farneback流、Horn-Schunck流、块匹配流、深度网络流和/或3DRS流。其中，这些光流测量方法之间的主要差异在于它们分别在寻找像素匹配和像素位移方面的准确性和鲁棒性，其中，准确性越高，实施相应的密集光流测量方法的成本就越高。此外，不同的密集光流测量方法在效率方面是不同的(例如，3DRS在计算方面很快)。例如，上面提到的光流测量方法中的一些方法更适用于图像帧中具有较少纹理的平原区域；而其他(即，更先进/更新的密集光流测量方法)更适用于没有特色的图像区域。

在根据本发明的设备的另外的实施例中，所述处理单元还被配置为：基于所述空间几何约束和/或所述时间几何约束来分析计算第二像素位移，并且通过计算所述第一像素位移和所述第二像素位移的平均值来对所述第一像素位移进行平滑化。因此，例如，能够基于预定的空间约束和/或时间约束来细化第一像素位移的值，从而改善图像配准。特别地，能够最大程度地减少对感兴趣区域中的像素或像素组的不精确配准，这提高了估计健康相关参数的准确度。

在根据本发明的设备的又一实施例中，所述处理单元还被配置为：基于所述空间几何约束和/或所述时间几何约束来分析计算第二像素位移，通过比较所述第一像素位移与所述第二像素位移来检测所测量的第一像素位移中的异常值，并且通过拒绝检测到的异常值来校正所述第一像素位移。根据本发明的这个实施例，因不精确配准引起的(即，由对象运动的视差引起的)异常值能够被拒绝，因此不会在健康参数测量中引起测量不准确。换句话说，已被移除的异常值不会用于分析健康参数。不是使用与异常值有关的测量数据，而是可以优选使用与被拒绝的异常值相邻的像素组的像素的与像素或像素组有关的测量数据的平均值(即，均值)来分析测量数据。

在根据本发明的设备的另外的实施例中，所述处理单元被配置为向下缩放所述第一图像帧和所述第二图像帧。因此，术语“向下缩放”是指在大小上减小图像帧的分辨率，例如将图像帧的大小从1240×720像素重新设定大小为640×480像素。优选地，通过对像素进行空间平均化来完成向下缩放。向下缩放的优点是降噪(即，减少相机传感器噪声)和生成更稳定的像素表示(例如，超像素)。向下缩放能够被认为类似于块到块(像素组)的局部配准，而不是类似于像素到像素的局部配准。

在根据本发明的设备的另外的实施例中，所述处理单元被配置为向上缩放所述第一像素位移。因此，首先向下缩放所考虑的图像帧(例如从1240×20像素向下缩放到640×480像素)。在此之后，针对减小的图像帧(640×480像素)估计经向下缩放的像素或经向下缩放的像素组的位移向量，并且通过分别将所估计的位移向量乘以比率来向上缩放所估计的位移向量(从640×480像素到1240×720像素)。然后，对使用原始分辨率的经向上缩放的向量的图像帧进行配准。特别地，向下缩放的步骤提高了密集光流测量的速度，从而提高了整体配准效率。

在根据本发明的设备的又一实施例中，所述空间几何约束基于所述第一成像单元与所述第二成像单元之间的预定几何约束。可以使用成像单元的固有参数(即，成像单元位置、视角、距离等)和/或基于图像内容的测量结果来测量空间约束。其中，在图像内容中表示的角点或特征可以用于参考，以便导出现空间约束。作为示例，由具有至少两个彼此间隔开的相机的多相机系统采集的3D目标的视图关系(以及因此关于3D对象的立体视觉影像)可以用作空间约束。替代地，例如，这样的多相机系统中的3D运动的视图关系可以用作时间约束。

在根据本发明的系统的另外的实施例中，包括在所述系统中的所述第一成像单元是单色相机和/或多光谱相机，并且包括在所述系统中的所述第二成像单元是单色相机和/或多光谱相机。特别是在基于三个不同波长来执行SpO2测量的情况下，系统可以包括一个单色相机和一个多光谱相机，其中，所述相机彼此间隔开。在这样的情况下，单色相机可以被配置为采集第一波长或波长范围，而多光谱相机可以被配置为既采集第二波长或波长范围又采集第三波长或波长范围。因此，能够由两个不同的相机测量三个不同的波长，这降低了成本和整体系统的复杂度。

在根据本发明的系统的另外的实施例中，包括在所述系统中的所述第一成像单元被配置为采集可见或红外波长范围内的第一波长或波长范围，并且包括在所述系统中的所述第二成像单元被配置为采集可见或红外波长范围内的第二波长或波长范围，所述第二波长或波长范围不同于所述第一波长或波长范围。例如，第一波长或波长范围以及第二波长或波长范围均可以是NIR波长或波长范围。

在根据本发明的系统的又一实施例中，所述系统还包括健康参数提取单元，所述健康参数提取单元被配置为基于经配准的图像帧来提取对象的生命体征。其中，由健康参数提取单元获得的经配准的图像帧得自根据本发明的配准方法，该配准方法是由该设备执行的。在使用经配准的图像帧来进行生命体征提取的情况下，能够减小视差对生命体征提取的影响。根据本发明的实施例，特别地，从具有深度信息的3D对象的图像帧进行的生命体征提取比现有技术的(即，根据基于变换的图像配准的)生命体征提取表现出更高的准确度。

附图说明

参考下文描述的(一个或多个)实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。在以下附图中：

图1示出了根据本发明的系统的示意图；

图2示出了根据本发明的方法的流程图；

图3A、图3B、图3C、图3D示出了系统设置(图3A)以及由根据本发明的系统采集的所得到的图像帧(图3B、图3C、图3D)；

图4示出了由根据本发明的系统采集的第一组图像帧的示意图；

图5A、图5B示出了由根据本发明的系统采集的第二组图像帧的示意图；

图6示出了由根据本发明的系统采集的第三组图像帧的示意图；

图7A、图7B、图7C示出了没有图像配准的图像帧(图7A)、具有基于变换的图像配准的图像帧(图7B)以及具有根据本发明的图像配准的图像帧(图7C)；

图8A、图8B、图8C示出了没有图像配准的图像帧(图7A)、具有基于变换的图像配准的图像帧(图7B)以及具有根据本发明的图像配准的图像帧(图7C)；并且

图9A、图9B示出了现有技术的配准(图9A)与根据本发明的图像配准(图9B)的比较。

具体实施方式

图1示出了根据本发明的系统100的实施例的示意图。系统100包括第一成像单元110和第二成像单元130，第一成像单元110被配置为采集第一图像帧120，第二成像单元130被配置为采集第二图像帧140。

系统100还包括用于配准由第一成像单元110采集的第一图像帧120与由第二成像单元130采集的第二图像帧140的设备150。成像单元110、130也可以被称为基于相机的PPG传感器或远程PPG传感器。第一图像帧120和第二图像帧140均描绘对象170的共同的感兴趣区域160。图像帧120、140均包括用于确定指示对象170的至少一个生命体征的生理信息的信息。

对象170可以是患者，在该实施例中是躺在(例如医院或其他健康护理机构中的)床180上的患者，但也可以是在NICU中的(例如躺在保育箱中的)皮肤非常敏感的新生儿或早产儿、皮肤受损(例如烧伤)的患者或者在家中或在不同的环境中的人。

针对用于配准由不同的成像单元采集的、描绘对象的身体的共同的感兴趣区域的图像帧的设备存在不同的实施例，这些实施例可以被择一使用(优选)或一起使用。在系统100的实施例中，示出了设备150的一个示例性实施例，并且下面将说明该示例性实施例。

在系统100的一个实施例中，第一成像单元110是第一相机，并且第二成像单元是第二相机。这里，第一相机110是单色相机，并且第二相机130是多光谱相机。在其他实施例中，第一成像单元110和第二成像单元130均可以是单色相机和/或多光谱相机。优选地，第一成像单元110(第一相机112)被配置为采集第一波长(例如，700nm处的红色光)或波长范围(例如，从680nm到720nm的红色光)或红外波长范围(上述790nm)，而第二成像单元130(第二相机130)被配置为采集第二波长(例如，在550nm处的绿色光)或波长范围(例如，从530nm到570nm的绿光)。第二波长或波长范围优选不同于第一波长或波长范围。

在其他实施例中，该系统可以包括两个以上的彼此间隔开的成像单元。例如，根据优选实施例，该系统还可以包括描绘对象170的共同的感兴趣区域160的第三成像单元。第三成像单元优选被配置为采集第三图像帧。优选地，第三成像单元被配置为采集第三波长或波长范围，第三波长或波长范围优选不同于第一波长或波长范围和第二波长或波长范围。

第一相机110和第二相机130均优选包括用于(远程地且非干扰性地)捕获对象170的感兴趣区域160的图像帧(例如，第一图像帧120和第二图像帧140)的合适的光传感器，特别是用于采集随时间的对象170的图像帧的序列(根据该图像帧的序列能够导出光体积描记信号)的合适的光传感器。由相机110、130捕获的图像帧特别可以对应于借助于例如在(数字)相机中的模拟或数字光传感器捕获的视频序列。这样的相机110、130通常包括光传感器，例如，CMOS或CCD传感器，其也可以在特定的光谱范围(可见光、IR)中操作或者提供针对不同光谱范围的信息。相机110、130可以提供模拟或数字信号。

图像帧120、140包括具有相关联的像素值的多个图像像素。特别地，图像帧120、140包括表示利用光传感器的不同光敏元件捕获的光强度值的像素。这些光敏元件可以在特定的光谱范围内敏感(即，表示特定颜色或伪彩色(在NIR中))。图像帧120、140包括表示对象170的皮肤部分的至少一些图像像素。其中，图像像素可以对应于光探测器的一个光敏元件及其(模拟或数字)输出，或者可以基于多个光敏元件的组合(例如通过分箱)来确定。

在一些实施例中，系统100还可以包括光源(也被称为照明源)(例如，灯)，该光源用于利用(例如在预定波长或波长范围内的(例如在红色、绿色和/或红外波长范围内的))光对感兴趣区域160(例如，对象170的面部的皮肤(例如，脸颊或前额的部分)进行照明。相机110、130可以探测响应于所述照明而从所述感兴趣区域160反射的光。在另一实施例中，没有提供专用光源，但是使用环境光对对象170进行照明。根据反射光，相机110、130可以仅探测和/或评价多个期望的波长范围内的光(例如，绿色和红色或红外光，或覆盖至少两个波长通道的波长范围足够大的光)。因此，相机110、130可以被供应有滤光器，该滤光器优选是不同的，但是它们的滤波带宽能够交叠。如果它们的依赖于波长的传输是不同的，那么就足够了。

根据本发明的一个方面的设备150包括处理单元190，处理单元190可以是计算设备、片上系统或用于数据处理的任何其他合适单元的处理器。根据图1所示的实施例的处理单元190位于设备150的内部，但也可以位于设备150的外部(即，与设备150间隔开)并通过一条或多条线缆或以无线方式被连接到设备150。

处理单元190被配置为测量第一图像帧120与第二图像帧140之间的第一像素位移200，从而运行根据本发明的另一方面的方法的步骤S100(参见图2)。此外，处理单元190被配置为根据第一成像单元110与第二成像单元130之间的空间几何约束和/或时间几何约束来校正第一像素位移200，从而运行根据本发明的方法的步骤S200。然后，处理单元190被配置为通过运行本发明的方法的步骤S300(参见图2)，基于经校正的第一像素位移200来配准第一图像帧120与第二图像帧140。应当注意，该方法可以包括一个或多个中间步骤，这一个或多个中间步骤可以分别在上述步骤S100、S200、S300之前或之后进行。

为了基于经配准的图像帧来监测健康相关参数，可以从时间序列中的图像帧中提取包括在图像帧中的信息，即，基于像素的或基于像素组的颜色或灰度信息。因此，健康参数提取单元210可以经由一条或多条线缆或以无线方式被连接到设备150，或者可以被集成在设备150中。健康参数提取单元210可以优选被配置为从经配准的相继图像帧(例如，图像帧120、140)中提取一个或多个健康相关参数。

如图1所示的系统100可以例如位于医院、医学护理机构、老年护理机构等中。除了对患者进行监测以外，本发明还可以应用于其他领域，例如，新生儿监测、一般监视应用、安全监测或所谓的生活方式环境(例如，健身器材、可穿戴设备、如智能手机的手持式设备等)。设备150与成像单元110、130之间的单向或双向通信可以经由无线或有线通信接口来工作。本发明的其他实施例可以包括设备150，其不是被单独提供的，而是被集成到成像单元110、130中的至少一项中。

通常，非接触式监测会比利用仍然在普通病房或急诊部门中的分诊中使用的接触式传感器更方便。另外，这样的非接触式监测可以适用于监测汽车司机以及睡眠监测，其中，在后者中，特别是基于NIR的监测(优选基于多光谱NIR的监测)可以应用于提高生命体征提取的鲁棒性。

图3A示出了第二实施例的示意图，其中，系统100还包括第三成像单元220。在该实施例中，设备150被集成在第一成像单元110中。第三成像单元被配置为采集描绘共同的感兴趣区域160的第三图像帧230。第二成像单元130和第三成像单元220被通信性地连接到第一成像单元110。在这种情况下，第三成像单元220也是相机220。因此，系统100的设置表示包括三个相机110、130、220的多光谱相机设置，这三个相机110、130、220彼此间隔开，描绘在相同方向上观察的同一感兴趣区域160(参见图3B、图3C、图3D)。优选地，相机110、130、220是具有滤光器的单色相机，以对期望的波长(其可以是三个不同的NIR波长)进行采样。由于相机110、130、220具有不同的光路，因此由相机110、130、220采集的图像帧120、140、230中出现的对象/目标的感兴趣区域在其相对于彼此的位置方面具有位移。该位移通常被称为“视差”。视差的影响显著性取决于所使用的焦距以及对象170分别与相机110、130、220之间的距离。所提出的由设备150执行的利用时空几何约束进行的非线性自适应相机配准旨在改善图像帧120、140、230的配准以消除所述视差问题。

在下文中，参考图4、图5A、图5B和图6来详细说明非线性自适应图像配准。其中，例如根据图3A的系统已经采集了图像帧120、140、230。为了使得能够进行非线性配准，优选执行跨多个相机(这里为三个相机110、130、220)的逐像素配准或预定义像素组的配准，其中，每个像素或像素组在新的图像帧中具有其自己的配准。

通常，由中央相机采集的图像帧被用作参考图像帧。在图4中，由第一成像单元110采集的图像帧120是参考图像帧。对于由第二相机130采集的图像帧140和由第三相机220采集的图像帧230，创建新的图像帧。通常，选择被放置在中央位置中的相机110作为参考相机，因为与相机130、220相比，相机110与对象170之间的距离最短。然后，测量第一像素位移200，第一像素位移200可以是像素之间的像素到像素位移或像素组之间的位移。例如测量第一图像帧120与第二图像帧140之间的第一像素位移。此外，可以测量第一图像帧120与第三图像帧230之间的像素位移。在图4中，测量第一图像帧120的两个像素分别相对于第二图像帧140和第三图像帧230之间的第一像素位移。可以通过密集光流来测量第一像素位移，这样得到针对空间图像帧和/或时间图像帧之间的像素或像素组的运动向量：

D＝DOF(Iref，Inonref)

其中，DOF(.)表示密集光流，Iref表示参考图像帧(即，图像帧120)，Inonref表示非参考图像帧(即，图像帧140、230)，并且D表示第一像素位移200，其中，D被用于对非参考图像帧140、230进行相关/内插，以便将它们与参考图像帧120进行配准：

Ireg＝Interp(Inonref，D)

其中，Interp(.)表示内插/相关，并且Ireg表示经配准的图像。基于像素的内插对于图像变换是高度非线性的，并且针对每个个体图像帧执行密集光流测量和内插。因此，该配准对于视频内容是自适应的，并且对于在监测期间具有深度变化或对象位置变化(例如，距离到相机的变化)的场景是鲁棒的。

此外，根据本发明，根据空间几何约束和/或时间几何约束来校正第一像素位移。这些约束被应用为对上述“原始”密集光流结果的后处理步骤。由于在测量期间设置(例如，相机位置)优选是固定的，因此跨相机110、130、220的视差引发的像素位移取决于预定义的几何关系(例如，对极几何)。其中，对极几何考虑例如立体视觉影像的几何，其中，两个相机从两个不同的位置观察3D场景。在这样的设置中，3D点与它们在2D图像帧上的投影之间存在许多几何关系，这得到这些图像点之间的约束。基于能够通过针孔相机模型来近似相机的假设，可以导出这些关系。这样的关系可以用作空间几何约束以对第一像素位移200的测量结果进行平滑化或者限制异常值。例如，在图5A中，第二成像单元140与第三成像单元220之间的空间几何约束是明显的。

基于(一个或多个)空间几何约束，能够分析计算第二像素位移。基于第二像素位移，可以优选通过计算第一像素位移200和第二像素位移的平均值来对第一像素位移200进行平滑化。在其他实施例中，可以使用第二像素位移并通过将所述第一像素位移200与第二像素位移进行比较来检测所测量的第一像素位移200中的异常值，并且可以使用第二像素位移并通过拒绝检测到的异常值来校正第一像素位移200。

在图4、图5A、图5B和图6所示的示例中，能够参考根据密集光流D1→2确定的运动向量之间的预定义关系来测量密集光流D(Icamera130、Icamera220)＝D1→3。这可以被表示为：

D1→2是所测量的解

D'1→2＝D1→3–D2→3(解析解)

D”1→2＝(D1→2+D'1→2)/2(经平滑化的解)

其中，D1→2、D2→3、D1→3分别表示从相机110到130、从相机130到220和从相机110到220的像素(组)位移。其中，D1→2是通过密集光流测量的解，D'1→2是从D1→3中扣除D2→3的解析解，并且D”1→2是从D1→2与D'1→2之间的平均值得到的经平滑化的解。应当注意，它可以是导出的，即，根据另外的度量(这里没有描述)而导出的，而不是“测量”解或“解析”解的“经平滑化的解”，这样会更合适。此外，可以使用D'1→2来限制D1→2中的测量异常值。

与空间几何约束的使用相类似，时间几何约束也可以用于对第一像素位移200的测量结果进行平滑化(参见图5B)，这可以被表示为：

D1→2是所测量的解

D'1→2＝T2→1–T2→2(解析解)

D”1→2＝(D1→2+D'1→2)/2(经平滑化的解)

其中，T2→1表示从在时间t时的第二相机130到在时间t+1时的第一相机110的像素位移，并且T2→2表示从在时间t时的第一相机110到在时间t+1时的第一相机110的像素位移。

优选地，同时应用空间几何约束和时间几何约束(参见图6)。在这样的情况下，在空间和时间上连接目标/对象的共同的感兴趣区域的所有像素，以全局优化/校正像素位移，从而实现高度鲁棒性和平滑的图像配准。使用时空几何约束的另一益处是能够减小相邻帧之间的像素运动(由于对象身体运动或相机移动)。

图7A、图7B、图7C示出了描绘共同的感兴趣区域160的三个图像帧(在这种情况下是患者的面部的部分)以及要如何测量生命体征，其中，至少两个成像单元110、130与对象170的感兴趣区域160之间的距离很短(<1m)，从而导致视差很大。取而代之，图8A、图8B、图8C示出了描绘共同的感兴趣区域160的三个图像帧(在这种情况下是另一患者的面部的部分)，其中，至少两个成像单元110、130与对象170的感兴趣区域160之间的距离很大(5-6m)，从而导致视差很小(即，其中手动减小视差)。

图7A和图8A均示出了未经配准的图像帧，其中，由于视差而能看到强烈的模糊。特别是当大视差很明显时(参见图7A)，这导致例如对象170的面部轮廓无法被界定为锐利边缘/轮廓这一事实。因此，感兴趣区域160可能没有被清楚地界定，这会导致对健康相关参数的错误评价。

图7B和图8B示出了已经执行了基于现有技术的变换的图像配准而引起基于视差的模糊降低的情况。然而，特别是当大视差很明显时(参见图7B)，现有技术的配准在感兴趣区域160的边缘区仍然示出剩余的模糊，这仍会导致对健康相关参数的不正确评价，特别是当这些区包括深度信息时。

在图7C和图8C中，已经基于根据本发明的配准方法的实施例执行了图像配准，从而消除了基于视差的模糊。因此，执行图像配准，从而得到所描绘的感兴趣区域的锐利边缘。当对象170在监测期间改变位置或者旋转头部时，这种改进特别明显，因为到相机的距离或面部3D几何形状会改变，这使得现有方法所使用的线性模型无效(即，变换模型通常是在测量之前估计的)。

图9A示出了基于现有技术的经配准的图像帧的生命体征提取。图9B示出了基于经创造性配准的图像帧的生命体征提取。应当注意，已经提取了脉搏率和SpO2作为示例性生命体征，并且在这两种情况下，生命体征提取方法是相同的。如在图9B中的SpO2图中能够看到的，当根据本发明执行配准时，曲线进展更加稳定。更高的稳定性得自以下事实：SpO2测量基于颜色变化的幅度并且因此对能够由于根据本发明的图像配准而减少的颜色梯度伪影相当敏感。

虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

计算机程序可以被存储/被分布在合适的非瞬态介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。

权利要求中的任何附图标记都不应被解释为对范围的限制。