图像处理方法和装置与流程

图像处理方法和装置
1.相关引用
2.本发明要求如下申请的优先权：在2020年9月7日递交的申请号为63/075,243的美国临时申请案。上述美国临时申请案的全部内容以引用方式并入本发明。
技术领域
3.本发明的实施例总体上涉及图像处理，以及更具体地，涉及一种通过白平衡补偿生成高动态范围(high dynamic range，简称hdr)帧的方法和装置，该白平衡补偿使用通过组合多组白平衡增益设置生成的白平衡增益表。


背景技术：

4.在高对比度场景中在多于两个光源下的常规相机预览和摄影遭受光源之一或所有光源的不正确的白平衡。传统方法通常对整个图像帧应用全局白平衡增益来补偿一个光源，但通常会破坏另一个光源下的部分。或者另一种常规方法是在两个或多个光源之间调整全局白平衡增益，但是每个光源因此不能很好地平衡。
5.因此，需要一种创新的图像处理设计，能够生成每个光源均被良好平衡的高动态范围(high dynamic range，简称hdr)帧。


技术实现要素：

6.本发明的目的之一是提供一种通过白平衡补偿生成高动态范围(high dynamic range，简称hdr)帧的方法和装置，该白平衡补偿使用通过组合多组白平衡增益设置生成的白平衡增益表。
7.根据本发明的第一方面，一种示例性图像处理方法被公开。示例性的图像处理方法包括：由白平衡增益估计电路分析具有不同曝光的多个曝光帧以产生多组白平衡增益设置；对多组白平衡增益设置进行组合以产生白平衡增益表；将白平衡增益表应用于多个曝光帧以产生多个白平衡补偿帧；以及根据从多个白平衡补偿帧导出的像素数据生成高动态范围(high dynamic range，简称hdr)帧。
8.根据本发明的第二方面，一种示例性图像处理方法被公开。示例性的图像处理方法包括：由白平衡增益估计电路分析具有不同曝光的多个曝光帧以产生多组白平衡增益设置；对多组白平衡增益设置进行设置以产生白平衡增益表；以及将白平衡增益表应用于高动态范围(high dynamic range，简称hdr)帧以生成白平衡补偿hdr帧。
9.根据本发明的第三方面，一种示例性图像处理装置被公开。示例性图像处理装置包括白平衡增益估计电路、白平衡补偿电路和像素融合电路。白平衡增益估计电路用以分析多个不同曝光的曝光帧以产生多组白平衡增益设置，以及对多组白平衡增益设置进行组合以产生白平衡增益表。白平衡补偿电路用于将白平衡增益表应用于多个曝光帧，以产生多个白平衡补偿帧。像素融合电路被布置为通过根据从多个白平衡补偿帧导出的像素数据执行像素融合来生成高动态范围(high dynamic range，简称hdr)帧。
10.根据本发明的第四方面，一种示例性图像处理装置被公开。示例性图像处理装置包括白平衡增益估计电路和白平衡补偿电路。白平衡增益估计电路被布置为分析具有不同曝光的多个曝光帧以产生多组白平衡增益设置，以及对多组白平衡增益设置进行组合以产生白平衡增益表。白平衡补偿电路被布置为将白平衡增益表应用于高动态范围(high dynamic range，简称hdr)帧以生成白平衡补偿hdr帧。
11.在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的对于所属技术领域的技术人员来说无疑将变得显而易见。
附图说明
12.图1示出根据本发明实施例的第一图像处理装置的框图。
13.图2示出根据本发明实施例的曝光帧中不同颜色分量的统计的图。
14.图3示出从白平衡增益估计电路产生的白平衡增益表的第一示例的图。
15.图4示出白平衡增益估计电路产生的白平衡增益表的第二示例的图。
16.图5示出白平衡增益估计电路产生的白平衡增益表的第三示例的图。
17.图6示出白平衡增益估计电路所产生的白平衡增益表的第四示例的图。
18.图7示出根据本发明实施例的第一图像处理方法的流程图。
19.图8示出根据本发明实施例的第二图像处理装置的框图。
20.图9示出根据本发明实施例的第二图像处理方法的流程图。
21.图10示出根据本发明实施例的第三图像处理装置的框图。
22.图11示出根据本发明实施例的第三图像处理方法的流程图。
23.图12示出根据本发明实施例的第四图像处理装置的框图。
24.图13示出根据本发明实施例的第四图像处理方法的流程图。
25.图14示出根据本发明实施例的具有像素融合块和白平衡块的图像处理流水线的图。
具体实施方式
26.在以下描述和权利要求中使用了特定术语，它们指的是特定元件。正如所属技术领域的技术人员将理解的那样，电子设备制造商可能会用不同的名称来指代一个元件。本文文件不打算区分名称不同但功能相同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为“包括但不限于
……”
。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一设备，则该连接可以是通过直接电连接，或经由其他设备和连接的间接电连接。
27.图1示出根据本发明实施例的第一图像处理装置的框图。图像处理装置100包括白平衡增益估计电路102、白平衡补偿电路104、像素融合电路106及图像处理电路108。白平衡增益估计电路102被布置为分析具有不同曝光的多个原始帧(例如n个具有不同曝光的曝光帧img_1-img_n，其中n为不小于2的正整数)以产生多组白平衡增益设置(例如n组白平衡增益设置wb_1-wb_n)，以及对多组白平衡增益设置进行组合以生成白平衡增益表wb_t。例如，每一个原始帧可以是比特深度等于10的10比特图像。在本实施例中，白平衡增益估计电路102对一个曝光帧img_n(1≤n≤n)获得一组白平衡增益设置wb_n。例如，白平衡增益估计电
路102可以获取曝光帧img_n中不同颜色分量(r，g，b)的统计，以及根据曝光帧img_n中的颜色分量(r，g，b)的统计生成一组白平衡增益设置wb_n。
28.图2示出根据本发明实施例的曝光帧img_1-img_n中不同颜色分量(r、g、b)的统计的图。在曝光时间ti时，每个曝光帧img_n(1≤n≤n)中每个块区域的一个统计数据(r、g、b)ii由白平衡增益估计电路102获得。具有不同曝光的曝光帧img_1、img_2，...，img_n可以通过捕获由不同强度的多个光源照亮的相同场景而导出。白平衡增益估计电路102分析n个曝光帧img_1-img_n，分别得到n组白平衡增益设置wb_1-wb_n，其中每个曝光帧img_n中不同颜色分量(r、g、b)的统计用于确定相应的一组白平衡增益设置wb_n。因此，一组白平衡增益设置wb_n与传感器模块捕获一个曝光帧的曝光条件的白平衡补偿相关联。
29.在n组白平衡增益设置wb_1-wb_n可用后，白平衡增益估计电路102将n组白平衡增益设置wb_1-wb_n进行组合以生成一个白平衡增益表wb_t。图3示出白平衡增益估计电路102产生的白平衡增益表wb_t的第一示例的图。白平衡增益表wb_t记录像素值与不同颜色分量(r,g,b)的白平衡(white balance，简称wb)增益值之间的映射。因此，根据白平衡增益表wb_t，一个颜色分量r/g/b的像素值被映射到颜色分量r/g/b的一个wb增益r增益/g增益/b增益。假设曝光帧的数量等于3(即n＝3)，以及传感器模块捕捉到的场景被具有不同强度的多个光源照射，对于第一曝光设置，第一组白平衡增益设置wb_1被获得；对于第二曝光设置，第二组白平衡增益设置wb_2被获得，以及对于第三曝光设置，第三组白平衡增益设置wb_3被获得。为了获得完整的白平衡增益表wb_t，白平衡增益估计电路102可以采用适当的算法对第一组白平衡增益设置wb_1和第二组白平衡增益设置wb_2之间的一个过渡添加白平衡增益设置，以及对第二组白平衡增益设置wb_2和第三组白平衡增益设置wb_3之间的另一个过渡添加白平衡增益设置。
30.图3所示的像素值和wb增益值之间的映射仅用于说明目的，并不意味着对本发明的限制。图4示出白平衡增益估计电路102生成的白平衡增益表wb_t的第二示例的图。图5示出白平衡增益估计电路102所产生的白平衡增益表wb_t的第三示例的图。简单来说，本发明对如何组合多组白平衡增益设置wb_1-wb_n没有限制。实际上，白平衡增益估计电路102可以采用能够从不同曝光的曝光帧获得的多组白平衡增益设置wb_1-wb_n中导出一个白平衡增益表wb_t的任一手段。
31.如上所述，白平衡增益估计电路102通过分析曝光帧img_n获得曝光帧img_n(1≤n≤n)的一组白平衡增益设置wb_n。在上述例子中，白平衡增益估计电路102可以获取曝光帧img_n中不同颜色分量(r、g、b)的统计，以及根据曝光帧img_n中颜色分量(r、g、b)的统计生成一组白平衡增益设置wb_n。然而，这仅用于说明目的，并不意味着对本发明的限制。又例如，白平衡增益估计电路102可对曝光帧img_n(1≤n≤n)进行特征提取以获得曝光帧img_n中的特征，以及根据曝光帧img_n中的特征生成一组白平衡增益设置wb_n，其中每个特征是与曝光帧img_n的图像内容相关的内容感知信息(content-aware information)。在n组白平衡增益设置wb_1-wb_n为可用后，白平衡增益估计电路102对n组白平衡增益设定wb_1-wb_n进行组合以产生白平衡增益表wb_t。图6示出白平衡增益估计电路102所产生的白平衡增益表wb_t的第四示例的图。白平衡增益表wb_t记录图像特征与白平衡增益设置之间的映射。因此，位置(i,j)处的每个像素(或每个块区域)的白平衡增益设置增益取决于从位置(i,j)处的像素(或块区域)提取的图像特征f(i,j)。
32.在本发明的一些实施例中，曝光帧img_n中不同颜色分量(r、g、b)和图像特征的统计被联合考虑来确定对应的一组白平衡增益设置wb_n。这种替代设计也落入本发明的范围内。
33.请再次参考图1。白平衡增益估计电路102产生的白平衡增益表wb_t被提供给白平衡补偿电路104。白平衡补偿电路104被配置为将白平衡增益表wb_t应用于曝光帧img_1-img_n以分别产生多个白平衡补偿帧img'_1-img'_n，其中具有不同强度的多个光源可以根据白平衡增益表wb_t进行补偿，该白平衡增益表wb_t从分析具有不同曝光的相应曝光帧得到。像素融合电路106被布置为通过根据从白平衡补偿帧img'_1-img'_n(其中每个光源都被良好地平衡)导出的像素数据执行像素融合来生成高动态范围(high dynamic range，简称hdr)帧img
hdr
。例如，hdr帧可以是比特深度等于18的18比特图像，或者比特深度等于20的20比特图像。在一示例性设计中，像素融合电路106可以直接混合白平衡补偿帧img'_1-img'_n。在另一示范性设计中，像素融合电路106可在白平衡补偿帧img'_1-img'_n经过一定的图像增强处理后混合白平衡补偿帧img'_1-img'_n。图像处理电路108用于处理剩余的图像处理以及产生图像处理装置100的hdr输出。
34.图7示出根据本发明实施例的第一图像处理方法的流程图。图7所示的图像处理方法由图1所示的图像处理装置100采用。如果结果基本相同，则该些步骤不需要按照图7所示的确切顺序执行。在步骤702，白平衡增益估计电路102获得具有不同曝光的原始帧。在步骤704，白平衡增益估计电路102根据原始帧(具有不同曝光的曝光帧)产生多组白平衡增益设置。在步骤706，白平衡增益估计电路102根据多组白平衡增益设置产生白平衡增益表。在步骤708，白平衡补偿电路104将白平衡增益表应用于原始帧以生成白平衡补偿帧。在步骤710，像素融合电路106通过根据从白平衡补偿帧导出的像素数据执行像素融合来生成hdr帧。在步骤712，图像处理电路108将图像处理应用于hdr帧。由于相关领域的技术人员在阅读了上述段落后，可以很容易地理解每个步骤的细节，为简洁起见，在此不再赘述。
35.在上述实施例中，所提出的装置和方法被设计为将白平衡增益表应用于每个曝光帧(原始帧)，然后对从白平衡补偿帧导出的像素数据执行像素融合。然而，这些仅用于说明目的，并不意味着对本发明的限制。在一些实施例中，所提出的装置和方法可以被设计为对从曝光帧(原始帧)导出的像素数据执行像素融合，然后将白平衡增益表应用于hdr帧，或者可以被设计为将白平衡增益表应用于hdr帧无需预先执行像素融合。
36.图8示出根据本发明实施例的第二图像处理装置的框图。图像处理装置800包括白平衡增益估计电路802、像素融合电路804、白平衡补偿电路806和图像处理电路808。如图1所示的白平衡增益估计电路102，白平衡增益估计电路802被布置为分析多个具有不同曝光的原始帧(例如n个具有不同曝光的曝光帧img_1-img_n，其中n为不小于2的正整数)以产生多组白平衡增益设置(例如，n组白平衡增益设置wb_1-wb_n)，以及将白平衡增益设置组进行组合生成白平衡增益表wb_t，其中不同颜色分量(r、g、b)的统计和/或一个曝光帧中的图像特征img_n(1≤n≤n)可用于确定对应的一组白平衡增益设置wb_n。例如，每个原始帧可以是比特深度等于10的10比特图像。
37.图像处理装置100和800之间的主要区别在于图像融合电路和白平衡补偿电路的顺序。如图8所示，像素融合电路804被布置为根据从曝光帧img_1-img_n导出的像素数据进行像素融合，从而产生像素融合结果(例如，hdr图像img
hdr
)；以及白平衡补偿电路806被布
置为将白平衡增益表wb_t应用于hdr帧(其可以从诸如hdr帧img
hdr
的像素融合结果导出)以生成白平衡补偿的hdr帧img'
hdr
，其中，具有不同强度的多个光源根据白平衡增益表wb_t进行补偿，该白平衡增益表wb_t由分析具有不同曝光的相应曝光帧获得的多组白平衡增益设置组合而成。例如，hdr帧可以是比特深度等于18的18比特图像，或者比特深度等于20的20比特图像。在一示例性设计中，白平衡补偿电路806可以直接将hdr帧img
hdr
与白平衡增益表wb_t相乘。在另一示范性设计中，白平衡补偿电路806可在hdr帧img
hdr
经过一定的图像增强处理后，将hdr帧img
hdr
与白平衡增益表wb_t相乘。类似于图1所示的图像处理电路108，图像处理电路808被布置为处理剩余的图像处理以及产生图像处理装置800的hdr输出。
38.图9示出根据本发明实施例的第二图像处理方法的流程图。图9所示的图像处理方法可由图8所示的图像处理装置800采用。如果结果基本相同，则该些步骤不需要按照图8所示的确切顺序执行。在步骤902，白平衡增益估计电路802获得具有不同曝光的原始帧。在步骤904，白平衡增益估计电路802根据原始帧(具有不同曝光的曝光帧)产生多组白平衡增益设置。在步骤906，白平衡增益估计电路802根据多组白平衡增益设置产生白平衡增益表。在步骤908，像素融合电路804通过根据从原始帧导出的像素资料执行像素融合来生成像素融合输出。在步骤910，白平衡补偿电路806将白平衡增益表应用于hdr帧以生成白平衡补偿hdr帧。在步骤912，图像处理电路808将图像处理应用于白平衡补偿hdr帧。由于相关领域的技术人员在阅读了上述段落后，可以很容易地理解每个步骤的细节，为简洁起见，在此不再赘述。
39.图10示出根据本发明实施例的第三图像处理装置的框图。图像处理装置1000包括像素融合电路1002、分割电路1004、白平衡增益估计电路1006、白平衡补偿电路1008和图像处理电路1010。如图8所示的像素融合电路804，像素融合电路1002被布置为根据来自多个不同曝光的原始帧img_r1-img_rn的像素数据进行像素融合，产生像素融合结果(例如，hdr图像img
hdr
)，其中n为不小于2的正整数。例如，每个原始帧是比特深度等于10的10比特图像，而hdr图像可以是比特深度等于18的18比特图像或比特深度等于20的20比特图像。图像处理装置800与1000的主要区别在于，图像处理装置1000具有分割电路1004，分割电路1004用于分割单个hdr帧(例如，hdr图像img
hdr
)以产生具有不同曝光的多个曝光帧img_1-img_n。类似于图8所示的白平衡增益估计电路802，白平衡增益估计电路1006被布置为分析曝光帧img_1-img_n以产生多组白平衡增益设置(例如，n组白平衡增益设置wb_1-wb_n)，以及将这些组白平衡增益设置进行组合以生成白平衡增益表wb_t，其中一个曝光帧img_n(1≤n≤n)中的不同颜色分量(r、g、b)的统计和/或图像特征被用来确定相应的一组白平衡增益设置wb_n。
40.类似于图8所示的白平衡补偿电路806，白平衡补偿电路1008被布置为将白平衡增益表wb_t应用于hdr帧(其可从像素融合结果导出，例如hdr帧img
hdr
)以生成白平衡补偿hdr帧img'
hdr
，其中不同强度的多个光源根据白平衡增益表wb_t进行补偿，该白平衡增益表wb_t通过对分析具有不同曝光的相应曝光帧获得的多组白平衡增益设置进行组合而生成。在一示范性设计中，白平衡补偿电路1008可直接将hdr帧img
hdr
与白平衡增益表wb_t相乘。在另一示范性设计中，白平衡补偿电路1008可在hdr帧img
hdr
经过一定的图像增强处理后，将hdr帧img
hdr
与白平衡增益表wb_t相乘。如图8所示的图像处理电路808，图像处理电路1010被布置为处理剩余的图像处理以及产生图像处理装置1000的hdr输出。
41.图11示出根据本发明实施例的第三图像处理方法的流程图。图11所示的图像处理方法由图10所示的图像处理装置1000采用。如果结果基本相同，则该些步骤不需要按照图11所示的确切顺序执行。在步骤1102，像素融合电路1002获得具有不同曝光的原始帧。在步骤1104，像素融合电路1002通过根据从原始帧导出的像素资料执行像素融合来生成像素融合输出。在步骤1106，分割电路1004将单个hdr帧进行分割以生成具有不同曝光的曝光帧。在步骤1108，白平衡增益估计电路1006根据曝光帧产生多组白平衡增益设置。在步骤1110，白平衡增益估计电路1006根据多组白平衡增益设置产生白平衡增益表。在步骤1112，白平衡补偿电路1008将白平衡增益表应用于hdr帧以生成白平衡补偿hdr帧。在步骤1114，图像处理电路1010将图像处理应用于白平衡补偿hdr帧。由于相关领域的技术人员在阅读了上述段落后，可以很容易地理解每个步骤的细节，为简洁起见，在此不再赘述。
42.图12示出根据本发明实施例的第四图像处理装置的框图。图像处理装置1200包括分割电路1202、白平衡增益估计电路1204、白平衡补偿电路1206及图像处理电路1208。图像处理装置1000与1200的主要区别在于图像处理装置1200不需要像素融合电路。具体地，由于图像处理装置1200的原始帧输入已经是从hdr图像传感器输出导出的hdr帧img
hdr
，因此无需像素融合即可将具有不同曝光的多个曝光帧相结合以生成hdr帧。例如，hdr帧可以是比特深度等于18的18比特图像，也可以是比特深度等于20的20比特图像。如图10所示的分割电路1004，分割电路1004用于分割单个hdr帧img
hdr
产生具有不同曝光的多个曝光帧img_1-img_n，其中n为不小于2的正整数。如图10所示的白平衡增益估计电路1006，白平衡增益估计电路1204被布置为分析曝光帧img_1-img_n以产生多组白平衡增益设置(例如，n组白平衡增益设置wb_1-wb_n)，以及将多组白平衡增益设置进行组合以生成白平衡增益表wb_t，其中一个曝光帧img_n(1≤n≤n)中不同颜色分量(r、g、b)的统计和/或图像特征可用于确定相应的一组白平衡增益设置wb_n。
43.如图10所示的白平衡补偿电路，白平衡补偿电路1206被布置为将白平衡增益表wb_t应用于hdr帧(其可从单个hdr帧img
hdr
导出)以生成白平衡补偿hdr帧img'
hdr
，其中具有不同强度的多个光源根据白平衡增益表wb_t进行补偿，该白平衡增益表wb_t将通过分析不同曝光的相应曝光帧得到的多组白平衡增益设置进行组合生成。在一示范性设计中，白平衡补偿电路1206可直接将hdr帧img
hdr
与白平衡增益表wb_t相乘。在另一示范性设计中，白平衡补偿电路1206可在hdr帧img
hdr
经过一定的图像增强处理后，将hdr帧img
hdr
与白平衡增益表wb_t相乘。如图10所示的图像处理电路1010，图像处理电路1208被布置为处理剩余的图像处理以及产生图像处理装置1200的hdr输出。
44.图13示出根据本发明实施例的第四图像处理方法的流程图。图13所示的图像处理方法可由图12所示的图像处理装置1200采用。如果结果基本相同，则不需要按照图13所示的确切顺序执行这些步骤。在步骤1302，分割电路1202从hdr图像传感器输出获得单个hdr帧。在步骤1304，分割电路1202分割单个hdr帧以生成具有不同曝光的曝光帧。在步骤1306，白平衡增益估计电路1204根据曝光帧产生多组白平衡增益设置。在步骤1308，白平衡增益估计电路1204根据多组白平衡增益设置产生白平衡增益表。在步骤1310，白平衡补偿电路1206将白平衡增益表应用于hdr帧以生成白平衡补偿hdr帧。在步骤1312，图像处理电路1208将图像处理应用于白平衡补偿hdr帧。由于相关领域的技术人员在阅读了上述段落后，可以很容易地理解每个步骤的细节，为简洁起见，在此不再赘述。
45.前述图像处理装置100、800、1000、1200中的每一个可以被集成在用于特定应用的图像处理流水线中。图14示出根据本发明实施例的具有像素融合块和白平衡块的图像处理流水线的图。图像处理流水线1404接收来自传感器模块1402的帧输入，以及具有多个流水线级，包括光学黑补偿块(标记为“光学黑补偿”)、坏像素补偿块(标记为“坏像素补偿”)，像素融合块(标记为“像素融合”)，镜头阴影补偿块(标记为“镜头阴影补偿”)，白平衡块(标记为“白平衡”)，去马赛克块(标记为“去马赛克”)、颜色校正块(标记为“颜色校正”)、伽马校正块(标记为“gamma”)、降噪块(标记为“降噪”)和rgb-到-yuv转换块(标记为rgb到yuv)。例如，像素融合块可以包括像素融合电路804/1002，白平衡块可以包括白平衡增益估计电路802/1006和白平衡补偿电路806/1008。第14所示的图像处理流水线1404仅用于说明目的，并不意味着对本发明的限制。实际上，使用所提出的图像处理装置100/800/1000/1200的任一图像处理流水线设计都落入本发明的范围内。
46.所属技术领域的技术人员将容易地观察到，在保留本发明的教导的同时，可以对装置和方法进行多种修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限的限制。

技术特征：
1.一种图像处理方法，包括：由白平衡增益估计电路分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置；将所述多组白平衡增益设置进行组合以生成白平衡增益表；将所述白平衡增益表应用于所述多个曝光帧以生成多个白平衡补偿帧；以及通过根据从所述多个白平衡补偿帧导出的像素数据执行像素融合来生成高动态范围帧。2.如权利要求1所述的图像处理方法，其特征在于，分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置的步骤包括：对于包含在所述多个曝光帧中的曝光帧，获取所述曝光帧中多个不同颜色分量的统计，以及根据所述曝光帧中所述多个颜色分量的所述统计生成一组白平衡增益设置。3.如权利要求1所述的图像处理方法，其特征在于，分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置的步骤包括：对于包含在所述多个曝光帧中的曝光帧，对所述曝光帧进行特征提取以获取所述曝光帧中的多个特征，以及根据所述曝光帧中的所述多个特征生成一组白平衡增益设置。4.一种图像处理方法，包括：由白平衡增益估计电路分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置；将所述多组白平衡增益设置进行组合以生成白平衡增益表；以及将所述白平衡增益表应用于高动态范围帧以生成白平衡补偿高动态范围帧。5.如权利要求4所述的图像处理方法，其特征在于，所述方法进一步包括：通过根据从所述多个曝光帧导出的像素数据执行像素融合来生成像素融合结果；其中所述高动态范围帧从所述像素融合结果导出。6.如权利要求4所述的图像处理方法，其特征在于，所述方法进一步包括：将单个高动态范围帧进行分割生成多个曝光帧，其中所述高动态范围帧从所述单个高动态范围帧导出。7.如权利要求6所述的图像处理方法，其特征在于，所述方法进一步包括：通过根据从具有不同曝光的多个帧导出的像素数据执行像素融合来生成所述单个高动态范围帧。8.如权利要求6所述的图像处理方法，其特征在于，所述单个高动态范围帧从高动态范围图像传感器输出导出。9.如权利要求4所述的图像处理方法，其特征在于，分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置的步骤包括：对于包含在所述多个曝光帧中的曝光帧，获取所述曝光帧中多个不同颜色分量的统计，以及根据所述曝光帧中所述多个颜色分量的所述统计生成一组白平衡增益设置。10.如权利要求4所述的图像处理方法，其特征在于，分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置的步骤包括：对于包含在所述多个曝光帧中的曝光帧，对所述曝光帧进行特征提取获取所述曝光帧中的多个特征，以及根据所述曝光帧中的所述多个特征生成一组白平衡增益设置。11.一种图像处理装置，包括：白平衡增益估计电路，被布置为分析具有不同曝光的多个曝光帧以生成多组白平衡增
益设置，以及将所述多组白平衡增益设置进行组合以生成白平衡增益表；白平衡补偿电路，被布置为将所述白平衡增益表应用于所述多个曝光帧以生成多个白平衡补偿帧；以及像素融合电路，被布置为通过根据从所述多个白平衡补偿帧导出的像素数据执行像素融合来生成高动态范围帧。12.如权利要求11所述的图像处理装置，其特征在于，对于包含在所述多个曝光帧中的曝光帧，所述白平衡增益估计电路获取所述曝光帧中多个不同颜色分量的统计，以及根据所述曝光帧中所述多个颜色分量的所述统计生成一组白平衡增益设置。13.如权利要求11所述的图像处理装置，其特征在于，对于包含在所述多个曝光帧中的曝光帧，所述白平衡增益估计电路对所述曝光帧进行特征提取以获取所述曝光帧中的多个特征，以及根据所述曝光帧中的所述多个特征生成一组白平衡增益设置。14.一种图像处理装置，包括：白平衡增益估计电路，被布置为分析具有不同曝光的多个曝光帧以生成多组白平衡增益设置，以及将所述多组白平衡增益设置进行组合以生成白平衡增益表；以及白平衡补偿电路，被布置为将所述白平衡增益表应用于高动态范围帧以生成白平衡补偿高动态范围帧。15.如权利要求14所述的图像处理装置，其特征在于，所述装置进一步包括：像素融合电路，被布置为通过根据从所述多个曝光帧导出的像素数据执行像素融合来生成像素融合结果；其中所述高动态范围帧从所述像素融合结果导出。16.如权利要求14所述的图像处理装置，其特征在于，所述装置进一步包括：分割电路，被布置为将单个高动态范围帧进行分割生成多个曝光帧；其中所述高动态范围帧从所述单个高动态范围帧导出。17.如权利要求16所述的图像处理装置，其特征在于，所述装置进一步包括：像素融合电路，被布置为通过根据从具有不同曝光的多个帧导出的像素数据执行像素融合来生成所述单个高动态范围帧。18.如权利要求16所述的图像处理装置，其特征在于，所述单个高动态范围帧从高动态范围图像传感器输出导出。19.如权利要求14所述的图像处理装置，其特征在于，对于包含在所述多个曝光帧中的曝光帧，所述白平衡增益估计电路获取所述曝光帧中多个不同颜色分量的统计，以及根据所述曝光帧中所述多个颜色分量的所述统计生成一组白平衡增益设置。20.如权利要求14所述的图像处理装置，其特征在于，对于包含在所述多个曝光帧中的曝光帧，所述白平衡增益估计电路对所述曝光帧进行特征提取获取所述曝光帧中的多个特征，以及根据所述曝光帧中的所述多个特征生成一组白平衡增益设置。

技术总结
一种图像处理方法，包括：由白平衡增益估计电路分析多个不同曝光的曝光帧，以产生多组白平衡增益设置；将多组白平衡增益设置进行组合以产生白平衡增益表；将白平衡增益表应用于多个曝光帧以产生多个白平衡补偿帧；以及通过根据从多个白平衡补偿帧导出的像素数据执行像素融合来生成高动态范围(high dynamic range，简称HDR)帧。简称HDR)帧。简称HDR)帧。


技术研发人员：游任鸿 庄铭璋 叶柏佑
受保护的技术使用者：联发科技股份有限公司
技术研发日：2021.08.23
技术公布日：2022/3/8