一种基于FPGA的图像颜色还原的插值方法与流程

一种基于fpga的图像颜色还原的插值方法
技术领域
1.本发明涉及一种基于fpga的图像颜色还原的插值方法，属于图像处理的技术领域。


背景技术：

2.目前彩色coms图像传感器输出的数据格式一般为bayer格式，与rgb数据格式相比，bayer格式图像在每个像元位置都会缺失两种颜色。为了获得全彩色图像，一般使用插值的方法来还原每个像素位置所缺失的其他两个颜色。目前业界所使用的插值还原方法主要为线性插值方法和以图像边缘信息为导向的自适应插值方法。线性插值是根据bayer图像的颜色排列方式选取周围相同颜色的均值来还原所缺失的颜色。1997年，亚当斯和汉密尔顿发现绿色像素点的数量是红色和蓝色像素数量的两倍会包含更多的原始图像的边缘信息，以此发明了自适应插值方法。
3.自适应插值方法的基本原理为，在rgb颜色空间下，首先设计出最适合产品应用场景的检测数据梯度的边缘检测算子，然后根据边缘检测算子的计算结果指示沿正确的方向进行绿色分量的插值，红色分量和蓝色分量的重建根据已经重建好的绿色分量的边缘信息，再采用相应的算法来完成插值重建。自适应插值算法有效解决了线性插值算法插值得出的图像在正常成像或者缩放后图像的边缘部分模糊或者出现锯齿的现象。
4.但是以边缘为导向的插值算法在某些特定场景以及人体腹腔环境下会出现问题。例如在对边缘处的颜色插值时，特别是对缺失的红色和蓝色进行插值时容易导致严重的颜色失真，且腹腔内部绿色分量相较于红色分量极少，腹腔内很多细节会更多的存在于红色分量中，这使得自适应插值方法不适宜应用在内窥镜系统中。


技术实现要素：

5.本发明针对上述技术的不足，提出了一种基于fpga的图像颜色还原的插值方法。本方法在以自适应插值方法为基础获得原bayer图像的边缘信息后，舍弃了目前各种以边缘为导向的插值算法在对边缘处的颜色插值的传统方法，而是根据实际工作环境和各通道的颜色相关性建立新的颜色还原公式，在缺失颜色的重建过程中，根据重建像素的周围像素的非重建颜色分量的梯度大小和方向与重建像素处的非重建颜色分量的梯度关系还原出bayer图像中缺失的颜色分量。
6.为了实现上述目的，本发明提供一种基于fpga的bayer数据颜色还原的插值方法，为方便描述，将需要处理bayer图像大小定义为mxn，数据位宽为z，其特征在于，包含以下步骤：步骤s1：构建还原bayer图像绿色分量g时的滑动矩阵序列，具体的讲采用(2k+1)x(2k+1)的矩阵，其中k为正整数，1《k《m且1《k《n，以图像行列的奇偶作为辨别还原位置处颜色的依据，而当矩阵(i,j)位置的原bayer颜色分量为绿色分量g
i,j
时不进行还原操作，在进行绿色分量还原时，其矩阵数据读出格式可分为如下两种情况：
①
当矩阵(i,j)位置的原bayer颜色分量为r
i,j
(蓝色分量)时还原此处缺失的绿色分量g
i,j
，其矩阵数据读出格式为： data(2k+1)
…
datak
…
data1l1r(i-k,j-k)r(i-k,j)r(i-k,j+k)
…………
lkr(i,j-k)r(i,j)r(i,j+k)
…………
l(2k+1)r(i+k,j-k)r(i+k,j)r(i+k,j+k)
②
当矩阵(i,j)位置的原bayer颜色分量为b
i,j
(蓝色分量)时还原此处缺失的绿色分量g
i,j
，其矩阵数据读出格式为： data(2k+1)
…
datak
…
data1l1b(i-k,j-k)b(i-k,j)b(i-k,j+k)
…………
lkb(i,j-k)b(i,j)b(i,j+k)
…………
l(2k+1)b(i+k,j-k)b(i+k,j)b(i+k,j+k)。
7.步骤s2：计算需要还原绿色分量位置水平或垂直方向上的梯度大小，该位置处梯度边缘计算公式为：其中m＝{1,2,3
…
,k}，m为正整数且2m-1≤k，为周边其他颜色分量对重建的绿色分量影响因子,f(x)为在(i,j)处的像素数据，当计算水平方向的边缘梯度时，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标左右偏移2m或者(2m
±
1)坐标处的像素数据，当计算垂直方向的边缘梯度时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标上下偏移2m或者(2m
±
1)坐标处的像素数据。
8.步骤s3：以梯度边缘计算公式的计算结果为导向选择插值方向，根据重建像素的周围像素的非绿色分量的梯度大小和方向与重建像素处的非绿色分量的梯度关系决定绿色分量插值还原规则，具体的，根据梯度边缘计算公式的计算得到的(i,j)坐标处梯度边缘的方向，再沿着边缘的方向进行绿色分量插值还原，g
i,j
代表所还原的绿色分量，当沿着水平方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标左右偏移2m或者(2m
±
1)坐标处的像素数据。当沿着垂直方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标上下偏移2m或者(2m
±
1)坐标处的像素数据，插值还原规则遵循如下计算公式：
①
当且
或者且且时,
②
当且且或者且且时,
9.步骤s4：将步骤3中得到的绿色分量与原bayer图像进行数据融合，图像数据位宽变为3z，基于融合后的图像数据构建出还原红色分量和蓝色分量所需的滑动矩阵，具体讲，将融合后的图像数据进行(2h+1)x(2h+1)矩阵构建，h为正整数，1《k《m且1《k《n，矩阵数据读出格式可分为下面四种情况：
①
当矩阵(i,j)位置只有绿色分量，垂直方向上其他颜色分量为红色分量，水平方向上其他颜色分量为蓝色分量时，其矩阵数据读出格式为：其矩阵数据读出格式为：
②
当矩阵(i,j)位置只有绿色分量，垂直方向上其他颜色分量为蓝色分量，水平方向上其他颜色分量为红色分量时，其矩阵数据读出格式为： data(2h+1)
…
datah
…
data1l1g(i-h,j-h)gb(i-h,j)g(i-h,j+h)
…………
lhrg(i,j-h)g(i,j)rg(i,j+h)
…………
l(2h+1)g(i+h,j-h)gb(i+h,j)g(i+h,j+h)
③
当矩阵(i,j)位置存在绿色分量和蓝色分量时，其矩阵数据读出格式为： data(2h+1)
…
datah
…
data1
l1rg(i-h,j-h)g(i-h,j)rg(i-h,j+h)
…………
lhg(i,j-h)gb(i,j)g(i,j+h)
…………
l(2h+1)rg(i+h,j-h)g(i+h,j)rg(i+h,j+h)
④
当矩阵(i,j)位置存在绿色分量和红色分量时，其矩阵数据读出格式为： data(2h+1)
…
datah
…
data1l1gb(i-h,j-h)g(i-h,j)gb(i-h,j+h)
…………
lhg(i,j-h)rg(i,j)g(i,j+h)
…………
l(2h+1)gb(i+h,j-h)g(i+h,j)gb(i+h,j+h)。
10.步骤s5：对原bayer图像的只有g
i,j
绿色分量位置还原出红色分量r
i,j
和蓝色分量b
i,j
，具体的，矩阵读出格式如步骤s4中第
①
种和第
②
种矩阵读出格式所示，插值还原规则遵循如下计算公式：(1)、当在矩阵(i,j)位置还原红色分量时，其中r
i,j
代表重建的红色分量，f(x)为在(i,j)处的红色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
①
当且且或者p＝1hgx+2p-1《p＝1hgx-2p+1且时,
②
当且且或者p＝1hgx+2p-1《p＝1hgx-2p+1且时,(2)、当在矩阵(i,j)位置还原蓝色分量时，其中b
i,j
代表重建的红色分量，f(x)为在(i,j)处的蓝色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
③
当且且或者且时,
④
当且且或者p＝1hgx+2p-1《p＝1hgx-2p+1且时,其中p＝{1,2,3
…
,h}，p为正整数且2p-1≤h，为周边绿色分量对重建的颜色分量影响因子,当沿水平方向还原颜色时，f(x)为在(i,j)处与还原颜色相同的颜色分量，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量。当沿垂直方向还原颜色时，f(x)为在(i,j)处的像素数据，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿水平方向还原颜色时，g(x)为在(i,j)处绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与绿色分量。当沿垂直方向还原颜色时，g(x)为在(i,j)处的绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处绿色分量。
11.步骤s6、对原bayer图像的只有r
i,j
红色分量位置还原出蓝色分量b
i,j
或者只有b
i,j
蓝色分量位置还原出红色分量b
i,j
，需要计算该位置45
°
和135
°
方向上的梯度大小，具体的，矩阵读出格式如步骤s4中第
③
种和第
④
种矩阵读出格式所示梯度大小计算规则遵循如下计算公式：
其中h》m》0，m为正整数，δf
45
°
(i，j)和δf
45
°
(i，j)分别为45
°
方向和135
°
上边缘梯度信息。和分别为45
°
方向和135
°
周边其他颜色分量对重建的颜色分量影响因子,f(i，j)为在(i,j)处的需要还原的颜色分量，f(i+2m-1，j-2m+1)、f(i-2m+1,j+2m-1)分别代表(i,j)坐标斜45
°
方向偏移(2m
±
1)坐标处与还原的颜色分量相同的颜色分量。f(i+2m-1，j-2m+1)、f(i-2m+1,j+2m-1)代表(i,j)坐标斜135
°
方向偏移(2m
±
1)坐标处与还原的颜色分量相同的颜色分量，g(i，j)为在(i,j)处的绿色分量，g(i+2m-1，j-2m+1)、g(i-2m+1,j+2m-1)分别代表(i,j)坐标斜45
°
方向偏移2m或者(2m
±
1)坐标处绿色分量。g(i+2m-1，j-2m+1)、g(i-2m+1,j+2m-1)代表(i,j)坐标斜135
°
方向偏移(2m
±
1)坐标处绿色分量。
12.步骤s7、根据45
°
和135
°
方向梯度结果，判断出还原位置处图像梯度的方向，并根据边缘的方向进行颜色重建，data
i,j
代表着图像中缺少的最后两个位置颜色，根据需要重建的颜色类别，将公式中该位置的此种颜色分量带入即可计算出相应的颜色分量，重建公式如下：
①
沿45
°
方向颜色重建时，当当且|(h-1)2*gi,j-m＝1hgi+2m-1,j+2m-1|》＝|(h-1)2*fx-m＝1hgi-2m+1,j-2m+1|或者且且时,
②
沿45
°
方向颜色重建时，当当且|(h-1)2*gi,j-m＝1hgi+2m-1,j+2m-1|《|(h-1)2*fx-m＝1hgi-2m+1,j-2m+1|或者且且时,
③
沿135
°
方向颜色重建时，当当且|(h-1)2*gi,j-m＝1hgi+2m-1,j-2m+1|》＝|(h-1)2*fx-m＝1hgi-2m+1,j+2m-1|或者当且
时,
④
沿135
°
方向颜色重建时，当当且|(h-1)2*gi,j-m＝1hgi+2m-1,j-2m+1|《|(h-1)2*fx-m＝1hgi-2m+1,j+2m-1|或者当且且时,
13.步骤s8、对插值的颜色分量进行数据阈值约束，具体讲,当rgb的绿色分量、红色分量、蓝色分量中某一个或者多个颜色分量数值大于阈值2
z-1时，取值2
z-1，低于阈值2
z-1时取原值，再进行数据融合输出rgb图像数据。
14.本发明使得还原的颜色分量与沿着边缘方向上梯度变化小的一侧相近，与沿着边缘方向上梯度变化大的一侧相差更大，这使得其他颜色中包含的细节得到保留和增强，根据新的颜色还原公式插值还原出来的颜色在颜色变化剧烈处消除了传统方法图像边缘处出现伪色的问题，同时图像的边缘更加的清晰锐利，应用于内窥镜摄像系统中可以还原出更丰富的的细节，在fpga中可实现实时流水线处理。
附图说明
15.图1是根据本发明实施的一种基于fpga的bayer图像颜色还原的插值方法流程图。
具体实施方式
16.为使本发明的目的、技术方案和优点阐述的更加清楚明白，以下结合具体实施例，对本发明作进一步的详细说明。
17.在本发明中将使用医用电子内窥镜和高清cmos图像传感器芯片采集到的bayer数据。该数据是以hdmi外同步的方式传输的12bit位宽，1920x1080高清图像，顺序排列为rggb的原始bayer数据。将前段传感器输出的数据以serdes传输协议送入图像处理的fpga芯片中开始进行图像插值还原处理。本实施实例具有与发明内容完全相同的步骤，为避免重复，仅罗列关键数据：图像大小mxn中m为1920，n为1080，z为12。具体的，首先在进行绿色分量重建时，将原始bayer数据需要通过步骤s1，步骤s2、步骤s3，k值为2，m取值为1，则(2k+1)x(2k+1)的矩阵大小选为5x5矩阵，将k,m的取值带入边缘检测算子公式并根据边缘计算结果，选取矩阵内沿着边缘方向的像素坐标进行插值最终还原出图像中缺失的所有绿色分量。本发明的方法在绿色分量重建还原过程中，会判断沿着边缘方向的像素坐标中其他颜色的高低方向以及与重建像素处相对应颜色的梯度关系，再使用专用的颜色还原公式，使得重建的绿色分量与梯度变化小的一侧相近，与梯度变化大的一侧相差更大，这使得其他颜色中包含的细
节得到保留和增强。这使得重建还原处的绿色分量在比双线性插值少了明显边缘处的锯齿效果的同时，又比普通自适应插值方法使得重建的绿色分量在避开大型边缘的同时在沿着边缘方向上所呈现的细节更加丰富清晰。
18.在步骤s4中得到绿色分量与原bayer图像进行图像融合,此时需要还原的图像数据位宽变为36位，未重建的颜色分量以0代替。在步骤s4、步骤s5中h取值为1，p取值为1，m取值为1，利用融合后的数据构建出3x3矩阵处理窗口。在利用该颜色还原点处周围坐标中已有红颜色分量，蓝颜色分量的位置不同、进行还原时使用的周围坐标中像素中的绿色分量颜色与重建像素处绿色分量颜色的梯度变化方向和大小，分别使用各自的颜色还原公式对原bayer中绿色分量采样点的红色分量和蓝色分量进行计算还原，得到原bayer图像中绿色分量位置处缺失的红色分量和蓝色分量。此时重建得到的红色分量或者蓝色分量与周围颜色梯度变化小的一侧相近，与梯度变化大的一侧相差更大。这使得重建的红色分量和蓝色分量所呈现的细节丰富清晰。
19.在步骤s6和步骤s7中完成步骤3后只缺少一种红色分量或者蓝色分量像素点的颜色还原。其中h值为1，m值为1。将h,m的取值带入45
°
和135
°
边缘检测算子公式并根据边缘计算结果，选取3x3矩阵内沿着边缘方向的像素坐标内的颜色进行插值还原，最终还原出缺失的红色分量和蓝色分量。本发明的方法在缺失分量重建还原过程中，新加入了判断沿着边缘方向的像素坐标中绿色分量梯度的高低方向以及与重建像素处绿色分量颜色的梯度关系，使用专用的颜色还原公式，使得本步骤中重建出的红色分量和蓝色分量与梯度变化小的一侧相近，与梯度变化大的一侧相差更大。
20.在步骤s8中对插值的颜色分量先进行数据阈值约束，具体讲,当rgb的绿色分量、红色分量、蓝色分量中某一个或者多个颜色分量数值大于或等于阈值4095时，取值4095，低于阈值4095时，取原值，再进行数据融合后，最终输出高清1080prgb图像数据，数据位宽为36bit。
21.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于fpag图像颜色还原的插值方法，其特征在于，包含以下步骤，步骤s1：构建还原bayer图像绿色分量g时的滑动矩阵序列，具体的讲采用(2k+1)x(2k+1)的矩阵，其中k为正整数，1<k<m且1<k<n，以图像行列的奇偶作为辨别还原位置处颜色的依据，而当矩阵(i,j)位置的原bayer颜色分量为绿色分量g
i，j
时不进行还原操作，在进行绿色分量还原时，其矩阵数据读出格式可分为如下两种情况：
①
当矩阵(i,j)位置的原bayer颜色分量为r
i，j
(蓝色分量)时还原此处缺失的绿色分量g
i，j
，其矩阵数据读出格式为：data(2k+1)
…
datak
…
data1l1r(i-k,j-k)r(i-k,j)r(i-k,j+k)
…………
lkr(i,j-k)r(i,j)r(i,j+k)
…………
l(2k+1)r(i+k,j-k)r(i+k,j)r(i+k,j+k)
②
当矩阵(i,j)位置的原bayer颜色分量为b
i，j
(蓝色分量)时还原此处缺失的绿色分量g
i，j
，其矩阵数据读出格式为：data(2k+1)
…
datak
…
data1l1b(i-k,j-k)b(i-k,j)b(i-k,j+k)
…………
lkb(i,j-k)b(i,j)b(i,j+k)
…………
l(2k+1)b(i+k,j-k)b(i+k,j)b(i+k,j+k)；步骤s2：计算需要还原绿色分量位置水平或垂直方向上的梯度大小，该位置处梯度边缘计算公式为：其中m＝{1，2，3...，k}，m为正整数且2m-1≤k，为周边其他颜色分量对重建的绿色分量影响因子,f(x)为在(i,j)处的像素数据，当计算水平方向的边缘梯度时，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标左右偏移2m或者(2m
±
1)坐标处的像素数据，当计算垂直方向的边缘梯度时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标上下偏移2m或者(2m
±
1)坐标处的像素数据；步骤s3：以梯度边缘计算公式的计算结果为导向选择插值方向，根据重建像素的周围像素的非绿色分量的梯度大小和方向与重建像素处的非绿色分量的梯度关系决定绿色分量插值还原规则，具体的，根据梯度边缘计算公式的计算得到的(i,j)坐标处梯度边缘的方向，再沿着边缘的方向进行绿色分量插值还原，g
i，j
代表所还原的绿色分量，当沿着水平方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标
左右偏移2m或者(2m
±
1)坐标处的像素数据，当沿着垂直方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标上下偏移2m或者(2m
±
1)坐标处的像素数据，插值还原规则遵循如下计算公式：
①
当且或者且时,
②
当且或者且时,步骤s4：将步骤3中得到的绿色分量与原bayer图像进行数据融合，图像数据位宽变为3z，基于融合后的图像数据构建出还原红色分量和蓝色分量所需的滑动矩阵，具体讲，将融合后的图像数据进行(2h+1)x(2h+1)矩阵构建，h为正整数，1<k<m且1<k<n，矩阵数据读出格式可分为下面四种情况：
①
当矩阵(i,j)位置只有绿色分量，垂直方向上其他颜色分量为红色分量，水平方向上其他颜色分量为蓝色分量时，其矩阵数据读出格式为：data(2h+1)
…
datah
…
data1l1g(i-h,j-h)rg(i-h,j)g(i-h,j+h)
…………
lhgb(i,j-h)g(i,j)gb(i,j+h)
…………
l(2h+1)g(i+h,j-h)rg(i+h,j)g(i+h,j+h)
②
当矩阵(i,j)位置只有绿色分量，垂直方向上其他颜色分量为蓝色分量，水平方向上其他颜色分量为红色分量时，其矩阵数据读出格式为：data(2h+1)
…
datah
…
data1l1g(i-h,j-h)gb(i-h,j)g(i-h,j+h)
…………
lhrg(i,j-h)g(i,j)rg(i,j+h)
…………
l(2h+1)g(i+h,j-h)gb(i+h,j)g(i+h,j+h)
③
当矩阵(i,j)位置存在绿色分量和蓝色分量时，其矩阵数据读出格式为：
data(2h+1)
…
datah
…
data1l1rg(i-h,j-h)g(i-h,j)rg(i-h,j+h)
…………
lhg(i,j-h)gb(i,j)g(i,j+h)
…………
l(2h+1)rg(i+h,j-h)g(i+h,j)rg(i+h,j+h)
④
当矩阵(i,j)位置存在绿色分量和红色分量时，其矩阵数据读出格式为：data(2h+1)
…
datah
…
data1l1gb(i-h,j-h)g(i-h,j)gb(i-h,j+h)
…………
lhg(i,j-h)rg(i,j)g(i,j+h)
…………
l(2h+1)gb(i+h,j-h)g(i+h,j)gb(i+h,j+h)；步骤s5：对原bayer图像的只有g
i，j
绿色分量位置还原出红色分量r
i，j
和蓝色分量b
i，j
，具体的，矩阵读出格式如步骤s4中第
①
种和第
②
种矩阵读出格式所示，插值还原规则遵循如下计算公式：(1)、当在矩阵(i,j)位置还原红色分量时，其中r
i，j
代表重建的红色分量，f(x)为在(i,j)处的红色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
①
当且或者且时,
②
当且或者且时,
(2)、当在矩阵(i,j)位置还原蓝色分量时，其中b
i，j
代表重建的红色分量，f(x)为在(i,j)处的蓝色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
③
当且或者且时,
④
当且或者且时,其中p＝{1，2，3...，h}，p为正整数且2p-1≤h，为周边绿色分量对重建的颜色分量影响因子,当沿水平方向还原颜色时，f(x)为在(i,j)处与还原颜色相同的颜色分量，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿垂直方向还原颜色时，f(x)为在(i,j)处的像素数据，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿水平方向还原颜色时，g(x)为在(i,j)处绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与绿色分量；当沿垂直方向还原颜色时，g(x)为在(i,j)处的绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处绿色分量；步骤s6、对原bayer图像的只有r
i，j
红色分量位置还原出蓝色分量b
i，j
或者只有b
i，j
蓝色分量位置还原出红色分量b
i，j
，需要计算该位置45
°
和135
°
方向上的梯度大小，具体的，矩阵读出格式如步骤s4中第
③
种和第
④
种矩阵读出格式所示梯度大小计算规则遵循如下计算公式：
其中h＞m＞0，m为正整数，δf
45
°
(i，j)和δf
45
°
(i，j)分别为45
°
方向和135
°
上边缘梯度信息，和分别为45
°
方向和135
°
周边其他颜色分量对重建的颜色分量影响因子，f(i，j)为在(i,j)处的需要还原的颜色分量，f(i+2m-1，j-2m+1)、f(i-2m+1，j+2m-1)分别代表(i,j)坐标斜45
°
方向偏移(2m
±
1)坐标处与还原的颜色分量相同的颜色分量；f(i+2m-1，j-2m+1)、f(i-2m+1，j+2m-1)代表(i,j)坐标斜135
°
方向偏移(2m
±
1)坐标处与还原的颜色分量相同的颜色分量，g(i，j)为在(i,j)处的绿色分量，g(i+2m-1，j-2m+1)、g(i-2m+1，j+2m-1)分别代表(i,j)坐标斜45
°
方向偏移2m或者(2m
±
1)坐标处绿色分量；g(i+2m-1，j-2m+1)、g(i-2m+1，j+2m-1)代表(i,j)坐标斜135
°
方向偏移(2m
±
1)坐标处绿色分量；步骤s7、根据45
°
和135
°
方向梯度结果，判断出还原位置处图像梯度的方向，并根据边缘的方向进行颜色重建，data
i，j
代表着图像中缺少的最后两个位置颜色，根据需要重建的颜色类别，将公式中该位置的此种颜色分量带入即可计算出相应的颜色分量，重建公式如下：
①
沿45
°
方向颜色重建时，当且或者且时,
②
沿45
°
方向颜色重建时，当且或者且时,
③
沿135
°
方向颜色重建时，当
且或者当且时,
④
沿135
°
方向颜色重建时，当且或者当且时,步骤s8、对插值的颜色分量进行数据阈值约束，具体讲,当rgb的绿色分量、红色分量、蓝色分量中某一个或者多个颜色分量数值大于阈值2
z-1时，取值2
z-1，低于阈值2
z-1时取原值，再进行数据融合输出rgb图像数据；本发明使得还原的颜色分量与沿着边缘方向上梯度变化小的一侧相近，与沿着边缘方向上梯度变化大的一侧相差更大，这使得其他颜色中包含的细节得到保留和增强，根据新的颜色还原公式插值还原出来的颜色在颜色变化剧烈处消除了传统方法图像边缘处出现伪色的问题，同时图像的边缘更加的清晰锐利，应用于内窥镜摄像系统中可以还原出更丰富的细节，在fpga中可实现实时流水线处理。2.根据权利要求1所述的一种基于fpga的图像颜色还原的插值方法，其特征在于，步骤s3中绿色分量的插值还原计算公式：
①
当且或者且时,
②
当且或者且时,
其中使用的矩阵大小为(2k+1)x(2k+1)，k为正整数，1<k<m且1<k<n，m＝{1，2，3...，k}，m为正整数且2m-1≤k，δ为周边其他颜色分量对重建的绿色分量影响因子，g
i，j
代表所还原的绿色分量，当沿着水平方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标左右偏移2m或者(2m
±
1)坐标处的像素数据；当沿着垂直方向重建绿色分量时，f(x)为在(i,j)处的像素数据，f(x
±
2m)和f(x
±
2m
±
1)代表(i,j)坐标上下偏移2m或者(2m
±
1)坐标处的像素数据。3.根据权利要求1所述的一种基于fpga的图像颜色还原的插值方法，其特征在于，步骤s3中对原bayer图像的只有g_(i,j)绿色分量位置还原红色分量r_(i,j)和蓝色分量b_(i,j)的还原公式：(1)、当在矩阵(i,j)位置还原红色分量时，其中r
i，j
代表重建的红色分量，f(x)为在(i,j)处的红色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
①
当且或者且时,
②
当且或者且时,(2)、当在矩阵(i,j)位置还原蓝色分量时，其中b
i，j
代表重建的红色分量，f(x)为在(i,j)处的蓝色分量，g(x)为在(i,j)处绿色分量，重建公式如下：
③
当且或者
且时,
④
当且或者且时,其中p＝{1,2,3
…
,h}，p为正整数且2p-1≤h，p为周边绿色分量对重建的颜色分量影响因子,当沿水平方向还原颜色时，f(x)为在(i,j)处与还原颜色相同的颜色分量，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿垂直方向还原颜色时，f(x)为在(i,j)处的像素数据，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿水平方向还原颜色时，g(x)为在(i,j)处绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与绿色分量；当沿垂直方向还原颜色时，g(x)为在(i,j)处的绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处绿色分量。4.根据权利要求1所述的一种基于fpga的图像颜色还原的插值方法，其特征在于，步骤s7对原bayer图像的只有r
i，j
红色分量位置还原出蓝色分量b
i，j
或者只有b
i，j
蓝色分量位置还原出红色分量b
i，j
的计算公式：根据45
°
和135
°
方向梯度结果，判断出还原位置处图像梯度的方向，并根据边缘的方向进行颜色重建，data
i，j
代表着图像中缺少的最后两个位置颜色，根据需要重建的颜色类别，将公式中该位置的此种颜色分量带入即可计算出相应的颜色分量，重建公式如下：
①
沿45
°
方向颜色重建时，当且或者且时,
②
沿45
°
方向颜色重建时，当且或者且时,
③
沿135
°
方向颜色重建时，当且或者当且时,
④
沿135
°
方向颜色重建时，当且或者当且时,其中p＝{1,2,3
…
,h}，p为正整数且2p-1≤h，p为周边绿色分量对重建的颜色分量影响因子,当沿水平方向还原颜色时，f(x)为在(i,j)处与还原颜色相同的颜色分量，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿垂直方向还原颜色时，f(x)为在(i,j)处的像素数据，f(x
±
2p)和f(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处与还原颜色相同的颜色分量；当沿水平方向还原颜色时，g(x)为在(i,j)处绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标左右偏移2p或者(2p
±
1)坐标处与绿色分量；当沿垂直方向还原颜色时，g(x)为在(i,j)处的绿色分量，g(x
±
2p)和g(x
±
2p
±
1)代表(i,j)坐标上下偏移2p或者(2p
±
1)坐标处绿色分量。

技术总结
本发明涉及一种基于FPGA的图像颜色还原的插值方法，以自适应插值方法为基础获得原BAYER图像边缘信息后，根据实际工作环境和各通道颜色相关性建立新的颜色还原公式，在缺失颜色重建过程中，根据重建像素周围像素非重建颜色分量的梯度大小和方向与重建像素处非重建颜色分量的梯度关系还原出BAYER图像中缺失的颜色分量。使还原的颜色分量与沿着边缘方向上梯度变化小的一侧相近，与沿着边缘方向上梯度变化大的一侧相差更大，使其他颜色中包含的细节得到保留和增强，根据新的颜色还原公式插值还原出来的颜色在颜色变化剧烈处消除了传统方法图像边缘处出现伪色问题，图像边缘更加清晰锐利。清晰锐利。清晰锐利。


技术研发人员：李光辉 辜长明 聂林川 李显龙
受保护的技术使用者：青岛海泰新光科技股份有限公司
技术研发日：2021.12.06
技术公布日：2022/3/8