六级流水拜耳图像动态范围矫正电路和矫正方法与流程

阅读：评论：0

1.本发明涉及视频处理技术，尤其涉及一种在芯片上实现视频图像动态范围矫正电路和矫正方法。

背景技术：

2.在安防场景下，由于光源比较复杂，而且经常会出现亮度突变，然而感光芯片的辐射波动范围是有限的，这样就会在特定的曝光强度下形成区域过曝或区域欠曝，从而导致图像失真。
3.冯青春，王秀，李军辉，等.基于高动态范围成像的温室番茄植株图像彩矫正方法[j/0l].农业机械学报，2020，5l(11)：235—242.该论文中通过分别提取曝光时间为0.01ms、0.05ms、0.08ms、0.1ms的四张图像中的亮度信息，求得亮度和曝光度的关系，再利用s曲线压缩高动态范围，对图像进行彩矫正重构。这种方法将用到多帧信息，在电路实现的时候需要存4帧图像，内存开销大。
[0004]
吴国滔.基于轻量化网络的单帧图像动态范围增强方法研究与实现[d].山东大学，2020.该论文采用的方法是基于神经网络的单帧增强算法，然而计算复杂度很高，需要依赖于强大的计算能力，该方案使用高性能处理器，在3秒内处理一张1200万像素的图像，还不能处理实时视频图像。
[0005]
所以，在芯片上实现图像动态范围矫正，目前技术处理思路较为单一，在处理实时动态视频图像时，往往伴随不容忽视的输入输出的延时问题。为解决这一问题需要依赖强大的计算能力，还需要辅助更多的内存。

技术实现要素：

[0006]
本发明针对现有技术中的缺点，提供了一种六级流水线设计方案，实现芯片上图像动态范围矫正的方法，具有低延时性。
[0007]
为了解决上述技术问题，本发明通过下述技术方案得以解决：
[0008]
六级流水拜耳图像动态范围矫正电路，采用六级流水线处理电路，第一级电路至第六级电路顺次电连接，包括：
[0009]
第一级电路，输入拜耳图像数据，转化为亮度数据后分解为p数据和q数据；
[0010]
第二级电路，连接第一级电路的输出端，对p数据进行缩放处理，输出缩放后的p数据；
[0011]
第三级电路，连接第二级电路输出端，包括电连接的高斯滤波器和时域滤波器；
[0012]
第四级电路，连接第三级电路输出端，包括第一缓存单元，所述第一缓存单元连接时域滤波器的输出端，接收时域滤波器输出的上一帧p数据；有第一输出端和第二输出端，第一输出端连接时域滤波器，向所述时域滤波器传输上一帧p数据，第二输出端输出上一帧p数据至第五级电路；
[0013]
第五级电路，包括放大单元和融合单元，取缓存单元中上一帧p数据至放大单元，
放大单元将p数据放大至原图像大小，融合单元第一输入端连接放大单元输出端，融合单元第二输入端接收当前帧的q数据；
[0014]
第六级电路，将第五级电路输出数据转为拜耳数据。
[0015]
作为一种优选方案，第五级电路，还包括加权单元，p数据和q数据融合后，所述加权单元将融合数据和当前帧亮度数据加权后输出至第六级电路。
[0016]
作为一种优选方案，还包括第二缓存单元，所述第二级电路和所述第三级电路通过所述第二缓存单元连接，所述缩放后的p数据保存在所述第二缓存单元，所述第三级电路从所述第二缓存单元取缓存的p数据。
[0017]
作为一种优选方案，所述第三级电路，包括电连接的高斯滤波器和时域滤波器，
[0018]
高斯滤波器的输出端连接时域滤波器的第一输入端，所述时域滤波器的第二输入端连接第四级电路的缓存单元的第一输出端，获取缓存单元中的上一帧p数据，所述时域滤波器的输出端连接所述缓存单元的输入端，输出当前帧至所述缓存单元。
[0019]
作为一种优选方案，第一级电路包括：
[0020]
亮度转化单元，用于将拜耳数据转化为亮度数据；
[0021]
亮度曲线调整单元，连接所述亮度转化单元做亮度曲线调整，输出调整后的亮度数据sf(i)和原亮度数据f(i)；
[0022]
其中，sf(i)和f(i)之间的关系为：sf(i)＝f(i)*2-1。
[0023]
基于上述的电路结构，提供一种六级流水拜耳图像动态范围矫正方法，包括以下步骤：
[0024]
1)将拜耳图像转化为亮度数据，根据场景调整亮度变换曲线，进行pq分解得到p数据和q数据；
[0025]
2)对分解后的p数据进行缩放后缓存，取缓存的p数据进行滤波，进一步缓存滤波后的p数据；
[0026]
3)在缓存读取上一帧的p数据放大后与当前帧的q数据进行融合；
[0027]
4)融合后转回拜耳数据。
[0028]
作为一种优选方案，步骤2)的方法，具体包括：
[0029]
对分解后的p数据进行缩放后缓存在第二缓存单元；
[0030]
采用高斯滤波器和时域滤波器对p数据进行滤波，在第二缓存单元中取p数据输入高斯滤波器，高斯滤波器输出数据至时域滤波器；
[0031]
时域滤波器的第一输入端连接所述高斯滤波器，时域滤波器的输出端连接第一缓存单元，将当前帧p数据缓存，第一缓存单元输出上一帧p数据至所述时域滤波器的第二输入端。
[0032]
作为一种优选方案，所述对分解后的p数据进行缩放的方法，包括：
[0033]
对分解后的p数据执行可选的缩放倍数的缩放操作；
[0034]
根据缩放倍数对p数据进行分块；
[0035]
计算水平方向的分块求和结果，后列方向逐行依次累加求和；
[0036]
块操作结束后，将块操作结果求平均，得到缩放后的数据。
[0037]
作为一种优选方案，对所述步骤3)融合后的亮度数据加权处理，加权后转回拜耳数据。
[0038]
作为一种优选方案，所述根据场景调整亮度变换曲线的方法，包括以下步骤：
[0039]
对转化的亮度数据做亮度曲线调整，输出调整后的亮度数据sf(i)和原亮度数据f(i)
[0040]
其中，sf(i)和f(i)之间的关系为：sf(i)＝f(i)*2-1；
[0041]
sf(i)输出最大值和最小值介于[-1,1]之间。
[0042]
本发明的有益效果：
[0043]
本发明公开的电路采用六级流水结构，每级处理前后结果都有相应的行缓存进行存储。每级流水处理相互独立，计算过程无需处理器干预。
[0044]
本电路在高斯滤波前加入一级缩放处理，使得可以用片上缓存来存储中间计算结果，无需外挂缓存(比如ddr)中间数据。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0046]
图1是六级流水拜耳图像动态范围矫正电路总结构框图；
[0047]
图2是六级流水拜耳图像动态范围矫正电路各级电路结构图；
[0048]
图3是第一级电路拜耳数据转亮度数据的示意图；
[0049]
图4是第一级电路亮度数据曲线调整示意图；
[0050]
图5是第一级电路pq分解的p数据求解结构图；
[0051]
图6是第一级电路pq分解的q数据求解结构图；
[0052]
图7是第二级电路p数据缩放电路运算过程示意图；
[0053]
图8是第三级电路9
×
9滤波结构滤波运算示意图；
[0054]
图9是第三级电路乒乓缓存运算过程示意图；
[0055]
图10是第五级电路p数据放大运算过程示意图。
具体实施方式
[0056]
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
[0057]
本技术提出了一种流水线处理技术，按照功能特点划分流水结构，可以实现数据的实时处理，无需等待，每一级处理完数据输出之后可以继续处理后面的数据，实现最大4k@30fps实时的数据处理能力的数据处理能力。
[0058]
下面提出一种拜耳图像动态范围矫正方法，以及针对该方法的六级流水电路；
[0059]
如图1和图2，包括第一级电路、第二级电路、第三级电路、第四级电路、第五级电路和第六级电路，第一级电路至第六级电路顺次电连接，其中：
[0060]
第一级电路100，输入拜耳图像数据，转化为亮度数据后分解为p数据和q数据；
[0061]
第二级电路200，连接第一级电路的输出端，对p数据进行缩放处理，输出缩放后的p数据；
[0062]
第三级电路300，连接第二级电路输出端，包括电连接的高斯滤波器和时域滤波器；
[0063]
第四级电路400，连接第三级电路输出端，包括第一缓存单元，第一缓存单元连接时域滤波器的输出端，接收时域滤波器输出的上一帧p数据；有第一输出端和第二输出端，第一输出端连接时域滤波器，向时域滤波器传输上一帧p数据，第二输出端输出上一帧p数据至第五级电路；
[0064]
第五级电路500，包括放大单元和融合单元，取缓存单元中上一帧p数据至放大单元，放大单元将p数据放大至原图像大小，融合单元第一输入端连接放大单元输出端，融合单元第二输入端接收当前帧的q数据；
[0065]
第六级电路600，将第五级电路输出数据转为拜耳数据。
[0066]
本电路采用六级流水结构，每级处理前后结果都有相应的行缓存进行存储。每级流水处理相互独立，计算过程无需处理器干预。
[0067]
本电路在高斯滤波前加入一级缩放处理，使得可以用片上缓存来存储中间计算结果，无需外挂缓存(比如ddr)中间数据。
[0068]
实时图像处理：一是不能打断图像行场流水，像需要中断cpu进行参与运算就不行，本方案有效解决了该困难；二是本方案处理过程延时短。
[0069]
100，第一级电路包括：
[0070]
亮度转化单元，用于将拜耳数据转化为亮度数据，将拜耳数据用两行行缓存，使用三行数据与预设的卷积核对拜耳图像数据进行卷积运算，得到亮度数据，如图3所示；
[0071]
亮度曲线调整单元，连接亮度转化单元做亮度曲线调整，输出f(i)和sf(i)。
[0072]
如图4的(a)是亮度曲线f(i)，如图4的(b)是亮度曲线sf(i)；
[0073]
将输入数据分为32段区间进行插值，得到新的亮度曲线f(i)，sf(i)是将f(i)放大一倍后，然后沿纵坐标向下平移一半，让其输出最大值和最小值介于[-1,1]之间，即公式sf(i)＝f(i)*2-1。
[0074]
输出原亮度数据f(i)(图中y’)，以及经过曲线调整的亮度数据sf(i)(图中y”)，sf(i)输入第二级电路，完成第二级电路到第五级电路处理，直至完成p数据盒q数据的融合后加入亮度数据f(i)。
[0075]
pq分解方法如下：
[0076]
p0到p8的求解公式如下：
[0077]
p0(x)＝1；p1(x)＝x；pn(x)＝anp
n-2
(x)+bn*x*p
n-1
(x)，an和bn是计算pn的需要的常数电路结构如图5所示
[0078]
q1到q7的计算公式如下：
[0079]
电路结构如图6所示。
[0080]
200，第二级电路：
[0081]
对p1-p7的7通道的p数据缩放，如图7所示：假设有line0-linen的p数据，根据缩放倍数对p数据进行分块；倍数可选，如16
×
16、32
×
32、64
×
64、128
×
128可配置；
[0082]
计算水平方向的分块求和结果，后列方向逐行依次累加求和；
[0083]
块操作结束后，将块操作结果求平均，得到缩放后的数据。
[0084]
其中，还包括第二缓存单元，第二级电路和第三级电路通过第二缓存单元连接，缩放后的p数据保存在第二缓存单元，第三级电路从第二缓存单元取缓存的p数据。
[0085]
优化的电路结构，p数据先缩放再缓存，用的时候取出再放大，减小了中间数据处理量，节省片上缓存，无需额外读写外部ddr的电路，而无需外挂存储缓存中间数据，进一步降低设计复杂度，结构更简单。
[0086]
300，第三级电路：
[0087]
包括电连接的高斯滤波器和时域滤波器，高斯滤波器的输出端连接时域滤波器的第一输入端，时域滤波器的第二输入端连接第四级电路的缓存单元的第一输出端，获取第一缓存单元中的上一帧p数据，时域滤波器的输出端连接第一缓存单元的输入端，输出当前帧至缓存单元。
[0088]
其中，高斯滤波器采用9
×
9滤波结构如图8所示，缩放后的实时数据逐点进行先进行水平1
×
9滤波，缓存9行水平滤波结果，然后依次取出进行9
×
1滤波。
[0089]
利用实时图像流水的特点，利用时间差，分开水平滤波和垂直滤波的处理时间(先水平后垂直)，水平滤波和垂直滤波复用9个乘法器，整个电路仅需63个乘法器。
[0090]
400，第四级电路：
[0091]
如图9，第四级流水线为第一缓存单元，具体为乒乓缓存一帧p数据，右边图像放大取数据是在图像的有效区间，左边存取是在图像的消隐区间。通过第四级电路流水线帧buffer缓存上一帧处理结果，当前帧取上一帧p数据和当前帧q数据融合，只需要和当前帧的q数据同步即可，延时就是up(放大)处理的延时。采用乒乓缓存的结构，后面融合计算读取上一帧的结果进行计算，减少行延时，模块从输入到输出仅需要两行延时。
[0092]
500，第五级电路：
[0093]
对p数据放大，基于上述缩放的方法，数据放大采用两点双线性插值进行运算，先做垂直放大，再做水平放大，其中，两点双线性插值，需要缓存两行数据，先进行垂直放大，电路模块结构如图10所示。
[0094]
还包括加权单元，p数据和q数据融合后，加权单元将融合数据和当前帧亮度数据加权后输出至第六级电路。
[0095]
实施例2：
[0096]
基于实施例1公开的拜耳图像动态范围矫正方法，包括以下步骤：
[0097]
1)将拜耳图像转化为亮度数据，根据场景调整亮度变换曲线，进行pq分解得到p数据和q数据；
[0098]
2)对分解后的p数据进行缩放后缓存，取缓存的p数据进行滤波，进一步缓存滤波后的p数据；
[0099]
3)在缓存读取上一帧的p数据放大后与当前帧的q数据进行融合；
[0100]
4)融合后转回拜耳数据。
[0101]
其中，步骤1)将拜耳图像数据转为亮度数据，根据场景自适应调整亮度曲线，然后将亮度数据进行pq分解。
[0102]
具体地包括：将拜耳数据转化为亮度数据，具体采用预设的卷积核对输入拜耳图像做卷积运算，得到亮度数据，如图3所示；
[0103]
进一步根据场景自适应调整亮度曲线，对转化的亮度数据做亮度曲线调整，输出
调整后的亮度数据sf(i)和原亮度数据f(i)；
[0104]
如图4的(a)是亮度曲线f(i)，如图4的(b)是亮度曲线sf(i)；
[0105]
将输入数据分为32段区间进行插值，得到新的亮度曲线f(i)，sf(i)是将f(i)放大一倍后，然后沿纵坐标向下平移一半，让其输出最大值和最小值介于[-1,1]之间，即公式sf(i)＝f(i)*2-1.
[0106]
数据sf(i)输入第二级电路，完成第二级电路到第五级电路处理，直至完成p数据盒q数据的融合后加入数据f(i)。pq分解方法详见实施例1，不再赘述。
[0107]
步骤2)的方法，具体包括：
[0108]
对分解后的p数据进行缩放的方法，包括：
[0109]
对分解后的p数据执行可选的缩放倍数的缩放操作；
[0110]
根据缩放倍数对p数据进行分块；
[0111]
计算水平方向的分块求和结果，后列方向逐行依次累加求和；
[0112]
块操作结束后，将块操作结果求平均，得到缩放后的数据。
[0113]
步骤2)的方法，具体还包括：
[0114]
对分解后的p数据进行缩放后缓存，采用高斯滤波器和时域滤波器对p数据进行滤波，取缓存的p数据输入高斯滤波器，高斯滤波器输出当前帧p数据至时域滤波器；
[0115]
时域滤波器的输出上一帧p数据至高斯滤波器，时域滤波器输出上一帧p数据，放大至原图后与当前帧的q数据融合。
[0116]
对步骤3)在缓存读取上一帧的p数据放大后与当前帧的q数据进行融合；
[0117]
对p数据放大，基于上述缩放的方法，数据放大采用两点双线性插值进行运算，先做垂直放大，再做水平放大，如图10所示。
[0118]
还包括加权处理，p数据和q数据融合后，将融合后的亮度数据乘以加权系数后与无符号数据相加后输出至第六级电路。
[0119]
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

技术特征：

1.六级流水拜耳图像动态范围矫正电路，其特征在于，采用六级流水线处理电路，第一级电路至第六级电路顺次电连接，包括：第一级电路，输入拜耳图像数据，转化为亮度数据后分解为p数据和q数据；第二级电路，连接第一级电路的输出端，对p数据进行缩放处理，输出缩放后的p数据；第三级电路，连接第二级电路输出端，包括电连接的高斯滤波器和时域滤波器；第四级电路，连接第三级电路输出端，包括第一缓存单元，所述第一缓存单元连接时域滤波器的输出端，接收时域滤波器输出的上一帧p数据；有第一输出端和第二输出端，第一输出端连接时域滤波器，向所述时域滤波器传输上一帧p数据，第二输出端输出上一帧p数据至第五级电路；第五级电路，包括放大单元和融合单元，取缓存单元中上一帧p数据至放大单元，放大单元将p数据放大至原图像大小，融合单元第一输入端连接放大单元输出端，融合单元第二输入端接收当前帧的q数据；第六级电路，将第五级电路输出数据转为拜耳数据。2.根据权利要求1所述的六级流水拜耳图像动态范围矫正电路，其特征在于，第五级电路，还包括加权单元，p数据和q数据融合后，所述加权单元将融合数据和当前帧亮度数据加权后输出至第六级电路。3.根据权利要求1所述的六级流水拜耳图像动态范围矫正电路，其特征在于，还包括第二缓存单元，所述第二级电路和所述第三级电路通过所述第二缓存单元连接，所述缩放后的p数据保存在所述第二缓存单元，所述第三级电路从所述第二缓存单元取缓存的p数据。4.据权利要求1所述的六级流水拜耳图像动态范围矫正电路，其特征在于，所述第三级电路，包括电连接的高斯滤波器和时域滤波器，高斯滤波器的输出端连接时域滤波器的第一输入端，所述时域滤波器的第二输入端连接第四级电路的缓存单元的第一输出端，获取缓存单元中的上一帧p数据，所述时域滤波器的输出端连接所述缓存单元的输入端，输出当前帧至所述缓存单元。5.据权利要求1所述的六级流水拜耳图像动态范围矫正电路，其特征在于，第一级电路包括：亮度转化单元，用于将拜耳数据转化为亮度数据；亮度曲线调整单元，连接所述亮度转化单元做亮度曲线调整，输出调整后的亮度数据sf(i)和原亮度数据f(i)；其中，sf(i)和f(i)之间的关系为：sf(i)＝f(i)*2-1。6.拜耳图像动态范围矫正方法，其特征在于，包括以下步骤：1)将拜耳图像转化为亮度数据，根据场景调整亮度变换曲线，进行pq分解得到p数据和q数据；2)对分解后的p数据进行缩放后缓存，取缓存的p数据进行滤波，进一步缓存滤波后的p数据；3)在缓存读取上一帧的p数据放大后与当前帧的q数据进行融合；4)融合后转回拜耳数据。7.根据权利要求6所述的拜耳图像动态范围矫正方法，其特征在于，步骤2)的方法，具体包括：
对分解后的p数据进行缩放后缓存在第二缓存单元；采用高斯滤波器和时域滤波器对p数据进行滤波，在第二缓存单元中取p数据输入高斯滤波器，高斯滤波器输出数据至时域滤波器；时域滤波器的第一输入端连接所述高斯滤波器，时域滤波器的输出端连接第一缓存单元，将当前帧p数据缓存，第一缓存单元输出上一帧p数据至所述时域滤波器的第二输入端。8.根据权利要求6所述的拜耳图像动态范围矫正方法，其特征在于，所述对分解后的p数据进行缩放的方法，包括：对分解后的p数据执行可选的缩放倍数的缩放操作；根据图像大小选择合适的缩放倍数对p数据进行分块；计算水平方向的分块求和结果，后列方向逐行依次累加求和；块操作结束后，将块操作结果求平均，得到缩放后的数据。9.根据权利要求6所述的拜耳图像动态范围矫正方法，其特征在于，对所述步骤3)融合后的亮度数据加权处理，加权后转回拜耳数据。10.根据权利要求6所述的拜耳图像动态范围矫正方法，其特征在于，所述根据场景调整亮度变换曲线的方法，包括以下步骤：对转化的亮度数据做亮度曲线调整，输出调整后的亮度数据sf(i)和原亮度数据f(i)其中，sf(i)和f(i)之间的关系为：sf(i)＝f(i)*2-1；sf(i)输出最大值和最小值介于[-1,1]之间。

技术总结

本发明公开一种六级流水拜耳图像动态范围矫正电路和矫正方法，涉及视频图像处理技术领域，其中方法包括：将拜耳图像转化的亮度数据进行PQ分解得到P数据和Q数据；对分解后的P数据进行缩放后缓存，取缓存的P数据进行滤波，进一步缓存滤波后的P数据；在缓存读取上一帧的P数据放大后与当前帧的Q数据进行融合；融合后转回拜耳数据。本方案实现芯片上图像动态范围矫正的方法，具有低延时性。具有低延时性。具有低延时性。