片上实时FPN校正方法与流程

阅读：评论：0

片上实时fpn校正方法
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种片上实时fpn校正方法。

背景技术：

2.图像作为信息记录的载体，在人们生活中占据着越来越重要的位置。用于图像获取的相机系统对成像要求也越来越高，成像系统的核心元器件为用于感光成像的图像传感器，其性能指标直接决定了图像的质量。图像传感器成像过程如下，首先光信号经过光学透镜被图像传感器上的感光元件(像素)捕获形成电信号，电信号再经过读出电路进行模拟及数字转换成数字信号，经数据处理之后将对应的数字信号输出至片外合成图像。
3.如图1所示，在信号的传递过程中，会有来自各个部分的噪声对信号进行干扰，其中fpn(fix pattern noise，固定模式噪声)为主要噪声之一，会使图像上产生斑点及纵向的条纹。fpn的产生严重影响了cmos图像传感器的成像质量，成为制约cmos图像传感器性能的主要瓶颈之一。
4.cmos图像传感器会通过cds(correlated double sampling相关双采样)或cms(correlated multiple sampling，相关多采样)来消除一部分fpn，即像素列间的固定噪声，cds所需架构及时序如图2和图3所示。adc(analog-to-digital converter，模拟/数字转换器)分别对像素的rst电压(复位电压)和sig电压(信号电压)进行量化，并将其量化后的数字量存储进sram(static random-access memory，静态随机存取存储器)中，在后续的数据处理模块中进行做差，消除像素列间fpn及其他一部分噪声。但是这种方法无法消除读出电路列间fpn，只能在片外进行算法优化。

技术实现要素：

5.本发明为解决上述问题，提供一种片上实时fpn校正方法，可以在片内进行fpn校正，提高cmos图像传感器成像质量，减小芯片制成后额外的工作量。
6.本发明提供一种片上实时fpn校正方法，所述片上实时fpn校正方法中的时序包括图像信号读取阶段和失调值提取阶段；所述片上实时fpn校正方法包括步骤：
7.s1、在所述图像信号读取阶段对图像像素的复位电压及信号电压分别进行加计算量化，得到第一图像信息，所述第一图像信息为经过相关双采样后的图像信息；
8.s2、在所述失调值提取阶段对复位电压进行两次减计算量化，得到第二图像信息，所述第二图像信息为案场下的图像信息；
9.s3、所述图像信号读取将所述第一图像信息与所述第二图像信息做差，实现实时fpn校正。
10.优选的，所述图像信号读取阶段的时间与所述失调值提取阶段的时间相同。
11.优选的，所述片上实时fpn校正方法中的时序通过adc电路结构实现。
12.优选的，所述adc电路结构包括比较器、adc逻辑控制器以及可加减计数器。
13.优选的，所述加计算和所述减计算均通过adc电路结构中的可加减计数器实现。
14.优选的，可加减计数器包括控制加减计数的信号、时钟信号、停止计数信号、组合逻辑控制信号以及计数器的输出。
15.优选的，所述控制加减计数的信号为高电平时，所述可加减计数器为加计数；所述控制加减计数的信号为低电平时，所述可加减计数器为减计数。
16.本发明的片上实时fpn校正方法能够实时对fpn进行校正，在adc量化周期后直接得到校正后的结果，功耗低，鲁棒性高，对于工艺、电压和温度变化不敏感，架构比较容易实现。而且，adc电路结构面积相对较小，通过使用了可加减的计数器进行实时fpn校正，避免了使用过多存储模块分别存储各个信号电压与复位电压量化后的数字量，进而也不需要数字处理模块进行数据处理。
附图说明
17.图1是cmos图像传感器中通常存在的噪声分类示意图。
18.图2是cmos图像传感器中通常采用的单斜adc电路结构示意图。
19.图3是cmos图像传感器中通常采用的单斜adc通过cds采样的时序示意图。
20.图4是经典4t像素结构中像素总线与比较器的连接方式示意图。
21.图5是本发明具体实施例中片上实时fpn校正方法中的时序示意图。
22.图6是本发明具体实施例中片上实时fpn校正方法中的电路结构示意图。
23.图7是本发明具体实施例中片上实时fpn校正方法中的校正过程的时序示意图。
24.图8是本发明具体实施例中片上实时fpn校正方法中可加减计数器的结构示意图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
26.本发明中提到的各项专业术语解释如下：
27.fpn：fix pattern noise固定模式噪声，目前cmos图像传感器系统主流的处理结构是采用列共用处理电路，即每列像素共用一套信号处理电路，由于制造工艺和版图布局等多种因素，列处理电路之间的失配会带来性能偏差，这样即使每个像素上的光照相同，其对应的列电路输出信号大小也不一样，即产生了阵列电路特有的固定噪声。对于给定的单个像素，fpn是固定的，对于不同像素它是不同的，因而这种噪声被称为固定模式噪声。
28.cds：correlated double sampling，相关双采样，即采样两次，一次是像素产生的复位信号vrst，一次为像素积分后的信号电压vsig，然后将这两个信号做差处理，将一部分噪声抵消。cds主要可以抑制mos电路中的1/f、ktc等噪声。
29.cms：correlated multiple sampling，相关多采样，与cds相似，由于一些噪声是随时间在一定范围内变化，cds采样两次的噪声未必相同，做差后也就不能够将此类噪声消除。cms是多次采样vrst与vsig后求均值，如此这两个电压上携带的噪声量更趋向一致，对其进行减法运算后，最终使同源或相关的噪声和误差有效削减。
30.如图4所示，为经典4t像素结构中像素总线与比较器的连接方式示意图，从图中可以看出，列总线column bus与斜坡模数转换器ramp adc相连接。像素的工作过程如下，首先
复位管rst管开启，将fd点电荷清空，使该点电位的浮动节点电压vfd等于像素电源电压vddpix；pd为感光器件，具体为感光二极管，将接收到的光信号转化为电信号，随着其顶部电子的积累其电压逐渐下降，曝光结束后tx管开启，将感光二极管pd顶部积累的电荷导入浮动节点fd中导致浮动节点电压vfd下降。sel为选通开关，控制一行的像素是否连接到列总线上，当sel管开启时，浮动节点电压vfd经过sf放大后作为斜坡模数转换器ramp adc的输入vpix。通常像素会输出两次电压信号，一次是复位电压vrst，一次是信号电压vsig，两次电压做差可以去除像素中的复位噪声以及比较器的补偿offset等误差，也就是上面所说的cds。但是cms与cds类似，由于一些噪声是随时间在一定范围内变化，只采样一次复位电压vrst和信号电压vsig做差，未必能够将这些噪声减掉，于是多次采样复位电压vrst和信号电压vsig求均值后做差，这样vrst和vsig中包含的噪声更趋向于相等，做差后误差更小。因此，虽然cds与cms大大提升了图像的质量，但仍无法消除列间的fpn。
31.本发明具体实施方式中提供一种片上实时fpn校正方法，所述片上实时fpn校正方法中的时序包括图像信号读取阶段和失调值提取阶段；所述片上实时fpn校正方法包括步骤：
32.s1、在所述图像信号读取阶段对图像像素的复位电压及信号电压分别进行加计算量化，得到第一图像信息，所述第一图像信息为经过相关双采样后的图像信息；
33.s2、在所述失调值提取阶段对复位电压进行两次减计算量化，得到第二图像信息，所述第二图像信息为案场下的图像信息；
34.s3、所述图像信号读取将所述第一图像信息与所述第二图像信息做差，实现实时fpn校正。具体的，所述第一图像信息是正常拍摄模式下获取的图像，第二图像信息相当于一张在暗场下获取的图像，两次图像的信息做差可以减去暗场图像下的噪声。
35.本发明具体实施方式所提供的片上实时fpn校正方法中的时序具体如图5所示，包括图像信号读取阶段(video signal reading phase)ⅰ和失调值提取阶段(offset extraction phase)ⅱ，在图像信号读取阶段对像素的复位电压vrst及信号电压vsig进行量化，且均为加计算；在失调值提取阶段对vrst进行两次量化，且均为减计算。这里需要adc的计数器有向上和向下两种计数能力，即本发明具体实施方式中，adc电路结构包括可加减计数器，这样便可实现在量化后直接得到最终结果，实现对fpn的实时校正，而不是将各个结果存储进存储器memory后再进行数据处理，如此可以节省很大一部分版图面积。
36.具体实施方式中，在图5所示的这种校正fpn的时序下，相当于获取了两幅图像信息，在前两次加计数阶段获得一副为正常cds后的图像，在后两次减计数阶段获得一副为暗场下的图像信息专门用于提取fpn，用两者做差便可将fpn消除，其具体过程如图7所示；图7是本发明具体实施例中片上实时fpn校正方法中的校正过程的时序示意图，如果想要得到最好的校正效果，那在图像信号读取阶段和失调值提取阶段的时间需要一样，以获得等量的fpn后做差消除，但如此会增加adc一倍的量化时间。图5中仅为其中一种时序的示例，在其他的实施方式中，根据cmos图像传感器架构可以将图像信号读取阶段和失调值提取阶段两个阶段进行互换调整，具体的，可以通过调整时序来使图像信号读取阶段和失调值提取阶段两个阶段互相调整，即相当于先做失调值提取阶段，再做图像信号读取阶段。
37.图6是本发明具体实施例中片上实时fpn校正方法中的电路结构示意图，具体为一种adc电路结构，所述adc电路结构包括比较器、adc逻辑控制器以及可加减计数器；图5中所
采用的片上实时fpn校正方法中的时序可以由图6的电路结构来实现，在比较器comp同向输入端输入图5中斜坡电压vramp的波形，vramp由斜坡产生电路产生。比较器comp反向输入端连接像素输出信号，其连接方式如图4所示，像素输出信号通过图5中选择sel、复位rst、发送tx控制时序，控制像素先后输出vrst、vsig、vrst、vrst，这几个信号通过与vramp的比较使比较器输出端产生翻转，并与时序控制信号一同产生conter_en信号，如图7所示。counter_en信号即控制计数器是否计数的信号，其与时钟信号clk相与后产生计数器计数所需的信号。可加减计数器通过up/down control端控制计数器是加计数还是减计数，当其为高电平时计数器加计数，为低电平时计数器减计数。在计数完成后，通过read信号将计数器最终值存入sram中。可加减计数器可以用图8的结构来实现。
38.具体实施方式中，所述可加减计数器包括控制加减计数的信号、计数时钟、停止计数信号、组合逻辑控制信号以及计数器的输出；如图8中所示，up/down control是控制加减计数的信号，这个信号为高电平时，所有计数器加计数，信号为低电平时，则所有计数器为减计数；clk为计数时钟，即时钟信号，时钟信号一个上升沿计数器加一位或减一位，加一位或减一位具体根据up/down control是高电平还是低电平来确定；lock则为停止计数信号，在up/down control为低电平信号时停止计数，锁定输出；clr与set为组合逻辑控制信号，clr＝1时，计数全部清零，set＝1时，计数全部置1；bit《0：n-1》是n位计数器的输出，其中，bit《0》是最低位。
39.本发明的片上实时fpn校正方法能够实时对fpn进行校正，在adc量化周期后直接得到校正后的结果，功耗低，鲁棒性高，对于工艺、电压和温度变化不敏感，架构比较容易实现。而且，adc电路结构面积相对较小，通过使用了可加减的计数器进行实时fpn校正，避免了使用过多存储模块分别存储各个信号电压与复位电压量化后的数字量，进而也不需要数字处理模块进行数据处理。
40.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
41.以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

技术特征：

1.一种片上实时fpn校正方法，其特征在于，所述片上实时fpn校正方法中的时序包括图像信号读取阶段和失调值提取阶段；所述片上实时fpn校正方法包括步骤：s1、在所述图像信号读取阶段对图像像素的复位电压及信号电压分别进行加计算量化，得到第一图像信息，所述第一图像信息为经过相关双采样后的图像信息；s2、在所述失调值提取阶段对复位电压进行两次减计算量化，得到第二图像信息，所述第二图像信息为案场下的图像信息；s3、所述图像信号读取将所述第一图像信息与所述第二图像信息做差，实现实时fpn校正。2.如权利要求1所述的片上实时fpn校正方法，其特征在于，所述图像信号读取阶段的时间与所述失调值提取阶段的时间相同。3.如权利要求1所述的片上实时fpn校正方法，其特征在于，所述片上实时fpn校正方法中的时序通过adc电路结构实现。4.如权利要求1所述的片上实时fpn校正方法，其特征在于，所述adc电路结构包括比较器、adc逻辑控制器以及可加减计数器。5.如权利要求1所述的片上实时fpn校正方法，其特征在于，所述加计算和所述减计算均通过adc电路结构中的可加减计数器实现。6.如权利要求1所述的片上实时fpn校正方法，其特征在于，所述可加减计数器包括控制加减计数的信号、时钟信号、停止计数信号、组合逻辑控制信号以及计数器的输出。7.如权利要求6所述的片上实时fpn校正方法，其特征在于，所述控制加减计数的信号为高电平时，所述可加减计数器为加计数；所述控制加减计数的信号为低电平时，所述可加减计数器为减计数。

技术总结

本发明涉及图像处理技术领域，具体涉及一种片上实时FPN校正方法，包括步骤：S1、在图像信号读取阶段对图像像素的复位电压及信号电压分别进行加计算量化，得到第一图像信息，所述第一图像信息为经过相关双采样后的图像信息；S2、在失调值提取阶段对复位电压进行两次减计算量化，得到第二图像信息，所述第二图像信息为案场下的图像信息；S3、所述图像信号读取将所述第一图像信息与所述第二图像信息做差，实现实时FPN校正。本发明的片上实时FPN校正方法能够实时对FPN进行校正，在ADC量化周期后直接得到校正后的结果，功耗低，鲁棒性高，对于工艺、电压和温度变化不敏感，架构比较容易实现。实现。实现。