一种双镜头黑光摄像机

本发明属于视频监控成像技术领域，特指一种双镜头黑光摄像机。

视频监控技术被广泛应用军事、安防、公共安全领域。通过摄像机可以观察和记 录，感兴趣区域事件，对预防犯罪、保障公共安全，具有重大作用。摄像机是视频监控技术应 用的关键核心设备，通过摄像机内部的图像传感器可以对场景实现成像。摄像机拍摄图像 质量，与环境光照条件紧密相关。当光照充足时，可以拍摄出明亮的、清晰图像。当光照不足 时，比如夜间，拍摄图像亮度不够，且存在大量图像噪声，无法实现清晰成像。对于视频监控 而言，需要具备24小时监视能力。因此，如何在夜间极低照度条件下，获取清晰图像是视频 监控技术领域需要解决的技术难题。通过近红外补光，可以获取场景中灰度图像，但是丢失 了重要的颜信息。采用白光补光，可以实现夜间低照度条件下彩成像。但却带来另外一 个问题：由人眼可以感知白光，在采用大功率白光补光时，会使人眼炫目，特别是在交通路 口，很容易引发交通事故。但是，降低补光功率，又无法清晰成像。为此，现有补光系统多采 用闪光灯照明，该方法只能获取图像，无法获取视频流。

对于视频监控而言，迫切需要在低照度情况下、非白光补光情况下，获取彩图 像。为此，海康威视推出了黑光摄像机。黑光是不可见光，包括近红外光、紫外光等。如图1所 示，海康威视的黑光摄像机使用近红外光光源(3)补光照明，采用近红外与可见光分光棱镜 (15) 将进入镜头的光线分为近红外光和可见光后，采用两个垂直放置的图像传感器，获取 近红外图像和彩图像，再对近红外图像和彩图像融合，得到低照度彩图像。该摄像机 拍摄的彩图像明显优于现有基于单图像传感器的星光摄像机。但是，该黑光摄像机还存 在以下问题：1)现有基于CCD或CMOS工艺的图像传感器在近红外波段的量子效率较低，经近 红外与可见光分光棱镜后，在近红外光光路上，拍摄的灰度图像信噪比较低，为了提升灰度 图像信噪比，需要增大近红外补光功率；2)为保证低照度成像性能，需要采用大像素尺寸图 像传感器芯片，对于高分辨率成像而言，需要使用大尺寸图像传感器，然后，在镜头后端设 置了近红外与可见光分光棱镜后，再安置2个较大尺寸的图像传感器，就需要前端使用的镜 头具有较大后焦深度，否则，两个图像传感器无法清晰成像；因此，对于黑光摄像机而言，需 要定制大后焦镜头，而不能使用常规镜头，进而增加制造成本；3)为实现同轴成像、黑白图 像与彩图像视场重合、拍摄图像清晰对焦，在图像传感器焊接、电路板制造，和镜头、近红 外与可见光分光棱镜、2块成像电路装配过程中，需要消耗大量的时间，进行人工对准和调 试，又会显著增加摄像机生产成本。

为了克服现有黑光摄像机灰度图像信噪比低、装配精度要求高、制造成本高等问 题，本发明公开一种双镜头黑光摄像机。

本发明解决上述问题的技术方案是：双镜头黑光摄像机由1个摄像机机壳(1)、1个 光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单图像传感器(5)、1个 可见光镜头(6)、1个IRCUT(7)、1个彩图像传感器(8)、1个处理电路(9)、1个供电接口 (10)、1 组数据接口(11)构成。

摄像机机壳(1)前端设置两个镜头接口，用于固定近红外增透镜头(1)和可见光镜 头(2)，在摄像机机壳前端设置光电传感器(2)。

光电传感器(2)选用可见光传感器，用于测量场景中可见光强度，以此判定是否开 启或关闭近红外光源(3)。

近红外光源(3)固定在摄像机壳(1)前方，在低照度情况下，对场景进行补充照明， 近红外光源(3)波长范围为800nm～1000nm，照明视场角大于拍摄视场，近红外光源(3)具有 控制信号输入接口，并与处理电路(9)连接，由处理电路(9)控制近红外光源开启或关闭。

近红外增透镜头(4)后端设置单图像传感(5)用于拍摄灰度图像A。

可见光镜头(6)后端设置彩图像传感器(8)用于拍摄彩图像B，在彩图像传 感器(8) 前端设置IRCUT(7)，用于近红外光源(3)开启照明情况下过滤近红外光。

所述彩图像传感器(8)为Bayer图像传感器，彩图像B是由Bayer图像传感器拍 摄的 Bayer图像Q经图像去马赛克处理得到。

处理电路(9)是嵌入式硬件，可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现；如图 3所示，采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单图像传感器 (5)、彩图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接，为光电传感器(2)、 单图像传感器(5)、彩图像传感器(8)、IRCUT(7)、数据接口(11)供电，完成光电传感器 (2)测量信号采集与处理，单图像传感(5)、彩图像传感器(8)图像采集，完成ISP处理、 图像融合、图像压缩、图像存储、图像传输等操作，进行IRCUT、近红外光源驱动控制。

供电接口(10)与近红外光源(3)、处理电路(9)连接，为近红外光源(3)和处理电路 (9)供电。

数据接口(11)用于摄像机控制、数据传输，相关接口包括：BNC、网络、HD-SDI、 HDMI。

双镜头黑光摄像机工作流程是：处理电路(9)采集光电传感器(2)测量结果v，取值 范围为 0～255，当测量结果v>t时，摄像机进入白天工作模式，当测量值v<t时，摄像机进入 夜间工作模式，其中t是判定阈值，取值范围为0～255。

在白天工作模式，处理电路(9)关闭近红外光源(3)、单图像传感器(5)，驱动 IRCUT移开彩图像传感器前端的IR滤光片，采集彩图像传感器(8)Bayer图像Q，执行标 准的ISP 处理流程，获取白天彩图像C，对图像C进行压缩、存储、传输等操作。

在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单图像传感器(5)、 彩图像传感器(8)，驱动IRCUT移动IR滤光片到彩图像传感器前端，同步采集单图像 传感器(5) 拍摄的灰度图像A和彩图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行 去马赛克处理得到彩图像B，对灰度图像A和彩图像B进行图像融合，得到夜间彩图像 C'，再对图像C'进行压缩、存储、传输。

在夜间工作模式下，对Bayer图像Q进行去马赛克处理得到彩图像B的具体方法 是：以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块内的r、b通道像素作为彩 图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩图像B的g通道值，得到的 彩图像B分辨率是Bayer图像Q的1/4。

在夜间工作模式下，对灰度图像A与彩图像B进行融合，得到夜间彩图像C'的 方法，包括方法a和方法b。

方法a操作步骤如下：

第a-1步：采用图像插值方法对彩图像B进行上采样得到彩图像B'，使彩图 像B' 分辨率与灰度图像A相同；对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成 像系统进行标定，获取灰度图像A与彩图像B'像素坐标映射关系P：(iA,jA)＝P(iB',jB')， 其中(iA,jA)、 (iB',jB')是灰度图像A和彩图像B'的像素坐标；

所述图像插值方法，包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值；

第a-2步：根据坐标映射关系P，对彩图像B'进行坐标变换得到彩图像B″，抽取 灰度图像A与彩图像B″的重叠区域，分别得到灰度图像E和彩图像D，此时，灰度图像E 与彩图像D视场重合；

第a-3步：以灰度图像E作为引导图像，对彩图像D的r、g、b颜通道D^r,D^g,D^b进行局部平滑滤波，得到去噪后彩图像

第a-4步，在颜与亮度分量颜空间λ，把去噪后彩图像转换为图像其中是亮度分量，是颜分量，使用灰度图像E替换得到图像将图像转换为rgb颜空间图像C'，图像C'中亮度信息来源于图像E，颜信息来源于图像

在第a-3步中，以图像E作为引导图像对彩图像D进行局部平滑滤波的具体操作 步骤如下：

第a-3-1步：

计算图像E的局部邻域均值：

μE＝fm(E) (1)

计算图像D的三个颜通道Dr,Dg,Db的局部邻域均值：

第a-3-2步：

计算图像E的局部邻域方差：

σE＝fm(E.*E)-μE.*μE (5)

计算图像E与图像D三个颜通道Dr,Dg,Db中对应像素的局部邻域协方差：

第a-3-3步：

计算线性变换系数：

其中，τr,τg,τb是一个罚分系数，取值范围为(0～10)；

第a-3-4步：

计算线性变换系数局部邻域均值：

第a-3-5步：

对图像D三个颜通道Dr,Dg,Db进行线性变换：

其中，fm(·)是图像均值滤波，窗口尺寸为s*s，s取值范围为3～111，.*是点乘操 作，表示矩阵中相同位置处元素相乘，./是点除操作，表示矩阵中相同位置处元素相除。

方法b是对方法a中第a-3步得到的彩图像和灰度图像E进行图像细节融合，获取更高质量低照度彩图像C″，具体操作如下：

第b-1步：在颜与亮度分量颜空间λ，把彩图像转换为图像其中是亮度分量，是颜分量；

所述，颜与亮度分离颜空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜空间；

第b-2步：对图像E进行图像保边缘多尺度分解，得到基图像和细节图像其中，(n+1)是图像分解的层数，取值范围为1～10；

所述基图像由图像保边缘平滑滤波得到：

所述图像保边缘平滑滤波fsmooth(·)包括加权最小二乘保边缘平滑滤波、基于局 部极值的保边缘平滑滤波、基于局部拉普拉斯金字塔的保边缘平滑滤波、中值滤波、加权中 值滤波方法；

多层细节图像由基图像与不同尺度平滑图像作差得到：

多层细节图像也可由两个不同尺度平滑图像作差得到：

其中，fsmooth(·)是图像保边缘平滑滤波，上标0、z、z1、z2是指滤波器尺度层标号， 标号越大尺度越小，标号为0表示最大滤波尺度；

第b-3步：将基图像细节图像与亮度分量加权融合后，得到新的亮度分量

其中，{ω0,ω1,…,ωn+1}是加权系数，取值范围0～1；

第b-4步：基于新的亮度分量将图像转化为rgb颜空间彩图像 C″，图像C″中亮度信息来源于图像E和图像颜信息来源于图像

优选地，单图像传感器(5)和彩图像传感器(7)具有相同靶面尺寸、分辨率，成 像平面共面，近红外增透镜头(4)和可见光镜头(6)具有相同的焦距、光圈F数、适应靶面尺 寸，红外增透镜头(4)和可见光镜头(6)的光轴(12-1、12-2)平行、竖直放置、光轴间距g< 55mm，使横向视场重合。

优选地，第a-2步可通过查表操作加速实现，根据坐标映射关系P：(iA,jA)＝P(iB', jB')、以及重叠视场范围，计算灰度图像E到彩图像D的坐标对应关系(i′B',j′B')＝Q(iE, jE)，再以查表LUT预先存储；查表LUT的长度为w*h，存储元素为2维向量(i′B',j′B')，w,h 是灰度图像E的宽度和高度，取值范围为：1～10000，单位是像素，(iE,jE)是灰度图像E的像 素坐标，以L＝iE*w+jE作为输入，输出为(i′B',j′B')；具体操作流程是：先剪切灰度A中与彩 图像B'的重叠区域作为灰度图像E，建立与灰度图像E相同大小的空白彩图像D；接着， 取彩图像D的像素坐标(iD,jD)计算查表LUT的输入值L＝iD*w+jD，从查表LUT中，到 像素坐标(iD,jD)的对应值：(i′B',j′B')，取彩图像B'中(i′B',j′B')位置处图像填充到彩 图像D中(iD,jD)位置处；遍历彩图像D，完成彩图像D填充。

为防止近红外增透镜头(4)和可见光镜头(6)焦距变化，在近红外增透镜头(4)和 可见光镜头 (6)安装锁紧装置(13)，锁紧装置(13)为0形环，套在2个镜头上，通过螺栓(14- 1、14-2)锁定镜头调焦环。

与现有技术相比，本发明有益效果是：

1)提升了灰度图像信噪比、提升彩成像质量

相比现有黑光摄像机，本发明从物理源头上提升灰度图像信噪比，并由此增强低 照度彩成像质量。相比现有基于近红外与可见光分光成像的黑光摄像机所拍摄的灰度图 像只感知近红外光线，本发明摄像机，采用近红外增透镜头和单图像传感器成像，可同时 感知近红外和可见光光线，提升灰度图像信噪比。灰度图像信噪比提升以后，再以灰度图像 作为引导图像对彩图像进行局部平滑滤波，可增强彩图像信噪比，再利用本发明提出 的灰度图像与彩图像融合方法，可获取高质量低照度彩图像。如图6所示，其中图6(a) 是本发明摄像机拍摄的彩图像，图像中含有大量噪声，图6(b)是本发明摄像机拍摄的灰 度图像，由于采用了近红外补光，同时获取了近红外和可见光图像，因此灰度图像信噪比 高，图6(c)是以图 6(b)中灰度图像作为引导图像，对图6(a)中含噪彩图像进行局部平滑 滤波结果，可以看出，本发明方法，显著减少了彩图像中噪声。如图7所示，其中图7(a)是 高信噪比灰度图像，图 7(b)是含噪声彩图像，图7(c)是采用方法b获得的彩图像，可以 看出，本发明方法可以获取高信噪比、清晰彩图像。

2)摄像机装配简单、制作成本、生产成本低

现有黑光摄像机，采用一个镜头、一组分光棱镜、两个分离的成像电路，用于实现 同轴分光成像。首先，如图1所示，因为分光棱镜的存在，增加了后焦长度，需要采用长后焦 镜头，增加了镜头成本，而本发明灰度或彩成像光路是标准成像光路，无需采用长后焦镜 头，使用常规镜头即可；其次，为了实现同轴分光成像，两个图像传感器成像平面垂直安装， 使对焦、装配与固定难度加大，增加制造成本，而本发明将两个图像传感器共面固定在同一 块电路板上，再在图像传感器前端安置两个镜头，该制造过程不会引人多余工序和显著增 加时间成本；此外，本发明双镜头黑光摄像机还不存在现有黑光摄像机装配过程中对焦困 难的问题。需要说明是：虽然本发明双镜头黑光摄像机相比现有黑光摄像机增加了1个镜 头，但是，所采用的镜头都是常规镜头，相比现有黑光摄像机需要定制的长后焦镜头，价格 便宜很多，并且，现有黑光摄像机中的近红外与可见光分光棱镜也需要定制，其价格远超过 常规镜头。因此，综合起来，本发明双镜头黑光摄像机的生成和制造成本明显低于现有黑光 摄像机。

图1现有黑光摄像机原理图；

图2本发明双镜头黑光摄像机原理图；

图3本发明双镜头黑光摄像机各单元连接图；

图4镜头锁紧装置示意图；

图5镜头竖直安置及成像视场角示意图

图6本发明图像局部平滑滤波效果图，其中，(a)是本发明摄像机拍摄夜间彩图像， (b)是本发明摄像机近红外补光情况下拍摄灰度图像，(c)是以(b)中灰度图像作为引导图 像、对(a)中彩图像进行局部平滑滤波结果；

图7本发明方法b获取彩图像效果图，其中，(a)是高信噪比灰度图像，(b)是含噪声彩 图像，(c)是采用方法b获得的彩图像；

图中，1-摄像机机壳，2-光电传感器，3-近红外光源，4-近红外增透镜头，5-单图 像传感器，6-可见光镜头，7-IRCUT，8-彩图像传感器，9-处理电路，10-供电接口，11-据接 口 (11)，12-镜头光轴，13-锁紧装置，14-螺栓，15-近红外与可见光分光棱镜，16-水平视 场，17- 竖直视场，18-图像重叠区。

下面结合附图及实施例对本发明进行详细说明。

实施例1

如图2所示，一种双镜头黑光摄像，包括摄像机机壳(1)、光电传感器(2)、近红外光 源(3)、近红外增透镜头(4)、单图像传感器(5)、可见光镜头(6)、IRCUT(7)、彩图像传感 器(8)、处理电路(9)、供电接口(10)、数据接口(11)。其中，近红外光源(3)的功率为10W，波 长为808nm；近红外增透镜头(4)、可见光镜头(6)为C接口，解析度为200万像素，光圈F＝ 1.2，适应靶面尺寸为1/1.8英寸，焦距为f＝6mm；单图像传感器采用200万像素Mono CMOS 星光级图像传感器，帧率为30fps，彩图像传感器采用200万像素Bayer CMOS星光级图像 传感器，帧率为30fps，单图像传感器和彩图像传感器芯片面积为1/1.8英寸；处理电路 采用基于 FPGA实现，数据接口为网络接口。近红外增透镜头(4)、可见光镜头(6)的光轴平 行，水平安置在摄像机机壳前端。近红外增透镜头(4)、可见光镜头(6)的光轴距离g＝50mm。

为防止近红外增透镜头(4)和可见光镜头(6)焦距变化，在近红外增透镜头(4)和 可见光镜头 (6)安装锁紧装置(13)。如图4所示，锁紧装置(13)为0形环，套在2个镜头上，通 过螺栓(14-1、 14-2)锁定镜头调焦环。

摄像机工作流程是：处理电路(9)采集光电传感器(2)测量结果v，当测量结果v>t 时，t 设定为10，摄像机进入白天工作模式，当测量值v<t时，摄像机进入夜间工作模式。

在白天工作模式，处理电路(9)关闭近红外光源(3)、单图像传感器(5)，驱动 IRCUT移开彩图像传感器前端的IR滤光片，采集彩图像传感器(8)Bayer图像Q，执行标 准的ISP 处理流程，获取白天彩图像C，对图像C进行压缩、存储、传输等操作。

在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单图像传感器(5)、 彩图像传感器(8)，驱动IRCUT移动IR滤光片到彩图像传感器前端，同步采集单图像 传感器(5) 拍摄的灰度图像A和彩图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行 去马赛克处理得到彩图像B，对灰度图像A和彩图像B进行图像融合，得到夜间彩图像 C'，再对图像C'进行压缩、存储、传输。

在夜间工作模式下，以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块 内的r、b通道像素作为彩图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩 图像B的g通道值，得到的彩图像B分辨率是Bayer图像Q的1/4。

在夜间工作模式下，采用方法a对灰度图像A与彩图像B进行融合，得到夜间彩 图像C'，其中，fm(·)图像均值滤波窗口尺寸为5，图像插值方法选择线性插值。

实施例2

与实施例1不同之处在于，在夜间工作模式下，采用方法b对灰度图像A与彩图像 B 进行融合，得到高质量夜间彩图像C″，其中，fm(·)图像均值滤波窗口尺寸为5，颜空 间λ选择YUV颜空间，图像保边缘多尺度分解层数n＝4，图像保边缘平滑滤波fsmooth(·)选 择加权最小二乘保边缘平滑。

实施例3

与实施例2不同之处在于，颜空间λ选择Lab颜空间。

实施例4

与实施例2不同之处在于，颜空间λ选择HSV颜空间。

实施例5

与实施例2不同之处在于，图像保边缘平滑滤波fsmooth(·)选择基于局部极值的保 边缘平滑滤波。

实施例6

与实施例1不同之处在于，在方法a中第a-2步，采用查表方法对图像坐标变换进 行加速。

实施例7

与实施例1不同之处在于，所选近红外增透镜头(4)、可见光镜头(6)的接口变为 M12，其他参数不变；单和彩图像传感器选用1/2.9英寸星光级图像传感器；图像传感器 光心距离和近红外增透镜头(4)、可见光镜头(6)的光轴距离g＝26mm。

在拍摄远距离对象时，比如5米处，两个镜头光轴平行、光轴距离为26mm，可以把两 个镜头光心近似为同心，可增加拍摄图像A和图像B视场重叠范围，并且，拍摄图像A和拍摄 图像B可以近似为平移变换，可降低图像A与图像B进行对齐的坐标变换复杂度。

实施例8

与实施例7不同之处于，如图5所示，近红外增透镜头(4)、可见光镜头(6)竖直安置 在摄像机机壳上。同样地，单图像传感器、彩图像传感器也竖直安置。此时图像A和图像 B 的水平视场(16-1、16-2)完全重合，竖直视场(17-1、17-2)部分重叠，可有效利用拍摄图 像宽度大于高度的特点，增大图像重叠区(18)。