包括多个图像传感器的图像获取装置以及包括该图像获取装置的电子装置的制作方法

阅读：评论：0

包括多个图像传感器的图像获取装置以及包括该图像获取装置的电子装置
1.相关申请的交叉引用
2.本技术基于并要求2021年8月27日在韩国知识产权局提交的韩国专利申请no.10-2021-0113981的优先权，该申请的公开通过引用整体并入本文中。
技术领域
3.本公开涉及包括多个图像传感器的图像获取装置、以及包括该图像获取装置的电子装置。

背景技术：

4.图像传感器接收从对象入射的光并且对已接收的光进行光电转换以生成电信号。
5.这种图像传感器使用包括滤波器元件的阵列在内的滤器，该滤波器元件能够选择性地透射用于颜表示的红光、绿光和蓝光，感测经过每个滤波器元件的光量，然后通过图像处理形成对象的彩图像。
6.因为由图像传感器感测到的值受到照明的影响，所以由相机捕捉的图像的颜也受到照明的影响。一种消除这种影响并尽可能拍摄对象的独特颜的技术称为“白平衡”。
7.在相关技术中，首先捕捉rgb图像，并且然后通过分析rgb图像中包含的信息来执行白平衡。但是，因为该方法基于灰世界假设(即假设r、g和b通道值的平均值彼此相等)或者具有其他限制条件，所以当不满足假设或限制条件时，该方法可能无法正确工作。

技术实现要素：

8.提供了一种包括多个图像传感器的图像获取装置以及包括该图像获取装置的电子装置。
9.附加方面部分地将在接下来的描述中阐述，且部分地将通过该描述而变得清楚明白，或者可以通过对本公开的实施例的实践来获知。
10.根据本公开的一个方面，一种图像获取装置包括：第一图像传感器，被配置为获取基于第一波段的第一图像；第二图像传感器，被配置为获取基于10nm至1000nm的第二波段的第二图像；以及处理器，被配置为对分别从第一图像传感器和第二图像传感器输出的第一图像和第二图像执行配准，以获得配准图像；以及使用从第二图像估计的照度值对配准图像执行颜转换。
11.处理器还可以被配置为：将第一图像划分为一个或多个第一区域，并将第二图像划分为分别与一个或多个第一区域相对应的一个或多个第二区域；估计一个或多个第二区域中的每个第二区域的相应照度值；以及使用估计的照度值对一个或多个第一区域中的每一个执行颜转换。
12.处理器还可以被配置为：当针对一个或多个第二区域中的相邻第二区域分别估计的照度值之间的差值大于或等于第一阈值时，调整相邻第二区域的照度值中的任何一个照
度值以将差值调整为小于第一阈值。
13.处理器还可以被配置为：在执行颜转换之后，对相邻第二区域之间的边界部分执行后处理。
14.处理器还可以被配置为基于第一图像传感器和第二图像传感器中的每个图像传感器的分辨率、视野和焦距中的至少一种来计算用于对第一图像和第二图像进行配准的参数。
15.处理器还可以被配置为通过使用从第二图像传感器输出的多个通道而获得的光谱信息来估计照度值。
16.处理器还可以被配置为通过使用针对与预定照度值相关联的多个第二图像训练的神经网络来估计照度值。
17.处理器还可以被配置为通过分别从第一图像中提取第一特征以及从第二图像中提取第二特征，并且将提取的第一特征与提取的第二特征进行匹配，来对第一图像和第二图像进行配准。
18.处理器还可以被配置为以第一图像和第二图像的像素组、像素或子像素为单位对第一图像和第二图像进行配准。
19.第一图像传感器可以包括：第一像素阵列，第一阵列包括：第一传感器层，其中布置有多个第一感测元件；以及滤器，在第一传感器层上并且包括交替布置的红滤器、绿滤器和蓝滤器，其中，第二图像传感器包括第二像素阵列，第二像素阵列包括：第二传感器层，其中布置有多个第二感测元件；以及光谱滤波器，在第二传感器层上并且其中重复布置有滤波器组，滤波器组包括多个单元滤波器，每个单元滤波器具有与滤波器组的每一个其他单元滤波器不同的透射波段。
20.滤波器组的多个单元滤波器的组合透射波段可以包括可见光波段并且比可见光波段宽，以及多个单元滤波器可以包括以4
×
4阵列布置的16个单元滤波器。
21.第一像素阵列和第二像素阵列可以在电路板上彼此水平分开。
22.被配置为处理来自第一传感器层的信号的第一电路元件以及被配置为处理来自第二传感器层的信号的第二电路元件可以设置在电路板上。
23.图像获取装置还可以包括时序控制器，时序控制器被配置为使第一电路元件的操作与第二电路元件的操作同步。
24.图像获取装置还可以包括：第一存储器，存储关于第一图像的数据；以及第二存储器，存储关于第二图像的数据。
25.第一存储器和第二存储器可以设置在电路板的内部。
26.图像获取装置还可以包括：第一成像光学系统，被配置为在第一图像传感器上形成对象的第一光学图像，第一成像光学系统包括至少一个第一透镜；以及第二成像光学系统，被配置为在第二图像传感器上形成对象的第二光学图像，第二成像光学系统包括至少一个第二透镜。
27.第一成像光学系统和第二成像光学系统可以具有相同的焦距和相同的视野。
28.一种电子装置可以包括本公开的上述方面的图像获取装置。
29.根据本公开的一个方面，控制包括多个图像传感器的图像获取装置的方法包括：分别从第一图像传感器和第二图像传感器获取第一图像和第二图像；对所获取的第一图像
和第二图像进行配准以获得配准图像；以及使用从第二图像估计的照度值对配准图像执行颜转换。
30.根据本公开的一个方面，一种图像获取装置包括：第一图像传感器，包括第一滤波器；第二图像传感器，包括与第一滤波器不同的第二滤波器；以及处理器，被配置为从第一图像传感器接收对象的第一图像以及从第二图像传感器接收对象的第二图像；以及基于接收到的第一图像和接收到的第二图像，通过消除由对象反射的照明的影响，生成对象的经白平衡的第一图像。
31.第一图像传感器可以包括多个第一像素，其中，第一滤波器可以包括重复布置的多个第一滤波器组，每个第一滤波器组包括多个第一单元滤波器，每个第一单元滤波器可以对应于相应的第一像素，其中，第二图像传感器可以包括多个第二像素，第二滤波器可以包括重复布置的多个第二滤波器组，每个第二滤波器组包括多个第二单元滤波器，每个第二单元滤波器可以对应于相应的第二像素，其中，第一滤波器的每个第一滤波器组与第二滤波器的相应第二滤波器组相对应，并且每个第一单元滤波器的波段可以比每个第二单元滤波器的波段大。
32.第一滤波器组的组合波段可以小于第二滤波器组的组合波段。
33.处理器还可以被配置为：基于第二图像生成转换矩阵，以用于消除由对象反射的照明的影响；以及基于转换矩阵和第一图像生成经白平衡的第一图像。
34.处理器还可以被配置为：将第一图像划分为与多个第一滤波器组相对应的部分，以及将第二图像划分为与多个第二滤波器组相对应的部分；针对第二图像的每个部分生成相应的转换矩阵；以及基于各个转换矩阵以及第一图像的各个部分生成经白平衡的第一图像的部分。
附图说明
35.根据以下结合附图的描述，本公开的一些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
36.图1是示出了根据实施例的图像获取装置的示意性结构的框图；
37.图2是图1所示的图像获取装置的详细框图；
38.图3是示出了图1所示的图像获取装置的示意性结构的概念图；
39.图4是示出了根据实施例的图像获取装置中设置的第一图像传感器和第二图像传感器的电路配置的视图；
40.图5是示出了使用根据实施例的图像获取装置中设置的第一图像传感器而获得的波长光谱的曲线图；
41.图6至图8是示出了根据实施例的图像获取装置中设置的第一图像传感器的像素布置的示例的视图；
42.图9是示出了使用根据实施例的图像获取装置中设置的第二图像传感器而获得的波长光谱的曲线图；
43.图10至图12是示出了根据实施例的图像获取装置中设置的第二图像传感器的像素布置的示例的视图；
44.图13是示出了根据实施例的控制图像获取装置的方法的流程图；
45.图14是示出了根据实施例的电子装置的示意性结构的框图；
46.图15是示出了图14的电子装置中包括的相机模块的框图；以及
47.图16至图25是示出了根据实施例的包括图像获取装置的电子装置的各种示例的视图。
具体实施方式
48.现在详细参考实施例，在附图中示出了实施例的示例，其中，贯穿附图类似的附图标记表示类似的元件。在这点上，实施例可以具有不同形式，并且不应当被解释为受限于本文所阐明的描述。因此，下面仅通过参考附图来描述实施例以解释各方面。如本文中所使用的术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。诸如
“…
中的至少一个”之类的表述当在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。
49.在下文中，将参照附图来描述实施例。以下描述的实施例仅是示例，因此应当理解，可以以各种形式修改实施例。在附图中，相似的附图标记始终指代相似的元件，并且为清楚起见可能夸大元件的尺寸。
50.在下面的描述中，当一元件被称为在另一元件“之上”或“上”时，其可以直接在该另一元件上，同时与该另一元件接触，或者可以在该另一元件之上而不接触该另一元件。
51.尽管诸如“第一”和“第二”的术语被用于描述各种元件，但是这些术语仅用于将一个元件与另一元件区分开。这些术语不将元件限制为具有不同的材料或结构。
52.本文中使用的单数形式“一个”、“一”和“该”也意在包括复数形式，除非上下文明确地另外指示。此外，应该理解，当某个单元被称为“包括”另一元件时，不排除可以存在或可以添加一个或多个其他元件的可能性。
53.在本公开中，诸如“单元”或“模块”之类的术语可以用于表示具有至少一个功能或操作的单元，并且用硬件、软件或者硬件和软件的组合来实现。
54.用定冠词或指示代词提及的元件可以被解释为一个或多个元件，即使它为单数形式。
55.除非在顺序方面明确描述或相反地描述，否则可以按适当的顺序执行方法的操作。另外，示例或示例术语(例如，“诸如”和“等”)用于描述的目的，并且除非由权利要求限定，否则不旨在限制本公开的范围。
56.一般而言，由相机感测的值可以表示为照度、对象颜、以及相机的响应的乘积，如下面的等式1所示。
57.[等式1]
[0058]
ρ＝∫e(λ)s(λ)dλ
[0059]
其中ρ表示感测值，并且e(λ)、s(λ)以及r(λ)分别表示照度、对象的表面反射率、以及作为光谱的函数λ的相机响应。因为由相机感测到的值受到照明的影响，所以由相机捕捉的图像的颜也受到照明的影响。白平衡是一种用于消除此类影响并尽可能最大程度地拍摄对象独特颜的技术。
[0060]
诸如智能手机的拍摄装置以三种光谱，即r、g和b光谱来感测光。然后，拍摄装置使用三个感测值来执行转换以按预期表现颜。在相关技术的方法中，首先捕捉rgb图像，然后通过分析rgb图像中包含的信息来执行白平衡。但是，此类方法基于灰世界假设或具有
其他限制条件，因此当不满足灰世界假设或限制条件时可能无法正确工作。
[0061]
此外，在相关技术的方法中，首先使用rgb相机获得图像，然后使用关于图像的信息执行白平衡。因为rgb相机基本上可以感测三种颜的光谱，并且针对每种颜使用宽带滤波器，所以通过使用rgb相机来获得准确的光谱信息存在限制。因此，执行准确的白平衡存在限制。尤其当用多于一种光照亮对象时出现这种限制，并且相关技术的技术具有将照明彼此分离的限制。例如，当用从左侧窗户进来的自然光和从右侧室内光进来的照明光拍摄人时，人脸的左侧和右侧可以具有不同的颜。此外，当特定颜在场景中占主导地位时，可能出现错误。例如，在以雪为背景的滑雪胜地的照片中，雪的颜可能看起来与雪的实际颜不同。
[0062]
为了准确的白平衡，实施例的图像获取装置可以通过使用多光谱图像(msi)传感器将照明与对象的颜分离以到对象的准确颜，然后可以通过使用关于使用msi传感器所获得的照明(即，照明值)的信息对rgb图像执行颜转换或映射来执行白平衡。
[0063]
图1是示出了根据实施例的图像获取装置的示意性结构的框图。
[0064]
参考图1，图像获取装置包括第一图像传感器100、第二图像传感器200和处理器500。本实施例的图像获取装置对用多个图像传感器捕捉的图像准确地执行白平衡。第一图像传感器100获取第一波段中的第一图像。第二图像传感器200获取第二波段中的第二图像。第二波段可以包括第一波段并且可以比第一波段宽。这里，第一图像传感器100可以包括rgb图像传感器，而第二图像传感器200可以包括msi传感器。rgb图像传感器具有r通道、g通道和b通道。msi传感器具有比rgb图像传感器更多的通道，因此感测比rgb图像传感器更多的波段中的光。
[0065]
处理器500对分别从第一图像传感器100和第二图像传感器200输出的第一图像和第二图像进行配准以获得配准图像，并且通过从第二图像估计的照度值对该配准图像执行颜转换。
[0066]
此外，处理器500可以将第一图像划分为一个或多个区域，针对第二图像的分别与第一图像的区域相对应的区域分别估计照度值，并且可以通过使用分别针对第二图像的区域估计的照度值来对第一图像的区域执行颜转换。
[0067]
此外，当针对第二图像的相邻区域估计的照度值之间的差值等于或大于第一阈值时，处理器500可以调整相邻区域的照度值之一以将差值减小到比第一阈值小的值。在这种情况下，处理器500可以在颜转换之后对相邻区域之间的边界部分执行后处理。
[0068]
图2是图1所示的图像获取装置的详细框图。
[0069]
参见图2，图像获取装置包括：第一图像传感器100，被配置为获取基于第一波段的第一图像im1；第二图像传感器200，被配置为获取基于第二波段的第二图像im2；处理器500，被配置为通过对第一图像im1和第二图像im2执行信号处理来生成第三图像im3。这里，通过对使用第一图像传感器100获取的第一图像im1进行白平衡、或者通过对从第一图像传感器100获取的第一图像im1和从第二图像传感器200获取的第二图像im2进行配准而获得的图像进行白平衡来生成第三图像im3。
[0070]
第一图像传感器100可以是在通常rgb相机中使用的传感器，例如包括拜耳滤器阵列的互补金属氧化物半导体(cmos)图像传感器。使用第一图像传感器100获取的第一图像im1可以是基于红、绿和蓝的rgb图像。第一图像传感器100通常具有380nm至780nm
的带宽。
[0071]
第二图像传感器200可以是能够感测比第一图像传感器100更多波长的光的传感器。第二图像传感器200可以使用例如16个通道、31个通道或其他数量的通道。第二图像传感器200可以具有比第一图像传感器100更多的通道。每个通道的带宽可以被设置为比r、g和b带宽窄，并且作为所有通道的带宽之和的总带宽可以包括rgb带宽并且可以比rgb带宽更宽，即，总带宽(例如，组合的透射波段)可以包括可见光波段并且可以比可见光波段更宽。例如，第二图像传感器200可以具有10nm至1000nm的带宽。此外，第二图像传感器可以具有约350nm至1000nm的带宽。使用第二图像传感器200获取的第二图像im2可以是多光谱或高光谱图像，并且可以是基于比rgb波段更宽的波段所划分(例如，包括可见光波段并且范围从紫外波段至红外波段的波段所划分)的16个或更多个通道中的波长的图像。可以使用第二图像传感器200的所有可用通道来获取第二图像im2，或者可以使用第二图像传感器200的所选通道来获取第二图像im2。第二图像im2的空间分辨率可以低于第一图像im1的空间分辨率，但是不限于此。
[0072]
在实施例中，第一图像传感器100可以包括rgb图像传感器，而第二图像传感器200可以包括msi传感器。在这种情况下，rgb图像传感器可以是cmos图像传感器。rgb图像传感器可以使用拜耳滤器阵列以通过感测分别表示r、g和b的光谱来生成三通道图像。然而，rgb传感器可以使用其他类型的滤器阵列。msi传感器可以感测并表现与rgb图像传感器感测并表现的波长不同的波长的光。msi传感器具有比rgb图像传感器更多的通道，因此可以感测更多的波长。例如，msi传感器可以具有16个通道。在另一示例中，msi传感器可以具有31个通道。可以调整每个通道的传输波段、传输量和传输带宽以感测期望波段中的光。作为所有通道的带宽之和的总带宽可以包括通用rgb图像传感器的带宽并且可以比通用rgb图像传感器的带宽更宽。将稍后参考图5和图9描述rgb图像传感器和msi传感器的感测光谱或波段。
[0073]
第一图像传感器100和第二图像传感器200可以被设置为单独的芯片或单个芯片。
[0074]
在实施例中，可以根据不同类型传感器的不同分辨率和输出速度以及图像配准所需区域的大小来执行时序控制。例如，当在基于rgb图像传感器的操作中读取rgb图像列时，msi传感器的与该rgb图像列相对应的图像列可以被预先存储在缓冲器中或者可以被重新读取。可以读出通过计算这样的时序而感测的信号。备选地，可以使用相同的同步信号来同步两个传感器的操作。此外，可以执行聚焦控制以将两个传感器聚焦在对象的相同位置上。
[0075]
在实施例中，msi传感器可以通过所有通道(例如16个通道)或者通过特定通道来获取图像。可以通过合并传感器像素、或者选择或合成特定通道，来仅使用特定通道。
[0076]
参考图2，第一存储器300存储从第一图像传感器100读出的第一图像im1。第二存储器310存储从第二图像传感器200读出的第二图像im2。
[0077]
图像从第一图像传感器100和第二图像传感器200逐行被读出并依次被存储。第一存储器300和第二存储器310可以是用于逐行存储图像的线存储器或者用于存储整个图像的帧缓冲器。
[0078]
在实施例中，当输出图像时，可以仅输出rgb图像，并且可以将rgb图像存储在帧缓冲器中。在这种情况下，msi图像可以存储在线缓冲器中并且可以逐行进行处理，然后可以更新帧缓冲器中的rgb图像。第一存储器300和第二存储器310可以是静态随机存取存储器
(sram)或动态随机存取存储器(dram)。然而，第一存储器300和第二存储器310的类型不受限制。
[0079]
第一存储器300和第二存储器310可以设置在第一图像传感器100和第二图像传感器200的外部，或者可以被集成到第一图像传感器100和第二图像传感器200中。在后一种情况下，可以使用通过用像素单元、电路单元和存储器构造每个堆叠并将两个堆叠集成为一个芯片来将存储器集成到传感器中的方法。备选地，分别包括像素单元、电路单元和存储器的三个层可以形成为三个堆叠。
[0080]
在上述实施例中，分别使用第一图像传感器100和第二图像传感器200获取的第一图像im1和第二图像im2被存储在不同的存储器(即第一存储器300和第二存储器310)中。然而，实施例不限于此，第一图像im1和第二图像im2可以存储在一个存储器中。
[0081]
处理器500包括图像配准单元510、照度估计单元520和颜转换单元530。尽管图2中未示出，但处理器500还可以包括图像信号处理器(下文中被称为isp)。在图像分别被存储在第一存储器300和第二存储器310之前或之后，isp可以对分别从第一图像传感器100和第二图像传感器200获取的图像执行基本图像处理工艺。例如，isp可以执行坏像素校正、固定图案噪声校正、串扰减少、重新镶嵌、去马赛克、假减少、去噪、差校正等。此外，处理器500或isp可以对第一图像传感器100和第二图像传感器200执行相同的图像处理工艺或不同的图像处理工艺。
[0082]
在实施例中，处理器500可以通过使用msi传感器从对象的颜中分离出照明来执行准确的白平衡，以到对象的确切颜，然后通过使用照度值对从rgb图像传感器获取的图像的颜或配准图像的颜进行转换。现在将描述处理器500的功能。
[0083]
图像配准单元5对分别从第一图像传感器100和第二图像传感器200输出的第一图像im1和第二图像im2进行配准。
[0084]
图像配准单元510可以通过使用关于第一图像传感器100和第二图像传感器200的相对位置的信息来对第一图像im1和第二图像im2进行配准。图像配准单元510可以通过考虑使用第一图像传感器100和第二图像传感器200获得的图像的空间分辨率、用于捕捉图像的光学系统的视野和焦距等来到图像像素之间的位置关系。在这种情况下，使用一个传感器(例如，第一或第二图像传感器)获取的图像可以被设置为参考图像，并且使用另一传感器获取的另一图像可以叠加在该参考图像上。例如，使用第一图像传感器100获得的第一图像im1可以被设置为参考图像，并且可以从使用第二图像传感器200获得的第二图像im2的像素中到与第一图像im1的像素相对应的像素。为此，可以对第二图像im2的像素执行缩放、平移、旋转、仿射变换、透视变换等。
[0085]
此外，第二图像im2的一个或多个像素可以对应于第一图像im1的像素，并且可以通过根据第二图像im2的像素的位置以一定比例混合第一图像im1的像素来获得第二图像im2的与第一图像im1的像素相对应的像素值。第二图像im2的基于通道的图像可以用于图像配准。可以基于子像素执行图像配准，以提高图像配准的准确性。在基于子像素的图像配准中，每个像素的位置可以使用实数而不是整数来表示。
[0086]
图像配准单元510还可以通过控制第一图像传感器100和第二图像传感器200聚焦在对象的相同位置上来提高图像配准的效率。此外，当第一图像传感器100和第二图像传感器200具有相同的视野时，可以快速地并且准确地执行图像配准。例如，当用于在第一图像
传感器100和第二图像传感器200上形成光学图像的成像光学系统具有相同的焦距和相同的视野时，第一图像im1和第二图像im2之间可能仅发生平移，并且可以使用第一图像传感器100和第二图像传感器200的相对位置以及成像光学系统的焦距来计算相关参数。
[0087]
当第二图像im2的空间分辨率大于第一图像im1的空间分辨率时，可以通过对第二图像im2进行下采样来执行图像配准。在这种情况下，可以使用考虑边缘信息的滤光(例如双边滤光或引导滤光)来进行下采样，从而提高图像配准的准确性。
[0088]
当第二图像im2的空间分辨率小于第一图像im1的空间分辨率时，可以通过插值针对每个通道生成与第一图像im1的每个像素的位置相对应的第二图像样本。类似地，可以使用双边滤光、引导滤光等来执行插值以考虑边缘信息。
[0089]
备选地，可以在将第二图像im2的空间分辨率调整为等于第一图像im1的空间分辨率之后执行图像配准。可以执行去马赛克以将第一图像im1和第二图像im2的分辨率调整为彼此相等。在这种情况下，当用于在第一图像传感器100和第二图像传感器200上形成光学图像的两个光学系统具有相同的焦距和相同的视野时，可以通过仅考虑平移而不考虑插值来执行图像配准。例如，当第一图像传感器100和第二图像传感器200具有相同的焦点和相同的视野时，在使用第一图像传感器100和第二图像传感器200获得的图像之间可能仅存在平移，并且可以使用包括第一图像传感器100和第二图像传感器200的相对位置在内的相机外部参数以及包括第一图像传感器100和第二图像传感器200的焦距在内的相机内部参数来计算平移参数。
[0090]
在图像配准之前，可以对第一图像im1和第二图像im2的像差进行校正。即，可以在对用于获得第一图像im1和第二图像im2的成像光学系统的透镜所导致的失真、几何像差、差等的影响进行校正之后执行图像配准。
[0091]
图像配准单元510可以从第一图像im1和第二图像im2中提取边缘特征信息，并且可以在第一图像im1与第二图像im2之间执行特征匹配。因为当对象的边界区域中的图像配准不正确时可能发生颜失真，所以可以通过使用所提取的边缘信息对齐两幅图像的边缘来执行图像配准，从而防止两个图像之间的边界区域中的失真。可以通过使用诸如角点的图像特征而不是边缘特征来执行图像配准。
[0092]
此外，图像配准单元510可以基于像素组而不是基于像素来执行图像配准。例如，在将rgb图像的像素分类为组之后，可以通过将msi图像的相应组与rgb图像的像素组进行匹配来执行图像配准。这里，像素组可以布置为使得每个像素组具有给定尺寸和形状的图案。例如，每个像素组可以具有线形或矩形块形状。例如，在将rgb图像划分为矩形区域并到与该矩形区域相对应的msi区域之后，可以使用关于msi区域的信息来执行白平衡，并且可以使用通过白平衡到的信息来转换rgb图像的矩形区域。像素组可以被分类为前景对象区域和背景区域。此外，像素组可以被分类为兴趣区域(下文中称为roi)和非roi。此外，可以通过考虑图像分割或颜分布来对像素组进行分类。
[0093]
照度估计单元520根据从第二图像传感器200获取的第二图像im2来估计照度值。照度估计单元520可以根据使用msi传感器通过使用关于多个通道中的光谱的信息而获得的图像，来估计照度。为此，可以通过光谱分解来表示对象的照度和表面反射率。即，照度e可以由下面的等式2表示，而对象的表面反射率s可以由下面的等式3表示。
[0094]
[等式2]
[0095][0096]
[等式3]
[0097][0098]
照度e和表面反射率s的乘积表示颜，并且由第二图像传感器200感测的值可以由下面的等式4表示。
[0099]
[等式4]
[0100][0101][0102]
其中，m和n指用于对照明光谱和对象谱进行光谱分解的基向量的数量，x指空间位置，∈i指基向量ei的系数，σj指基向量sj的系数，并且k指通道索引。可以通过诸如非线性优化的方法计算线性方程组的解来估计照明光的光谱。
[0103]
此外，可选地，照度估计单元520可以通过使用神经网络来估计照度。关于预定照度值，可以使用msi传感器图像来训练神经网络，并且然后可以使用神经网络来估计照明。在训练神经网络之后，可以将msi传感器图像输入到神经网络，然后神经网络可以输出照度值。
[0104]
照度估计单元520可以将图像划分为像素组，并且可以估计每个像素组的区域中的照度。在这种情况下，像素组可以与图像配准单元510中使用的像素组相同。
[0105]
照度估计单元520可以将照度估计的结果表示为照度-波长函数。备选地，可以预先定义基函数，并且可以将照度-波长函数光谱分解为乘以系数的基函数，并且基函数的系数可以表示照度估计的结果。此外，可以使用照明的温指数来表示照明估计的结果。这里，温的使用是以开尔文(k)数值表示光源的光的方法。温取决于照明类型而不同：温越低，颜越红；以及温越高，颜越蓝。
[0106]
另外，可以预先定义照明波长函数的集合，并输出照明波长函数中最近似函数的索引。即使在使用神经网络时，也可以如上所述定义输出，并且可以在所定义的输出上训练神经网络。
[0107]
此外，照度估计单元520可通过使用第一图像传感器100和第二图像传感器200而获取的第一图像im1和第二图像im2两者来估计照度。在这种情况下，照度估计单元520可以通过分别使用第一图像im1和第二图像im2来估计照度，然后可以对估计的结果进行组合。
[0108]
备选地，当照度估计单元520通过多个通道来估计照度时，照度估计单元520可以考虑第一图像im1和第二图像im2的所有通道。
[0109]
此外，当使用神经网络时，可以通过考虑第一图像im1(即rgb图像)和第二图像im2(即特定照明光下的msi图像)两者来训练神经网络。在这种情况下，可以将rgb图像和msi图像输入到神经网络，然后神经网络可以输出估计的照度值。
[0110]
颜转换单元530通过使用由照度估计单元520估计的照度值对从图像配准单元
510获得的配准图像执行颜转换。
[0111]
颜转换单元530针对图像配准单元510和照度估计单元520中使用的每个像素组执行颜映射。这里，可以输入每个像素的r、g和b值以用于颜映射，然后可以输出通过考虑照明对输入的r、g和b值进行校正而获得的r
′
、g'和b'值。可以使用如下面的等式5所示的3x3矩阵运算来将输入向量i＝[r g b]
t
转换为输出向量i'＝[r’g’b']
t
。
[0112]
[等式5]
[0113]
i’＝mi
[0114]
其中，m可以是为独立考虑r、g和b而准备的对角矩阵(例如，转换矩阵)。备选地，m可以是用于通过组合r、g和b来生成r'、g'和b'的非对角矩阵。备选地，m可以是除了3x3矩阵之外的矩阵，其考虑了r、g和b的交叉项或二次项。在这种情况下，除了r、g和b之外，输入向量i还可以包括交叉项或二次项。可以根据温来预定多个矩阵m。备选地，可以根据预定照明函数的索引来预定矩阵m。备选地，可以通过使用照明函数的非线性优化来准备优化矩阵以获得更准确的结果。
[0115]
在基于区域的颜转换之后，颜转换单元530可以防止在相邻区域之间的边界处出现边界伪影。为此，可以将相邻区域的照明函数之间的差值调整为不大于预定值。此外，在颜转换之后，可以对边界区域进行后处理以实现平滑的颜转换。
[0116]
图3是示出了根据实施例的图像获取装置1000的示意性结构的概念图，并且图4是示出了根据实施例的图像获取装置1000中设置的第一图像传感器100和第二图像传感器200的电路配置的视图。
[0117]
图像获取装置1000包括：第一图像传感器100，被配置为获取基于第一波段的第一图像im1；第二图像传感器200，被配置为获取基于第二波段的第二图像im2；处理器500，被配置为通过对第一图像im1和第二图像im2执行信号处理来生成第三图像im3。图像获取装置1000还可以包括被配置为存储关于第一图像im1的数据的第一存储器300、被配置为存储关于第二图像im2的数据的第二存储器310、以及被配置为输出图像的图像输出单元700。
[0118]
图像获取装置1000还可以包括：第一成像光学系统190，被配置为在第一图像传感器100上形成对象obj的光学图像；以及第二成像光学系统290，被配置为在第二图像传感器200上形成对象obj的光学图像。尽管第一成像光学系统190和第二成像光学系统290中的每一个被示出为包括一个透镜，但这只是非限制性示例。第一成像光学系统190和第二成像光学系统290可以被配置为具有相同的焦距和相同的视野，并且在这种情况下，可以更容易地执行对第一图像im1和第二图像im2进行配准以形成第三图像im3的过程。然而，实施例不限于此。
[0119]
第一图像传感器100包括第一像素阵列pa1。第一像素阵列pa1包括：第一传感器层110，其中布置有多个第一感测元件；以及滤器120，布置在第一传感器层110上。滤器120可以包括交替布置的滤器、绿滤器和蓝滤器。第一微透镜阵列130可以布置在第一像素阵列pa1上。稍后将参考图5至图8描述第一像素阵列pa1的像素布置的各种示例。
[0120]
第二图像传感器200包括第二像素阵列pa2。第二像素阵列pa2包括：第二传感器层210，其中布置有多个第二感测元件；以及光谱滤波器220，布置在第二传感器层210上。光谱滤波器220包括多个滤波器组，并且多个滤波器组中的每一组可以包括具有不同透射波段
的多个单元滤波器。光谱滤波器220可以被配置为过滤比滤器120过滤的光的波段更宽的波段中的光。例如，光谱滤波器220可以被配置为通过将波段划分为比滤器120过滤的光的子波段更多的子波段来过滤范围从紫外波段到红外波段的波段中的光。第一微透镜阵列230可以布置在第二像素阵列pa2上。稍后将参考图10至图12描述第二像素阵列pa2的像素布置的示例。
[0121]
第一传感器层110和第二传感器层210中的每一个可以包括但不限于电荷耦合器件(ccd)传感器或cmos传感器。
[0122]
第一像素阵列pa1和第二像素阵列pa2可以水平布置在相同电路板su上，例如在x方向上彼此分开，如图3所示。
[0123]
电路板su可以包括：用于处理来自第一传感器层110的信号的第一电路元件；以及用于处理来自第二传感器层210的信号的第二电路元件。然而，实施例不限于此，第一电路元件和第二电路元件可以分别设置在不同的基板上。
[0124]
尽管存储关于第一图像im1的数据的第一存储器300和存储关于第二图像im2的数据的第二存储器310被示出为与电路板su分开，但这仅是示例，并且第一存储器300和第二存储器310可以布置在与电路板su的第一电路元件和第二电路元件相同的层中，或者可以布置在与布置有第一电路元件和第二电路元件的层不同的层中。第一存储器300和第二存储器310中的每一个可以是被配置为逐行存储图像的行存储器，或者是被配置为存储整个图像的帧缓冲器。第一存储器300和第二存储器310中的每一个可以包括静态随机存取存储器(sram)或动态随机存取存储器(dram)。
[0125]
图像获取装置1000所需的各种电路元件可以集成到电路板su中。例如，电路板su可以包括：逻辑层，包括各种模拟电路和数字电路；以及存储器层，其中存储有数据。逻辑层和存储器层可以设置为不同的层或相同的层。
[0126]
参考图4，行解码器102、输出电路103和时序控制器(tc)101连接到第一像素阵列pa1。行解码器102响应于从tc101输出的行地址信号而选择第一像素阵列pa1的一行。输出电路103以列为单位输出来自沿所选行布置的多个像素的光电感测信号。为此，输出电路103可以包括列解码器和模数转换器(adc)。例如，输出电路103可以包括：针对在列解码器和第一像素阵列pa1之间的列分别布置的多个adc，或者可以包括在列解码器的输出端布置的一个adc。tc 101、行解码器102和输出电路103可以实现为一个芯片或单独的芯片。所示电路元件中的至少一些可以设置在图3中所示的电路板su上。用于处理通过输出电路103输出的第一图像im1的处理器可以与tc101、行解码器102和输出电路103一起实现为单个芯片。
[0127]
行解码器202、输出电路203和tc 201还连接到第二像素阵列pa2，并且可以如上所述地处理来自第二像素阵列pa2的信号。此外，用于处理从输出电路203输出的第二图像im2的处理器可以与tc201、行解码器202和输出电路203一起实现为单芯片。
[0128]
尽管第一像素阵列pa1和第二像素阵列pa2在图4中被示为具有相同的尺寸和相同的像素数量，但这仅是为了便于说明的非限制性示例。
[0129]
在操作两个不同类型的传感器时，根据传感器的不同的分辨率和输出速度、以及图像配准所需要的区域的尺寸，可能需要时序控制。例如，当基于第一图像传感器100读取一个图像列时，第二图像传感器200中与该区域相对应的图像列可能已被存储在缓冲器中
或者可能需要读取新的。备选地，第一图像传感器100和第二图像传感器200的操作可以使用同一同步信号进行同步。例如，tc 400还可以被设置为向第一图像传感器100和第二图像传感器200发送同步信号sync。
[0130]
图5是示出了利用在根据实施例的图像获取装置1000中设置的第一图像传感器100而获得的波长光谱的曲线图，并且图6至图8是示出了在根据实施例的图像获取装置1000中设置的第一图像传感器100的像素布置的示例的视图。
[0131]
参考图6，在设置在第一像素阵列pa1中的滤器120中，用于在红(r)、绿(g)和蓝(b)波段中进行过滤的滤波器以拜尔图案布置。即，一个单元像素包括布置在2
×
2阵列中的子像素，并且多个单元像素二维地重复布置。红滤器和绿滤器被布置在单元像素的第一行中，并且绿滤器和蓝滤器被布置在第二行中。像素可以以不同于拜耳图案的其他图案布置。
[0132]
例如，参考图7，也可以实现cygm布置，其中洋红像素(m)、青像素(c)、黄像素(y)和绿像素(g)构成一个单元像素。此外，参考图8，也可以实现rgbw布置，其中绿像素(g)、红像素(r)、蓝像素(b)和白像素(w)构成一个单元像素。此外，尽管图6至图8中未示出，但单元像素可以具有3
×
2阵列图案。此外，第一像素阵列pa1的像素可以根据第一图像传感器100的颜特性以各种图案布置。
[0133]
图9是示出了使用在根据实施例的图像获取装置1000中设置的第二图像传感器200而获得的波长光谱的曲线图，并且图10至图12是示出了在根据实施例的图像获取装置1000中设置的第二图像传感器200的像素布置的示例的视图。
[0134]
参考图10，设置在第二像素阵列pa2中的光谱滤波器220可以包括以二维形式布置的多个滤波器组221。滤波器组221中每个组可以包括16个单元滤波器，即，以4
×
4阵列布置的第一单元滤波器f1至第十六单元滤波器f16。
[0135]
第一单元滤波器f1和第二单元滤波器f2可以具有紫外线区域中的中心波长uv1和uv2，并且第三单元滤波器f3至第五单元滤波器f5可以具有蓝光区域的中心波长b1至b3。第六单元滤波器f6至第十一单元滤波器f11可以具有绿光区域的中心波长g1至g6，并且第十二单元滤波器f12至第十四单元滤波器f14可以具有红光区域的中心波长r1至r3。此外，第十五单元滤波器f15和第十六单元滤波器f16可以具有近红外区域中的中心波长nir1和nir2。
[0136]
图11是示出了在根据实施例的光谱滤波器220中设置的滤波器组222之一的平面图。参考图11，滤波器组222可以包括九个单元滤波器，即，以3
×
3阵列布置的第一单元滤波器f1至第九单元滤波器f9。第一单元滤波器f1和第二单元滤波器f2可以具有紫外线区域中的中心波长uv1和uv2，并且第四单元滤波器f4、第五单元滤波器f5和第七单元滤波器f7可以具有蓝光区域中的中心波长b1至b3。第三单元滤波器f3和第六单元滤波器f6可以具有绿光区域中的中心波长g1和g2，并且第八单元滤波器f8和第九单元滤波器f9可以具有红光区域中的中心波长r1和r2。
[0137]
图12是示出了在根据实施例的光谱滤波器220中设置的滤波器组223之一的平面图。参考图12，滤波器组223可以包括25个单元滤波器，即，以5
×
5阵列布置的第一单元滤波器f1至第二十五单元滤波器f25。第一单元滤波器f1至第三单元滤波器f3可以具有紫外线区域中的中心波长uv1至uv3，并且第六单元滤波器f6、第七单元滤波器f7、第八单元滤波器
f8、第十一单元滤波器f11和第十二单元滤波器f12可以具有蓝光区域中的中心波长b1至b5。第四单元滤波器f4、第五单元滤波器f5、第九单元滤波器f9、第十六单元滤波器f16、第十七单元滤波器f17、第二十一单元滤波器f21和第二十二单元滤波器f22可以具有绿光区域中的中心波长g1至g3，并且第十单元滤波器f10、第十三单元滤波器f13、第十四单元滤波器f14、第十五单元滤波器f15、第十八单元滤波器f18和第十九单元滤波器f19可以具有红光区域中的中心波长r1至r6。此外，第二十单元滤波器f20、二十三单元滤波器f23、二十四单元滤波器f24和二十五单元滤波器f25可以具有近红外区域中的中心波长nir1至nir4。
[0138]
设置在光谱滤波器220中的上述单元滤波器可以具有谐振结构，该谐振结构具有两个反射板，并且可以根据该谐振结构的特性来确定光谱滤波器220的透射波段。可以根据反射板的材料、谐振结构的腔体中的电介质材料、以及该腔体的厚度来调整透射波段。此外，可以将诸如使用光栅的结构或使用分布式布拉格反射器(dbr)的结构之类的其他结构应用于单元滤波器。
[0139]
此外，可以根据第二图像传感器200的颜特性以各种方式布置第二像素阵列pa2的像素。
[0140]
图13是示意性地示出了根据实施例的控制图像获取装置的方法的流程图。
[0141]
参考图13，在操作s1300中，获取第一图像和第二图像。这里，第一图像是使用通用的rgb或cmos图像传感器获得的rgb图像。使用msi传感器来获得第二图像。第二图像可以具有比第一图像的波段更宽的波段。此外，第二图像具有比第一图像的三个通道(即r、g和b通道)更多的通道。
[0142]
在操作s1302中，将第一图像划分为区域。这里，第一图像可以被划分为具有预设大小和形状的像素组或图案。图案可以是线或正方形。另外，像素组可以被分类为前景和背景，或者可以被分类为roi和非roi。
[0143]
在操作s1304，可以将第二图像划分为分别与第一图像的区域相对应的区域。此外，可以通过第一图像和第二图像的配准将第一图像与第二图像彼此重叠。此外，在操作s1302和s1304中，可以以第一图像和第二图像被划分为的区域为单位来执行用于将第一图像与第二图像彼此叠加的配准。尽管在操作s1302和s1304中已经描述了以像素组为单位执行图像配准，但是实施例不限于此，并且可以以像素或子像素为单位执行图像配准。
[0144]
在操作s1306中，针对第二图像的每个区域估计照度值。可以使用多通道光谱信息来估计照度值，该多通道光谱信息被包括在使用msi传感器获取的第二图像中。这里，针对第二图像被划分为的每个区域来估计照度值。
[0145]
在操作s1308中，使用分别针对第一图像的区域估计的照度值来执行颜转换。这里，第一图像可以是在操作s1300中使用rgb图像传感器或cmos图像传感器获得的rgb图像，或者可以是通过在操作s1302和s1304中对第一图像和第二图像进行配准而获得的配准图像。
[0146]
在根据实施例的控制图像获取装置的方法中，使用rgb相机捕捉的图像使用rgb图像传感器和msi传感器进行白平衡。为了准确的白平衡，可以将照明与对象的颜分离以到对象的确切颜，然后可以基于照明信息通过颜映射对该对象的rgb图像进行白平衡。
[0147]
上述图像获取装置1000可以用于各种高性能光学装置或电子装置。电子装置的示
例可以包括智能手机、移动电话、蜂窝电话、个人数字助理(pda)、膝上型计算机、个人计算机(pc)、各种便携式设备、家用电器、安全相机、医疗相机、汽车、物联网(iot)设备、以及移动或非移动计算设备，但不限于此。
[0148]
除了图像获取装置1000之外，电子装置还可以包括用于控制设置在其中的图像传感器的处理器，例如应用处理器(ap)。电子装置可以通过在处理器中驱动操作系统或应用程序来控制多个硬件或软件组件，并且可以执行各种数据处理和操作。处理器还可以包括图形处理单元(gpu)和/或isp。当处理器包括isp时，使用图像传感器获得的图像(或视频)可以使用处理器来存储和/或输出。
[0149]
图14是根据实施例的包括电子装置ed01的示意性结构的框图。参考图14，在网络环境ed00中，电子装置ed01可以通过第一网络ed98(近场无线通信网络等)与另一电子装置ed02通信，或者可以通过第二网络ed99(远场无线通信网络等)与另一电子装置ed04和/或服务器ed08通信。电子装置ed01可以通过服务器ed08与电子装置ed04通信。电子装置ed01可以包括处理器ed20、存储器ed30、输入设备ed50、声音输出设备ed55、显示设备ed60、音频模块ed70、传感器模块ed76、接口ed77、触觉模块ed79、相机模块ed80、电力管理模块ed88、电池ed89、通信模块ed90、用户识别模块ed96和/或天线模块ed97。可以从电子装置ed01中省略组件中的一些(显示设备ed60等)，或者可以将其他组件添加到电子装置ed01。组件中的一些可以在一个集成电路中实现。例如，传感器模块ed76(指纹传感器、虹膜传感器、照度传感器等)可以嵌入显示设备ed76(显示器等)中。此外，当图像传感器具有光谱功能时，一些传感器模块功能(颜感测、照明感测等)可以在图像传感器中实现，而不是在传感器模块ed76中实现。
[0150]
处理器ed20可以执行软件(程序ed40等)以控制电子装置ed01中连接到处理器ed20的一个或多个其他组件(硬件或软件组件等)，并且可以执行各种数据处理或操作。作为数据处理或操作的一部分，处理器ed20可以将从其他组件(传感器模块ed76、通信模块ed90等)接收的指令和/或数据加载到易失性存储器ed32，处理易失性存储器ed32中存储的指令和/或数据，并且可以将结果数据存储在非易失性存储器ed34中。处理器ed20可以包括主处理器ed21(中央处理单元、应用处理器等)和独立于主处理器ed21操作或与主处理器ed21一起操作的辅处理器ed23(gpu、isp、传感器集线器处理器、通信处理器等)。辅处理器ed23可以比主处理器ed21消耗更少的功率并且可以执行专门的功能。
[0151]
辅处理器ed23可以在主处理器ed21处于非活动(例如睡眠)状态时代表主处理器ed21，或在主处理器ed21处于活动(例如应用执行)状态时与主处理器ed21一起，控制与电子装置ed01的组件中的一些组件(例如显示设备ed60、传感器模块ed76、通信模块ed90等)有关的功能和/或状态。辅处理器ed23(isp、通信处理器等)可以实现为其他功能相关组件(相机模块ed80、通信模块ed90等)的一部分。
[0152]
存储器ed30可以存储电子装置ed01的组件(处理器ed20、传感器模块ed76等)所需的各种数据。该数据可以包括例如软件(例如程序ed40等)和与其有关的命令的输入数据和/或输出数据。存储器ed30可以包括易失性存储器ed32和/或非易失性存储器ed34。非易失性存储器ed32可以包括固定到电子装置ed01的内部存储器ed36和可从电子装置ed01中移除的外部存储器ed38。
[0153]
程序ed40可以作为软件存储在存储器ed30中，并且可以包括操作系统ed42、中间
件ed44和/或应用ed46。
[0154]
输入设备ed50可以从电子装置ed01的外部(用户等)接收要被用于电子装置ed01的组件(处理器ed20等)的命令和/或数据。输入设备ed50可以包括麦克风、鼠标、键盘和/或数字笔(手写笔等)。
[0155]
音频输出设备ed55可以向电子装置ed01的外部输出音频信号。音频输出设备ed55可以包括扬声器和/或听筒。扬声器可以用于诸如多媒体播放或录音播放之类的一般目的，并且听筒可以用于接收来电。听筒可以设置为扬声器的一部分或者可以被实现为单独的设备。
[0156]
显示设备ed60可以可视地向电子装置ed01的用户提供信息。显示设备ed60可以包括显示器、全息设备或投影仪、以及用于控制设备的控制电路。显示设备ed60可以包括设置为感测触摸的触摸电路和/或配置为测量由触摸所生成的力的强度的传感器电路(压力传感器等)。
[0157]
音频模块ed70可以将声音转换为电信号，反之亦然。音频模块ed70可以通过输入设备ed50获得声音，或者可以通过声音输出设备ed55和/或直接地或无线地连接到电子装置ed01的另一电子装置(电子装置ed02等)的扬声器和/或耳机输出声音。
[0158]
传感器模块ed76可以检测电子装置ed01的操作状态(功率、温度等)或外部环境状态(用户状态等)，并且可以生成与所检测的状态相对应的电信号和/或数据值。传感器模块ed76可以包括手势传感器、陀螺仪传感器、气压传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜传感器、红外(ir)传感器、生物传感器、温度传感器、湿度传感器和/或照度传感器。
[0159]
接口ed77可以支持可以用于将电子装置ed01与其他电子装置(电子装置ed02)直接或无线连接的一个或多个指定协议。接口ed77可以包括高清多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口和/或音频接口。
[0160]
连接端子ed78可以包括连接器，电子装置ed01可以通过该连接器物理连接到其他电子装置(电子装置ed02等)。连接端子ed78可以包括hdmi连接器、usb连接器、sd卡连接器和/或音频连接器(耳机连接器等)。
[0161]
触觉模块ed79可以将电信号转换为用户可以通过触觉或动觉感知的机械刺激(振动、运动等)或电刺激。触觉模块ed79可以包括马达、压电元件和/或电刺激设备。
[0162]
相机模块ed80可以捕捉静态图像和运动图像。相机模块ed80可以包括上述图像获取装置1000，并且还可以包括透镜组件、isp和/或闪光灯。相机模块ed80中包括的透镜组件可以收集从要成像的对象发出的光。
[0163]
电力管理模块ed88可以管理供应给电子装置ed01的电力。电力管理模块ed88可以实现为电力管理集成电路pmic的一部分。
[0164]
电池ed89可以向电子装置ed01的组件供电。电池ed89可以包括不可再充电主电池、可再充电辅电池和/或燃料电池。
[0165]
通信模块ed90可以支持在电子装置ed01与其他电子装置(电子装置ed02、电子装置ed04或服务器ed08等)之间建立直接(有线)通信信道和/或无线通信信道，并通过所建立的通信信道通信。通信模块ed90可以独立于处理器ed20(应用处理器等)操作，并且可以包括支持直接通信和/或无线通信的一个或多个通信处理器。通信模块ed90可以包括无线通
信模块ed92(蜂窝通信模块、短程无线通信模块、全球导航卫星系统(gnss)等)和/或有线通信模块ed94(局域网(lan)通信模块或电力线通信模块等)。这些通信模块之中的对应通信模块可以通过第一网络ed98(诸如蓝牙、wifi直连或红外数据协会(irda)之类的局域网)或第二网络ed99(诸如蜂窝网络、互联网或计算机网络(lan、wan等)之类的通信网络)与其他电子装置通信。这些各种类型的通信模块可以集成到单个组件(单个芯片等)中，或者可以实现为多个分离的组件(多个芯片)。无线通信模块ed92可以使用用户识别模块ed96中存储的用户信息(国际移动用户识别符(imsi)等)在通信网络(例如第一网络ed98和/或第二网络ed99)中识别和认证电子装置ed01。
[0166]
天线模块ed97可以向外部(其他电子装置等)发送信号和/或电力或者从其接收信号和/或电力。天线可以包括由在基板(pcb等)上形成的导电图案实现的辐射器。天线模块ed97可以包括一个或多个这种天线。当天线模块ed97包括多个天线时，通信模块ed90可以从多个天线中选择适合于在诸如第一网络ed98和/或第二网络ed99之类的通信网络中使用的通信方法的天线。可以通过所选择的天线在通信模块ed90与其他电子装置之间发射或接收信号和/或功率。可以包括除了天线以外的其他组件(rfic等)作为天线模块ed97的一部分。
[0167]
所述组件中的一些组件可以通过外围设备之间的通信方法(总线、通用输入和输出(gpio)、串行外围总线(spi)、移动工业处理器接口(mipi)等)彼此连接并且交换信号(命令、数据等)。
[0168]
可以通过与第二网络ed99连接的服务器ed08在电子装置ed01和诸如电子装置ed04的外部设备之间发送或接收命令或数据。其他电子装置ed02和ed04可以与电子装置ed01相同或不同。电子装置ed01的全部或部分操作可以由其他电子装置ed02、ed04和ed08中的一个或多个执行。例如，当电子装置ed01需要执行特定功能或服务时，电子装置ed01可以请求一个或多个其他电子装置执行一些或所有的功能或服务，而不是直接执行所述功能或服务。已接收到请求的一个或多个其他电子装置可以执行与该请求有关的附加功能或服务，并且可以将执行的结果传送给电子装置ed01。为此，可以使用云计算、分布式计算和/或客户端-服务器计算技术。
[0169]
图15是示意性地示出了图14中所示的电子装置ed01中包括的相机模块ed80的框图。相机模块ed80可以包括上述图像获取装置1000，或者可以具有对其进行修改的结构。参考图15，相机模块ed80可以包括透镜组件cm10、闪光灯cm20、图像传感器cm30、图像稳定器cm40、存储器cm50(缓冲存储器等)和/或ispcm60。
[0170]
图像传感器cm30可以包括设置在上述图像获取装置1000中的第一图像传感器100和第二图像传感器200。第一图像传感器100和第二图像传感器200可以通过将从对象发射或反射并通过镜头组件cm10传输的光转换成电信号来获得与对象相对应的图像。第一图像传感器100可以获得rgb图像，并且第二图像传感器200可以获得紫外线至红外线波长范围中的高光谱图像。
[0171]
除了上述第一图像传感器100和第二图像传感器200之外，图像传感器cm30还可以包括从具有不同性质的图像传感器中选择的一个或多个传感器，例如其他rgb图像传感器、黑白(bw)传感器、红外传感器或紫外传感器。图像传感器cm30中包括的传感器中的每一个可以实现为ccd传感器和/或cmos传感器。
[0172]
透镜组件cm10可以收集从要成像的对象发出的光。相机模块ed80可以包括多个透镜组件cm10，并且在这种情况下，相机模块ed80可以是双相机、360度相机或球面相机。多个透镜组件cm10中的一些可以具有相同的透镜属性(视场、焦距、自动对焦、f数、光学变焦等)或者不同的透镜属性。透镜组件cm10中的每一个可以包括广角透镜或长焦透镜。
[0173]
透镜组件cm10可以被配置和/或聚焦使得图像传感器cm30中包括的两个图像传感器可以在相同位置形成对象的光学图像。
[0174]
闪光灯cm20可以发射用于增强从对象发射或反射的光的光。闪光灯cm20可以包括一个或多个发光二极管(红-绿-蓝(rgb)led、白led、红外led、紫外led等)和/或氙灯。
[0175]
图像稳定器cm40可以响应于相机模块ed80或包括相机模块ed80的电子装置ed01的移动而在特定方向上移动透镜组件cm10中包括的一个或多个透镜或图像传感器cm30，或者可以控制图像传感器cm30的操作特性(读出时序的调整等)，以补偿移动所导致的负面影响。图像稳定器cm40可以通过使用布置在相机模块ed80内部或外部的陀螺传感器(未示出)或加速度传感器(未示出)来检测相机模块ed80或电子装置ed01的移动。图像稳定器cm40可以是光学图像稳定器。
[0176]
在存储器cm50中，通过图像获取装置1000获得的一些或全部数据可以被存储以用于下一图像处理操作。例如，当以高速获得多个图像时，可以将获得的原始数据(拜耳模式数据、高分辨率数据等)存储在存储器cm50中，并且可以仅显示低分辨率图像。然后，可以将所选图像的原始数据(用户选择等)传输到isp cm60。存储器cm50可以集成到电子装置ed01的存储器ed30中，或者可以被配置为可以独立操作的单独存储器。
[0177]
isp cm60可以对通过图像传感器cm30获得的图像或存储在存储器cm50中的图像数据执行一个或多个图像处理。如参考图1至图13所述，使用图像传感器cm30中包括的两个图像传感器而获得的第一图像(例如，rgb图像)和第二图像(例如，msi图像)被处理以形成经白平衡的第三图像。为此，处理器500的组件可以被包括在isp cm60中。
[0178]
此外，一个或多个图像处理可以包括深度图生成、三维建模、全景生成、特征点提取、图像合成和/或图像补偿(降噪、分辨率调整、亮度调整、模糊、锐化、柔化等)。isp cm60可以控制(曝光时间控制、读出时序控制等)相机模块cm80中包括的组件(图像传感器cm30等)。由isp cm60处理的图像可以被再次存储到存储器cm50中用于进一步处理，或者可以被提供给相机模块ed80的外部组件(存储器ed30、显示设备ed60、电子装置ed02、电子装置ed04、服务器ed08等)。isp cm60可以集成到处理器ed20中，或者可以配置为独立于处理器ed20操作的单独处理器。当isp cm60与处理器ed20分开设置时，由isp cm60处理的图像可以在被处理器ed20进一步处理之后显示在显示设备ed60上。
[0179]
电子装置ed01可以包括具有不同属性或功能的多个相机模块ed80。在这种情况下，多个相机模块ed80中的一个可以是广角相机，而多个相机模块ed80中的另一个可以是长焦相机。类似地，多个相机模块ed80中的一个可以是前置相机，而多个相机模块ed80中的另一个可以是后置相机。
[0180]
图16至图25是示出了根据实施例的应用了图像获取装置1000的电子装置的各种示例的视图。
[0181]
根据实施例，图像获取装置1000可以应用于图16所示的移动电话或智能电话
5100m、图17所示的平板电脑或智能平板电脑5200、图18所示的数码相机或摄像机5300、图19所示的膝上型计算机5400，或图20所示的电视或智能电视5500。例如，智能电话5100m或智能平板计算机5200可以包括均具有安装有高分辨率图像传感器的多个高分辨率相机。高分辨率相机可以用于提取图像中的对象的深度信息、调整图像的失焦、或自动识别图像中的对象。
[0182]
此外，图像获取装置1000可以应用于图21所示的智能冰箱5600、图22所示的安全相机5700、图23所示的机器人5800、图24所示的医疗相机5900等。例如，智能冰箱5600可以通过使用图像获取装置1000自动识别智能冰箱5600中包含的食物，并且可以通过智能电话通知用户智能冰箱5600中是否包含特定食物、放入智能冰箱5600或从智能冰箱5600取出的食物的类型等。由于安全相机5700的高灵敏度，安全相机5700可以提供超高分辨率图像并且即使在黑暗环境中也可以识别超高分辨率图像中的物体或人。机器人5800可以被送到人类无法直接访问的灾难或工业现场，并且可以提供高分辨率图像。医疗相机5900可以提供用于诊断或手术的高分辨率图像，并且可以具有动态可调节的视野。
[0183]
此外，图像获取装置1000可以应用于如图25所示的车辆6000。车辆6000可以包括布置在不同位置的多个车载相机6010、6020、6030和6040。车载相机6010、6020、6030和6040中的每一个可以包括根据实施例的图像获取装置。车辆6000可以使用车载相机6010、6020、6030和6040来向驾驶员提供关于车辆6000的内部或周围环境的各种信息，并且可以通过自动识别图像中的对象或人来提供自动驾驶所需的信息。
[0184]
如上所述，根据上述一个或多个实施例，图像获取装置即使在一种或多种照明光下也可以通过使用两种不同类型的图像传感器而不受限制地执行准确的白平衡。
[0185]
图像获取装置可以用于各种电子装置中。
[0186]
应当理解的是，应仅以描述性意义而不是限制性目的来考虑本文中描述的实施例。对每个实施例中的特征或方面的描述通常应被看作可用于其他实施例中的其他类似特征或方面。尽管已参考附图描述了一个或多个实施例，但本领域普通技术人员应当理解，在不脱离所附权利要求所限定的精神和范围的情况下，可以进行形式和细节上的多种改变。

技术特征：

1.一种图像获取装置，包括：第一图像传感器，被配置为获取基于第一波段的第一图像；第二图像传感器，被配置为获取基于10nm至1000nm的第二波段的第二图像；以及处理器，被配置为：对分别从所述第一图像传感器和所述第二图像传感器输出的所述第一图像和所述第二图像执行配准，以获得配准图像；以及使用从所述第二图像估计的照度值对所述配准图像执行颜转换。2.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：将所述第一图像划分为一个或多个第一区域，并将所述第二图像划分为分别与所述一个或多个第一区域相对应的一个或多个第二区域；估计所述一个或多个第二区域中的每个第二区域的相应照度值；以及使用估计的照度值对所述一个或多个第一区域中的每一个执行颜转换。3.根据权利要求2所述的图像获取装置，其中，所述处理器还被配置为：当针对所述一个或多个第二区域中的相邻第二区域分别估计的照度值之间的差值大于或等于第一阈值时，调整所述相邻第二区域的照度值中的任何一个照度值以将所述差值调整为小于所述第一阈值。4.根据权利要求3所述的图像获取装置，其中，所述处理器还被配置为：在执行所述颜转换之后，对所述相邻第二区域之间的边界部分执行后处理。5.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为基于所述第一图像传感器和所述第二图像传感器中的每个图像传感器的分辨率、视野和焦距中的至少一种来计算用于对所述第一图像和所述第二图像进行配准的参数。6.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为通过使用从所述第二图像传感器输出的多个通道而获得的光谱信息来估计所述照度值。7.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为通过使用针对与预定照度值相关联的多个第二图像而训练的神经网络来估计所述照度值。8.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为通过分别从所述第一图像中提取第一特征以及从所述第二图像中提取第二特征，并且将提取的第一特征与提取的第二特征进行匹配，来对所述第一图像和所述第二图像进行配准。9.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为以所述第一图像和所述第二图像的像素组、像素或子像素为单位对所述第一图像和所述第二图像进行配准。10.根据权利要求1所述的图像获取装置，其中，所述第一图像传感器包括第一像素阵列，所述第一像素阵列包括：第一传感器层，其中布置有多个第一感测元件；以及
滤器，在所述第一传感器层上并且包括交替布置的红滤器、绿滤器和蓝滤器，其中，所述第二图像传感器包括第二像素阵列，所述第二像素阵列包括：第二传感器层，其中布置有多个第二感测元件；以及光谱滤波器，在所述第二传感器层上并且其中重复布置有滤波器组，所述滤波器组包括多个单元滤波器，每个单元滤波器具有与所述滤波器组的每一个其他单元滤波器不同的透射波段。11.根据权利要求10所述的图像获取装置，其中，所述滤波器组的多个单元滤波器的组合透射波段包括可见光波段并且比所述可见光波段宽，以及其中，所述多个单元滤波器包括以4
×
4阵列布置的16个单元滤波器。12.根据权利要求10所述的图像获取装置，其中，所述第一像素阵列与所述第二像素阵列在电路板上彼此水平分开。13.根据权利要求12所述的图像获取装置，其中，被配置为处理来自所述第一传感器层的信号的第一电路元件以及被配置为处理来自所述第二传感器层的信号的第二电路元件设置在所述电路板上。14.根据权利要求13所述的图像获取装置，还包括时序控制器，所述时序控制器被配置为使所述第一电路元件的操作与所述第二电路元件的操作同步。15.根据权利要求12所述的图像获取装置，还包括：第一存储器，存储关于所述第一图像的数据；以及第二存储器，存储关于所述第二图像的数据。16.根据权利要求15所述的图像获取装置，其中，所述第一存储器和所述第二存储器设置在所述电路板的内部。17.根据权利要求1所述的图像获取装置，还包括：第一成像光学系统，被配置为在所述第一图像传感器上形成对象的第一光学图像，所述第一成像光学系统包括至少一个第一透镜；以及第二成像光学系统，被配置为在所述第二图像传感器上形成所述对象的第二光学图像，所述第二成像光学系统包括至少一个第二透镜。18.根据权利要求17所述的图像获取装置，其中，所述第一成像光学系统和所述第二成像光学系统具有相同的焦距和相同的视野。19.一种电子装置，包括根据权利要求1所述的图像获取装置。20.一种控制包括多个图像传感器的图像获取装置的方法，所述方法包括：分别从第一图像传感器和第二图像传感器获取第一图像和第二图像；对所获取的第一图像和第二图像进行配准以获得配准图像；以及使用从所述第二图像估计的照度值对所述配准图像执行颜转换。21.一种图像获取装置，包括：第一图像传感器，包括第一滤波器；第二图像传感器，包括与所述第一滤波器不同的第二滤波器；以及
处理器，被配置为：从所述第一图像传感器接收对象的第一图像以及从所述第二图像传感器接收所述对象的第二图像；以及基于接收到的第一图像和接收到的第二图像，通过消除由所述对象反射的照明的影响，生成所述对象的经白平衡的第一图像。22.根据权利要求21所述的图像获取装置，其中，所述第一图像传感器包括多个第一像素，其中，所述第一滤波器包括重复布置的多个第一滤波器组，每个第一滤波器组包括多个第一单元滤波器，每个第一单元滤波器对应于相应的第一像素，其中，所述第二图像传感器包括多个第二像素，其中，所述第二滤波器包括重复布置的多个第二滤波器组，每个第二滤波器组包括多个第二单元滤波器，每个第二单元滤波器对应于相应的第二像素，其中，所述第一滤波器的每个第一滤波器组与所述第二滤波器的相应第二滤波器组相对应，以及其中，每个第一单元滤波器的波段比每个第二单元滤波器的波段大。23.根据权利要求22所述的图像获取装置，其中，所述第一滤波器组的组合波段比所述第二滤波器组的组合波段小。24.根据权利要求21所述的图像获取装置，其中，所述处理器还被配置为：基于所述第二图像生成转换矩阵，以用于消除由所述对象反射的照明的影响；以及基于所述转换矩阵和所述第一图像生成所述经白平衡的第一图像。25.根据权利要求23所述的图像获取装置，其中，所述处理器还被配置为：将所述第一图像划分为与所述多个第一滤波器组相对应的部分，以及将所述第二图像划分为与所述多个第二滤波器组相对应的部分；针对所述第二图像的每个部分生成相应的转换矩阵；以及基于各个转换矩阵以及所述第一图像的各个部分生成所述经白平衡的第一图像的部分。

技术总结

一种图像获取装置，包括：第一图像传感器，被配置为获取基于第一波段的第一图像；第二图像传感器，被配置为获取基于10nm至1000nm的第二波段的第二图像；以及处理器，被配置为对分别从第一图像传感器和第二图像传感器输出的第一图像和第二图像进行配准，以获得基于第一图像和第二图像的配准图像，并通过使用从第二图像估计的照度值对该配准图像执行颜转换。图像估计的照度值对该配准图像执行颜转换。图像估计的照度值对该配准图像执行颜转换。