图像传感器、包括其的图像处理系统和图像处理方法与流程

阅读：评论：0

图像传感器、包括其的图像处理系统和图像处理方法
1.相关申请的交叉引用
2.本技术根据35u.s.c.119要求于2021年9月7日向韩国知识产权局提交的第10-2021-0118959号韩国专利申请的优先权，其公开内容通过引用整体结合于此。
技术领域
3.本发明构思的实施例涉及图像处理，并且更具体地，涉及对输入图像执行预处理以扩展输出图像的动态范围的图像传感器，以及包括该图像传感器的图像处理系统。

背景技术：

4.诸如例如相机的图像处理系统可以包括将通过光学透镜入射的对象的光信号转换为电信号的图像传感器，以及对生成的图像执行图像处理的处理器。图像传感器可接受的亮度范围比人眼可接受的亮度范围窄。因此，在背光照明场景(诸如明亮的背景和过暗的对象)下捕获到的图像可能与人眼看到的实际图像不同。因此，使用高动态范围(hdr)技术，该技术通过在不同的曝光时间捕获同一对象的图像来生成具有不同曝光时间的多个图像，并通过对多个图像执行图像处理来扩展图像的动态范围。

技术实现要素：

5.本发明构思的实施例提供了一种图像传感器以及包括该图像传感器的图像处理系统，该图像传感器通过基于图像的信息进行包括高动态范围(hdr)处理的预处理来增加图像处理系统的输出图像的动态范围。
6.根据本发明构思的实施例，图像传感器包括：感测单元，被配置为针对同一对象生成具有不同曝光时间的多个图像；预处理器，被配置为通过合并多个图像来生成合并图像；接口电路，被配置为将多个图像中的至少一个和/或合并图像输出到外部处理器；以及控制器，被配置为控制预处理器基于多个图像的信息选择性地生成合并图像。
7.根据本发明构思的实施例，一种图像处理系统包括：图像传感器，被配置为针对同一对象生成具有不同曝光时间的多个图像，并输出该多个图像；第一hdr模块，被配置为基于关于该多个图像的信息来确定是否生成合并图像，以及通过合并该多个图像来生成具有增加的动态范围的合并图像；以及图像处理器，被配置为接收该多个图像中的至少一个和/或该合并图像。
8.根据本发明构思的实施例，一种图像处理方法包括：针对同一对象生成具有不同曝光时间的多个图像；基于该多个图像的信息，确定在执行运动补偿处理之前合并多个图像的第一模式和在执行运动补偿处理之后合并多个图像的第二模式之一；以及通过在第一模式中合并该多个图像来生成具有增加的动态范围的合并图像。
附图说明
9.通过参考附图详细描述本发明的实施例，本发明构思的上述和其他特征将变得更
加清楚，其中：
10.图1是示出根据本发明构思的示例实施例的图像处理系统的框图；
11.图2是示出根据本发明构思的示例实施例的图像传感器的框图；
12.图3是示出根据本发明构思的示例实施例的图像处理系统的示意图；
13.图4a和图4b是示出根据本发明构思的示例实施例的由图像处理系统对两个曝光图像进行高动态范围(hdr)处理操作的示意图；
14.图5a和图5b是示出根据比较示例的图像处理系统的操作的示意图；
15.图6a是示出根据本发明构思的示例实施例的由图像处理系统对三个曝光图像进行hdr处理操作的示意图，图6b是根据比较示例的由图像处理系统对三个曝光图像进行的hdr处理操作；
16.图7a和图7b是示出根据本发明构思的示例实施例的由图像处理系统以混合方式执行hdr处理的方法的示意图；
17.图8是示出根据本发明构思的示例实施例的图像处理方法的示意图；
18.图9是示出根据本发明构思的示例实施例的图像处理方法中用于rgb-w图像的hdr处理方法的示意图；
19.图10是示出根据本发明构思的示例实施例的图像处理方法的流程图；
20.图11a是根据本发明构思的示例实施例的图像传感器的分解透视图，图11b是图像传感器的平面图；
21.图12是根据本发明构思的示例实施例的包括多相机模块的电子设备的框图；
22.图13是根据本发明构思的示例实施例的图12的相机模块的详细示意图；和
23.图14是示出根据本发明构思的示例实施例的图像处理系统的框图。
具体实施方式
24.下文将参考附图更全面地描述本发明构思的实施例。在所有附图中，相同的附图标记可以指代相同的元素。
25.应当理解，术语“第一”、“第二”、“第三”等术语在本文中用于区分一个元素和另一个元素，并且这些元素不受这些术语的限制。因此，一个实施例中的“第一”元素可以被描述为另一个实施例中的“第二”元素。
26.这里，当两个或更多个元素或值被描述为彼此基本相同或大致相等时，应当理解为这些元素或值彼此相同、这些元素或值在测量误差内彼此相等、或者如果在测量意义上不相等，则在值上足够接近，从而在功能上彼此相等，这是本领域普通技术人员可以理解的。例如，考虑到所讨论的测量和与特定量的测量相关联的误差(例如，测量系统的限制)，本文使用的术语“大约”包括所述的值，并意指在如本领域普通技术人员所确定的特定值的可接受的偏差范围内。例如，“大约”可以意指在如本领域普通技术人员所理解的一个或多个标准偏差内。此外，应当理解，虽然参数在本文中可以被描述为具有“大约”某个值，但是根据实施例，该参数可以是如本领域普通技术人员所理解的确切的某个值或在测量误差内近似于某个值。
27.如本文所使用的，术语“和/或”包括关联所列项目中的一个或多个的任何和所有组合。当在元素列表之后时，诸如
“……
中的至少一个”的表述修饰整个元素列表，而不修饰
列表的单个元素。
28.应该理解，每个实施例中对特征或方面的描述应该通常被认为可用于其他实施例中的其他类似特征或方面，除非上下文另有明确指示。
29.如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。
30.图1是示出根据本发明构思的示例实施例的图像处理系统的框图。
31.图像处理系统10可以嵌入在电子设备中或者由电子设备实现。电子设备捕获图像并显示捕获到的图像或者基于捕获到的图像执行操作，并且包括电子装置(诸如，例如数码相机、智能手机、可穿戴设备、物联网(iot)设备、个人计算机(pc)、平板pc、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航设备或无人机)或者可以安装在作为例如车辆、医疗装置、家具、制造设施、安全设备、门、各种测量设备等中的组件提供的电子装置上。
32.参考图1，图像处理系统10可以包括图像传感器100、图像处理器200和控制器190。图像处理系统10还可以包括其他组件，诸如显示器和用户接口。图像传感器100可以包括预处理器110。预处理器110可以包括执行hdr处理的第一高动态范围(hdr)模块，并且图像处理器200可以包括执行hdr处理的第二hdr模块。
33.图像传感器100可以将通过光学透镜ls入射的对象的光信号转换为电信号，并基于该电信号生成图像。图像传感器100可以针对同一对象生成具有不同照度的多个图像。例如，图像传感器100可以通过基于不同的曝光时间捕获同一对象的图像来生成多个曝光图像。可替代地，当在图2的像素阵列120的每个像素中提供多个光电转换元件时，图像传感器100可以通过调整用于图像感测的光电转换元件的数量来生成具有不同照度的多个图像。
34.预处理器110可以通过合并具有不同照度的多个图像中的两个或更多个部分图像来生成合并图像。在实施例中，预处理器110可以通过对部分图像执行线性化处理来生成与部分图像中的每一个部分图像相比都具有增加的动态范围的合并图像。线性化处理指示通过匹配具有不同亮度范围的至少两个图像的亮度并为其中亮度非线性增加(或减少)的预设区域选择更合适的像素值或者对至少两个图像的像素值执行操作来线性增加(或减少)亮度的处理方法。线性化处理可以增加图像的动态范围，并且可以增加图像的每个像素值的比特数。hdr处理可以包括线性化处理。
35.图像传感器100可以将捕获到的图像、经线性化的图像和合并图像中的至少一个作为图像数据idt发送到图像处理器200。在实施例中，图像传感器100可以压缩合并图像，并将包括经压缩图像的图像数据idt发送到图像处理器200。
36.图像处理器200可以对接收到的图像执行图像处理。在这种情况下，图像处理可以包括各种类型的处理，诸如，例如用于图像质量改善的处理(诸如噪声移除、亮度调整和锐度调整)、用于改变图像尺寸和数据格式的图像处理(例如，将拜耳图案(bayer pattern)图像数据转换为yuv格式数据或rgb格式数据)等。
37.hdr模块可以被包括在图像传感器100的预处理器110或其图像处理器200中。hdr模块可以对图像数据(例如，合并图像和至少一个经线性化的图像)执行hdr处理。在实施例中，当hdr模块被包括在图像传感器100中时，图像处理器200解压缩经压缩图像，并且hdr模块可以对解压缩后的合并图像和至少一个图像执行hdr处理。
38.hdr处理可以包括线性化处理和动态范围压缩(drc)处理。drc处理可以包括调
映射(例如，伽马校正)。根据调映射，相对更亮的区域可以被校正为更暗，并且相对更暗的区域可以被校正为更亮。当对合并图像和至少一个图像执行hdr处理时，可以生成具有增加的动态范围和改善的信噪比(snr)的hdr图像。可以以各种方式对hdr图像执行上述图像处理。然而，本发明构思的实施例不限于此。例如，根据实施例，在hdr处理期间，可以执行各种类型的图像处理中的至少一种。
39.根据本发明构思的实施例的图像传感器100可以合并多个曝光图像中的一些曝光图像，并将合并图像和剩余的曝光图像发送到图像处理器200。例如，包括在预处理器110中的hdr模块可以首先对短曝光图像和中等曝光图像执行hdr处理，包括在图像处理器200中的hdr模块可以对长曝光图像执行hdr处理。
40.在实施例中，hdr模块可以执行实时hdr处理。hdr模块可以对以线(line)为单位以交错方式接收到的合并图像和未对其执行线性化处理的至少一个图像执行实时hdr处理。生成的hdr图像可以作为预览图像和视频的一个帧输出。
41.图像处理器200可以由硬件、软件(或固件)或硬件和软件的组合来实现。图像处理器200可以由可以执行图像处理的各种处理器之一(诸如图形处理单元(gpu)、数字信号处理器(dsp)和图像信号处理器(isp))来实现。图像处理器200可以被实现为单个芯片或者可以嵌入在应用处理器中。
42.控制器190可以基于由图像传感器100捕获到的多个图像的成像时间间隔或运动信息来确定预处理器110的hdr模块和图像处理器200的hdr模块中的哪一个处理多个捕获到的图像。
43.如上所述，在根据本发明构思的实施例的图像处理系统10中，预处理器110的hdr模块基于捕获到的图像数据的信息来对多个图像中的一些图像执行hdr处理，并且图像处理器200的hdr模块可以对剩余的图像执行hdr处理(例如线性化处理和drc处理)，因此，可以对图像数据执行有效的hdr处理。此外，当图像传感器100的预处理器110对一些图像执行hdr处理时，图像处理器200可以仅对合并图像而不是多个图像执行图像处理，因此，可以减少图像处理器200进行hdr处理的处理量，并且可以提高图像处理系统10的hdr处理的速度。例如，当图像处理系统10在生成预览图像和视频图像时执行hdr处理(即，实时hdr处理)时，可以提高图像处理系统10的性能。当多个捕获到的图像的成像时间间隔短或其运动小时，可以更有效地利用根据本发明构思的实施例的图像处理方法。
44.图2是示意性示出根据本发明构思的示例实施例的图像传感器的框图。
45.参考图2，图像传感器100可以包括像素阵列120、读出电路130、预处理器110和接口电路140。像素阵列120和读出电路130可以被称为感测单元。图像传感器100还可以包括用于驱动像素阵列120的其他组件，诸如，例如行解码器、时序控制器和斜坡信号生成器。
46.像素阵列120可以通过例如诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)的传输器件来实现，并且可以通过各种类型的传输器件来实现。像素阵列120可以包括将接收到的光信号(光)转换为电信号的多个像素px，并且多个像素可以排列成矩阵。多个像素px中的每一个都可以包括感光元件(也被称为光电转换元件)。例如，感光元件可以包括光电二极管、光电晶体管、光电门或pin型光电二极管。多个像素px可以以线为单位(也被称为以行为单位)被驱动，并且可以以列为单位输出感测信号。多个像素px可以连接到多条列线，并且可以通过多条列线向读出电路130输出电信号。
47.读出电路130可以将从像素阵列120接收到的电信号转换为图像并输出图像。读出电路130可以放大电信号，并且可以对放大的电信号执行模数转换。由读出电路130生成的图像可以包括与像素阵列120的每个像素相对应的像素值。
48.读出电路130可以生成具有不同照度的多个图像img，并且以行为单位输出多个图像img。如上参考图1所述的，多个图像img是基于由像素阵列120基于不同曝光时间获得的信号而生成的多个曝光图像，或者多个图像可以通过调整像素px中包括的光电转换元件的数量来生成。然而，本发明构思的实施例不限于此。例如，在实施例中，可以通过对像素阵列120的各种驱动方法和读出电路130的读取操作来生成具有不同照度的多个图像img。在下文中，为了便于描述，假设多个图像img是多个曝光图像。
49.在实施例中，读出电路130可以以时分方式(或交错方式)将多个图像img同时输出到预处理器110或者将多个图像img顺序输出到预处理器110。在实施例中，预处理器110可以包括存储与多个图像img的一些线相对应的多个像素值的线缓冲器，并且感测单元可以根据时分方法以线为单位将多个图像img输出到预处理器110。
50.如上参考图1所述的，预处理器110可以通过对多个图像img中的一些图像执行预处理(例如线性化处理)来生成单个合并图像。此外，预处理器110可以对多个图像img中的每一个执行调整像素值的信号处理。例如，信号处理可以包括黑电平补偿、透镜阴影补偿、串扰补偿和坏像素校正中的至少一种。
51.预处理器110可以包括第一hdr模块hm1，第一hdr模块hm1可以对多个接收到的图像执行线性化处理，并生成单个合并图像。第一hdr模块hm1可以对具有短成像间隔或小运动的多个捕获到的图像执行hdr处理。
52.预处理器110可以将经预处理的图像或合并图像作为图像数据idt输出到接口电路140。预处理器110还可以包括压缩合并图像以生成经压缩图像的压缩器。
53.接口电路140可以将图像数据idt发送到图像处理器200。由于图像处理器200在图像传感器100的外部，所以相对于图像传感器100，图像处理器200也可以被称为外部处理器。接口电路140可以根据各种接口之一(诸如，例如移动工业处理器接口(mipi)、嵌入式显示端口(edp)接口、通用异步收发器(uart)接口、内部集成电路(i2c)接口和串行外围接口(spi))来与图像处理器200通信。
54.图像处理器200可以包括第二hdr模块hm2，并且可以执行与第一hdr模块hm1相同的操作。第二hdr模块hm2可以对具有长成像间隔或大运动的多个捕获到的图像执行hdr处理。
55.图3是示出根据本发明构思的示例实施例的图像处理系统的示意图。
56.参考图3，图像处理系统300可以包括第一hdr模块310、第二hdr模块320、图像传感器330、陀螺仪传感器332、预去噪模块340、第一图像信号处理模块350、运动补偿模块360、第二图像信号处理模块370、第一缓冲器380和第二缓冲器390。图3的图像传感器330、陀螺仪传感器332、预去噪模块340和第一hdr模块310可以包括在图1的图像传感器100中，并且图3的第一图像信号处理模块350、运动补偿模块360、第二图像信号处理模块370和第二hdr模块320可以包括在图1的图像处理器200中。为了便于解释，省略了对先前参考图1和图2描述的组件和技术方面的进一步描述。
57.第一hdr模块310或第二hdr模块320可以对图像数据(例如，合并图像和未对其执
行线性化处理的至少一个图像)执行hdr处理。第一hdr模块310或第二hdr模块320可以执行实时hdr处理。第一hdr模块310或第二hdr模块320可以对以线为单位以交错方式接收到的合并图像和未对其执行线性化处理的至少一个图像执行实时hdr处理。
58.第一hdr模块310可以首先对短曝光图像和中等曝光图像执行hdr处理，并且第二hdr模块320可以对长曝光图像执行hdr处理。
59.第一hdr模块310可以对具有短成像间隔或小运动的多个捕获到的图像执行hdr处理。第二hdr模块320可以对具有长成像间隔或大运动的多个捕获到的图像执行hdr处理。
60.第一hdr模块310可以对拜耳图案图像执行hdr处理，并且还可以通过硬件共享对多光谱图像(诸如rgb-w图案图像)执行hdr处理。
61.陀螺仪传感器332测量角速度，并且可以测量图像传感器或相机模块的位置或移动。图像处理系统300可以基于由陀螺仪传感器332测量的数据来生成捕获到的图像的运动数据，并且可以对捕获到的图像执行运动补偿。
62.预去噪模块340可以移除由图像传感器330捕获到的图像的噪声。预去噪模块340可以执行参考图1描述的线性化处理。
63.第一图像信号处理模块350或第二图像信号处理模块370可以对接收到的图像执行各种类型的图像处理。在这种情况下，图像处理可以包括各种类型的处理，诸如，例如用于图像质量改善的处理(诸如噪声移除、照度调整和锐度调整)、用于改变图像尺寸和数据格式的图像处理(例如，将拜耳图案图像数据转换为yuv格式数据或rgb格式数据)等。
64.第一缓冲器380或第二缓冲器390可以用于临时存储多个捕获到的图像，并比较和分析之前和之后的图像。
65.除了由预去噪模块340执行的线性化处理之外，运动补偿模块360还可以执行运动估计，以估计每个像素的值从之前和之后的图像的哪个像素偏移，并且可以执行运动补偿，以通过图像的x轴移动、y轴移动、旋转和缩放操作来归一化失真的图像，并补偿从之前和之后的图像估计的运动的不准确性。
66.图4a和图4b是示出根据本发明构思的示例实施例的由图像处理系统对两个曝光图像执行的hdr处理操作的示意图。
67.参考图4a，图像处理系统400包括图像传感器410、第一hdr模块420、第一图像信号处理模块430、运动补偿(mc)模块440、第二图像信号处理模块450和缓冲器460。为了便于解释，省略了对先前参考图1至图3描述的图像处理系统400的组件和技术方面的进一步描述。图4a和图4b示出了第一hdr模块420执行hdr处理，并且省略了与图3的第二hdr模块320相对应的配置。
68.图像处理系统400可以通过使用第一hdr模块420来对具有短成像间隔或小运动的多个捕获到的图像执行hdr处理。例如，当图像处理系统400对两个曝光图像执行hdr处理时，第一hdr模块420可以接收由图像传感器410捕获到的两个曝光图像，并合并这两个曝光图像。图像处理系统400可以将合并图像发送到第一图像信号处理模块430，然后执行包括运动补偿的图像处理。可以基于用于执行hdr处理和合并的第一时段t1来确定用于对经hdr处理的合并图像执行图像处理的第二时段t2。在这种情况下，第一图像信号处理模块430可以仅对合并图像执行包括例如拜耳处理、rgb处理和运动补偿的图像处理，对合并之前的两个曝光图像执行图像处理，并且比执行hdr处理和合并时更快地执行图像处理。
69.缓冲器460可以包括用于临时存储图像数据的帧缓冲器或用于处理交错图像的线缓冲器。
70.参考图4b，图像传感器410可以生成长曝光图像ldt(s410)，并将生成的长曝光图像ldt发送到第一hdr模块420(s412)。此后，图像传感器410可以生成短曝光图像sdt(s414)，并将生成的短曝光图像sdt发送到第一hdr模块420(s416)。
71.当接收到长曝光图像ldt和短曝光图像sdt时，第一hdr模块420可以执行hdr处理和合并，并生成合并图像hdt(s420)。第一hdr模块420可以将生成的合并图像hdt发送到第一图像信号处理模块430。第一图像信号处理模块430可以对接收到的合并图像hdt执行第一图像处理(s430)，并将第一合并图像hdt1发送到运动补偿模块440(s432)。运动补偿模块440可以对第一合并图像hdt1执行运动补偿(s440)，并将第二合并图像hdt2发送到第二图像信号处理模块450(s442)。第二图像信号处理模块450可以执行第二图像处理(s450)并输出第三合并图像hdt3。在这种情况下，第一图像信号处理模块430和运动补偿模块440仅对合并图像hdt执行图像处理，因此，第一图像信号处理模块430和运动补偿模块440可以比对合并之前的长曝光图像ldt和短曝光图像sdt中的每一个执行图像处理时更快地执行图像处理。
72.图5a和图5b是示出根据比较示例的图像处理系统的操作的图。
73.参考图5a，图像处理系统500可以包括图像传感器510、第一图像信号处理模块520、运动补偿模块530、第二hdr模块540、第二图像信号处理模块550和缓冲器570。为了便于解释，省略了对先前参考图1至图3描述的图像处理系统500的组件和技术方面的进一步描述。在图5a和图5b中，第二hdr模块540执行hdr处理，并且省略了与图3的第一hdr模块310相对应的配置。
74.图像处理系统500可以对具有长成像间隔或大运动的多个捕获到的图像执行hdr处理。例如，当对两个曝光图像执行hdr处理时，图像处理系统500可以接收由图像传感器510捕获到的两个曝光图像，将这两个曝光图像发送到第一图像信号处理模块520，并且对这两个曝光图像执行图像处理。图像处理系统500可以向第二hdr模块540发送对其执行了第一图像处理和运动补偿的两个曝光图像，并且第二hdr模块540可以合并这两个曝光图像。
75.参考图5b，图像传感器510可以生成长曝光图像ldt(s510)，并将生成的长曝光图像ldt发送到第一图像信号处理模块520(s512)。第一图像信号处理模块520可以对长曝光图像ldt执行第一图像处理(s514)，并将生成的第一长曝光图像ldt1发送到运动补偿模块530(s516)。运动补偿模块530可以对第一长曝光图像ldt1执行运动补偿(s518)，并将第二长曝光图像ldt2发送到第二hdr模块540(s520)。
76.图像传感器510可以生成短曝光图像sdt(s530)，并将生成的短曝光图像sdt发送到第一图像信号处理模块520(s532)。第一图像信号处理模块520可以对短曝光图像sdt执行第一图像处理(s534)，并将生成的第一短曝光图像sdt1发送到运动补偿模块530(s536)。运动补偿模块530可以对第一短曝光图像sdt1执行运动补偿(s538)，并将第二短曝光图像sdt2发送到第二hdr模块540(s540)。
77.当接收到第二长曝光图像ldt2和第二短曝光图像sdt2时，第二hdr模块540可以对第二长曝光图像ldt2和第二短曝光图像sdt2执行hdr处理和合并(s550)，并将合并图像hdt
发送到第二图像信号处理模块550(s552)。第二图像信号处理模块550可以对合并图像hdt执行第二图像处理(s560)，并输出第三合并图像hdt3(s562)。
78.图6a是示出根据本发明构思的示例实施例的由图像处理系统对三个曝光图像进行hdr处理操作的图，图6b是根据比较示例的图像处理系统对三个曝光图像进行的hdr处理操作。
79.图6a是示出由参考图4a和图4b描述的图像处理系统对三个曝光图像进行hdr处理操作的示意图。
80.参考图6a，图像传感器410可以生成短曝光图像sdt(s610)，并将生成的短曝光图像sdt发送到第一hdr模块420(s612)。图像传感器410可以生成中等曝光图像mdt(s614)，并将生成的中等曝光图像mdt发送到第一hdr模块420(s616)。图像传感器410可以生成长曝光图像ldt(s618)，并将生成的长曝光图像ldt发送到第一hdr模块420(s620)。
81.当接收到短曝光图像sdt、中等曝光图像mdt和长曝光图像ldt时，第一hdr模块420可以对中等曝光图像mdt和长曝光图像ldt执行hdr处理和合并，并生成合并图像hdt(s630)。第一hdr模块420可以将生成的合并图像hdt发送到第一图像信号处理模块430(s632)。第一图像信号处理模块430可以对接收到的合并图像hdt执行第一图像处理(s634)，并将第一合并图像hdt1发送到运动补偿模块440(s636)。运动补偿模块440可以对第一合并图像hdt1执行运动补偿(s638)，并将第二合并图像hdt2发送到第二图像信号处理模块450(s640)。第二图像信号处理模块450可以对第二合并图像hdt2执行第二图像处理(s642)，并输出第三合并图像hdt3(s644)。在这种情况下，第一图像信号处理模块430和运动补偿模块440仅对合并图像hdt执行图像处理，因此，第一图像信号处理模块430和运动补偿模块440可以比对合并之前的长曝光图像ldt、中等曝光图像mdt和短曝光图像mdt中的每一个执行图像处理时更快地执行图像处理。
82.图6b是示出由参考图5a和图5b描述的图像处理系统对三个曝光图像进行hdr处理操作的示意图。
83.图像传感器510可以生成短曝光图像sdt(s650)，并将生成的短曝光图像sdt发送到第一图像信号处理模块520(s652)。第一图像信号处理模块520可以执行第一图像处理(s654)并将生成的第一短曝光图像sdt1发送到运动补偿模块530(s656)。运动补偿模块530可以对第一短曝光图像sdt1执行运动补偿(s658)，并将第二短曝光图像sdt2发送到第二hdr模块540(s660)。
84.图像传感器510可以生成中等曝光图像mdt(s662)，并将生成的中等曝光图像mdt发送到第一图像信号处理模块520(s664)。第一图像信号处理模块520可以对中等曝光图像mdt执行第一图像处理(s666)，并将生成的第一中等曝光图像mdt1发送到运动补偿模块530(s668)。运动补偿模块530可以对第一中等曝光图像mdt1执行运动补偿(s670)，并将第二中等曝光图像mdt2发送到第二hdr模块540(s672)。
85.图像传感器510可以生成长曝光图像ldt(s674)，并将生成的长曝光图像ldt发送到第一图像信号处理模块520(s676)。第一图像信号处理模块520可以对长曝光图像ldt执行第一图像处理(s678)，并将生成的第一长曝光图像ldt1发送到运动补偿模块530(s680)。运动补偿模块530可以对第一长曝光图像ldt1执行运动补偿(s682)，并将第二长曝光图像ldt2发送到第二hdr模块540(s684)。
86.当接收到第二短曝光图像sdt2、第二中等曝光图像mdt2和第二长曝光图像ldt2时，第二hdr模块540可以对第二短曝光图像sdt2、第二中等曝光图像mdt2和第二长曝光图像ldt2执行hdr处理和合并(s686)，并将合并图像hdt发送到第二图像信号处理模块550(s688)。第二图像信号处理模块550可以对合并图像hdt执行第二图像处理(s690)，并输出第三合并图像hdt3(s692)。
87.即使当根据参考图6a描述的方法对三个曝光图像执行hdr处理时，在使用第一hdr模块420的情况下，图像处理也可以比参考图6b描述的方法执行得更快，因此，可以降低图像处理系统的功耗。
88.图7a和图7b是示出根据本发明构思的示例实施例的通过使用图像处理系统以混合方式执行hdr处理的方法的图。
89.当对三个或更多个曝光图像执行hdr处理时，第一hdr处理模块可以首先执行hdr处理和合并，因为短曝光图像和中等曝光图像之间存在相对小的移动差异，捕获到的图像之间的成像时间间隔短，并且长曝光图像预期具有相对长的成像时间间隔。因此，可以执行运动补偿，并且第二hdr处理模块可以执行hdr处理和合并。
90.参考图7a，图像处理系统700可以包括图像传感器710、第一hdr模块720、第一图像信号处理模块730、运动补偿模块740、第二hdr模块750、第二图像信号处理模块760和缓冲器770。
91.参考图7b，图像传感器710可以生成短曝光图像sdt(s700)，并将生成的短曝光图像sdt发送到第一hdr模块720(s702)。图像传感器710可以生成中等曝光图像mdt(s704)，并将生成的中等曝光图像mdt发送到第一hdr模块720(s706)。图像传感器710可以生成长曝光图像ldt(s708)，并将生成的长曝光图像ldt发送到第一hdr模块720(s710)。长曝光图像ldt可以经过第一hdr模块720而无需额外的处理、或者可以被直接传送到第一图像信号处理模块730。
92.第一hdr模块720可以首先仅对短曝光图像sdt和中等曝光图像mdt执行hdr处理和合并，并生成合并图像hdt(s720)。第一hdr模块720可以将生成的合并图像hdt和长曝光图像发送到第一图像信号处理模块730(s722)。第一图像信号处理模块730可以对接收到的合并图像hdt和接收到的长曝光图像ldt执行第一图像处理(s730)，并将包括第一合并图像和第一长曝光图像的第一处理数据hdtp1发送到运动补偿模块740(s732)。
93.运动补偿模块740可以对第一合并图像和第一长曝光图像执行运动补偿，以生成经运动补偿的合并图像和经运动补偿的长曝光图像(s740)，并将包括经运动补偿的合并图像和经运动补偿的长曝光图像的第二处理数据hdtp2发送到第二hdr模块750(s742)。
94.第二hdr模块750可以对经运动补偿的合并图像和经运动补偿的长曝光图像执行hdr处理和合并，并生成第二合并数据hdt2(s750)。第二hdr模块750可以将第二合并数据hdt2发送到第二图像信号处理模块760(s752)。第二图像信号处理模块760可以执行第二图像处理(s760)并输出第三合并图像hdt2p3(762)。
95.在实施例中，图像处理系统700可以在运动补偿之前对短曝光图像和中等曝光图像执行hdr处理，并在运动补偿之后对具有长成像间隔和大运动的长曝光图像执行hdr处理，因此，可以执行有效的hdr处理。
96.图8是示出根据本发明构思的示例实施例的图像处理方法的图。
97.图8示出了根据本发明构思的实施例的图2所示的包括hdr模块的预处理器110的详细操作。参考图8，图像处理系统800可以包括第一预去噪模块810、第二预去噪模块812、第三预去噪模块814、预图像信号处理模块820和hdr模块830。hdr模块830可以包括权重单元832和合并单元834。
98.第一预去噪模块810可以接收短曝光图像sdt以生成移除了噪声的干净的短曝光图像csdt，第二预去噪模块812可以接收中等曝光图像mdt以生成干净的中等曝光图像cmdt，并且第三预去噪模块814可以接收长曝光图像ldt以生成干净的长曝光图像cldt。例如，接收到的曝光图像可以包括拜耳图案图像。
99.预图像信号处理模块820可以接收短曝光图像sdt、干净的短曝光图像csdt、中等曝光图像mdt、干净的中等曝光图像cmdt、长曝光图像ldt和干净的长曝光图像cldt，并根据曝光水平来执行归一化。预图像信号处理模块820可以基于全局运动矢量信息(gmv)，根据相机模块的运动来执行运动补偿。预图像信号处理模块820还可以包括用于执行归一化的归一化模块和用于执行运动补偿的运动补偿模块。
100.权重单元832可以基于经归一化的短曝光图像nsdt、经归一化的中等曝光图像nmdt和经归一化的长曝光图像nldt的信息来计算每个图像的权重值wt。用于计算权重值wt的信息可以包括图像的运动失配信息、径向运动等级和强度分数。
101.基于由权重单元832计算出的每个图像的权重值wt，合并单元834可以通过合并经归一化的干净的短曝光图像ncsdt、经归一化的干净的中等曝光图像ncmdt和经归一化的干净的长曝光图像ncldt来生成合并图像hdt。
102.即使当接收到的曝光图像是rgb-w图案图像而不是拜耳图案图像时，也可以通过共享硬件来处理图像。例如，可以接收到rgb数据而不是要处理的短曝光图像sdt，并且可以接收到w数据而不是要处理的长曝光图像ldt。参考图9对此进行详细描述。
103.图9是示出根据本发明构思的示例实施例的图像处理方法中用于rgb-w图像的hdr处理方法的示图。
104.图9是示出将参考图8描述的图像处理系统800用于包括rgb-w图案图像的另一种图案图像的过程的图。参考图9，图像处理系统900可以包括第一预去噪模块910、第二预去噪模块912、预图像信号处理模块930和hdr模块940，并且hdr模块940可以包括权重单元942和合并单元944。为了便于解释，省略了对先前参考图8描述的组件和技术方面的进一步描述。
105.图像处理系统900可以还包括去马赛克模块920。
106.当接收到的图像数据是rgb-w图案图像时，去马赛克模块920可以对图像数据执行去马赛克处理，并生成yuv数据yuv_dt。
107.第一预去噪模块910可以接收rgb数据rgb_dt，对rgb数据执行噪声处理，并生成干净的rgb数据crgb_dt。
108.第二预去噪模块912可以接收w数据w_dt，执行噪声处理，并生成干净的w数据cw_dt。
109.权重单元942可以接收经归一化的y数据ny_dt和经归一化的w数据nw_dt，并计算每个图像的权重值wt。
110.合并单元944可以基于经归一化的干净的yuv数据nyuv_dt和经归一化的干净的w
数据ncw_dt来生成合并图像hdt。
111.即使当输入图像不具有拜耳图案时，图像处理系统900也可以通过共享用于hdr处理的硬件来处理图像数据。
112.图10是示出根据本发明构思的示例实施例的图像处理方法的流程图。
113.图像处理系统可以通过图像传感器来生成多个图像(s1010)。图像传感器可以以交错方式或自动包围曝光(auto exposure bracketing)方式来捕获图像。然而，图像传感器不限于此，并且图像传感器可以使用各种方式来捕获图像。图像处理系统可以生成拜耳图案图像和rgb-w图案图像。然而，图像处理系统不限于此，并且可以处理各种图案图像。
114.图像处理系统可以基于接收到的图像信息来确定动态范围处理模式(s1020)。动态范围处理模式可以包括在执行运动补偿处理之前合并多个图像的第一模式，以及在执行运动补偿处理之后合并多个图像的第二模式。当成像时间间隔短或运动小时，图像处理系统可以以第一模式处理多个图像，而当成像时间间隔长或运动大时，图像处理系统可以以第二模式处理多个图像。
115.图像处理系统可以首先以第一模式对多个图像执行hdr处理(s1030)。在第一模式中，在执行hdr处理之前，图像处理系统可以执行简单的噪声处理或运动补偿。
116.在执行hdr处理之后，图像处理系统可以执行运动补偿和剩余的图像处理(s1040)。在这种情况下，图像处理可以包括各种类型的处理，诸如，例如用于图像质量改善的处理(诸如噪声移除、照度调整和锐度调整)、用于改变图像尺寸和数据格式的图像处理(例如，将拜耳图案图像数据转换为yuv格式数据或rgb格式数据)等。
117.图像处理系统可以首先以第二模式执行包括运动补偿的图像处理(s1050)。图像处理系统可以执行运动补偿和图像处理，并且可以对多个图像执行hdr处理和合并(s1060)。
118.图11a是根据本发明构思的示例实施例的图像传感器的分解透视图，图11b是根据本发明构思的示例实施例的图像传感器的平面图。
119.参考图11a和图11b，图像传感器100a可以具有堆叠第一芯片ch1和第二芯片ch2的结构。图2的像素阵列120可以形成在第一芯片ch1中，并且包括例如行驱动器、读出电路130、斜坡信号生成器和时序控制器的逻辑电路可以形成在第二芯片ch2中。
120.如图11b所示，第一芯片ch1可以包括在其中心部分的有源区域aa和在其边缘的外围区域perr，第二芯片ch2可以包括在其中心部分的逻辑区域la和在其边缘的外围区域pei。多个像素px可以以二维阵列结构布置在第一芯片ch1的有源区域aa中。逻辑电路可以设置在第二芯片ch2的逻辑区域la中。
121.在第三方向(z方向)上延伸的通孔tv可以形成在第一芯片ch1的外围区域perr和第二芯片ch2的外围区域pei中。第一芯片ch1可以通过通孔tv电耦合到第二芯片ch2。在第一方向(x方向)或第二方向(y方向)上延伸的线和垂直接触可以进一步形成在第一芯片ch1的外围区域perr中。在第一方向(x方向)和第二方向(y方向)上延伸的多条线也可以形成在第二芯片ch2的布线层中，并且线可以连接到逻辑电路。
122.尽管描述了第一芯片ch1通过通孔tv电耦合到第二芯片ch2的结构，但是本发明构思的实施例不限于此。例如，根据实施例，第一芯片ch1和第二芯片ch2可以具有各种接合结构，诸如cu-cu接合、通孔和cu焊盘的接合、通孔和外部连接端子的接合以及通过集成通孔
的接合。
123.图12是根据本发明构思的示例实施例的包括多相机模块的电子设备的框图。图13是根据本发明构思的示例实施例的图12所示的多相机模块的详细框图。
124.参考图12，电子设备1000可以包括相机模块组1100、应用处理器1200、电力管理集成电路(pmic)1300和外部存储器1400。
125.相机模块组1100可以包括多个相机模块1100a、1100b和1100c。尽管图12示出了包括三个相机模块1100a、1100b和1100c的实施例，但是实施例不限于此。例如，在一些实施例中，相机模块组1100可以被修改为仅包括两个相机模块。此外，在一些实施例中，相机模块组1100可以被修改为包括k(其中k是大于或等于4的自然数)个相机模块。
126.在下文中，参考图13更详细地描述相机模块1100b的详细配置，并且以下描述可以同样适用于根据实施例的其他相机模块1100a和1100c。
127.参考图13，相机模块1100b包括棱镜1105、光路折叠元件(opfe)1110、致动器1130、图像感测设备1140和存储装置1150。
128.棱镜1105可以包括光反射材料的反射表面1107，以改变从相机模块1100b的外部入射的光l的路径。
129.在一些实施例中，棱镜1105可以将沿第一方向x入射的光l的路径改变为垂直于第一方向x的第二方向y。此外，棱镜1105可以围绕中心轴1106在a方向上旋转光反射材料的反射表面1107或者在b方向上旋转中心轴1106，以将第一方向x上的入射光l的路径改变为垂直于第一方向x的第二方向y。在这种情况下，opfe 1110也可以在垂直于第一方向x和第二方向y的第三方向z上移动。
130.在一些实施例中，如图13所示，棱镜1105在a方向上的最大旋转角在+a方向上可以是大约15度或更小，在-a方向上大于大约15度。然而，本发明构思的实施例不限于此。
131.在一些实施例中，棱镜1105可在+b方向或-b方向上旋转大约20度、或大约10度至大约20度、或者大约15度至大约20度，其中旋转角度在+b方向或-b方向上可以彼此大约相等、或者在大约1度的范围内几乎相似。
132.在一些实施例中，棱镜1105可以在平行于中心轴1106的延伸方向的第三方向(例如，z方向)上旋转光反射材料的反射表面1107。
133.opfe 1110可以包括m(其中m是自然数)个光学透镜。m个光学透镜可以在第二方向y上移动，以改变相机模块1100b的光学变焦比。例如，在相机模块1100b的基本光学变焦倍率被称为z的情况下，当包括在opfe 1110中的m个光学透镜移动时，相机模块1100b的光学变焦倍率可以改变为3z、5z或者大于5z的光学变焦倍率。
134.致动器1130可以将opfe 1110或光学透镜移动到预设位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142位于光学透镜的焦距处，以用于准确的感测。
135.图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用经由光学透镜提供的光l来感测感测目标的图像。图像传感器1142可以通过合并hcg图像数据与lcg图像数据来生成具有高操作范围的图像数据。
136.控制逻辑1144可以控制相机模块1100b的所有操作。例如，控制逻辑1144可以根据通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作。
137.存储器1146可以存储用于相机模块1100b的操作的信息，诸如校准数据1147。校准
数据1147可以包括用于相机模块1100b通过使用从相机模块1100b的外部提供的光l来生成图像数据的信息。校准数据1147可以包括例如关于上述旋转度的信息、关于焦距的信息、关于光轴的信息等。当相机模块1100b以其中焦距根据光学透镜的位置而改变的多状态相机的形式实现时，校准数据1147可以包括光学透镜的每个位置(或状态)的焦距值和关于自动聚焦的信息。
138.存储装置1150可以存储由图像传感器1142感测到的图像数据。存储装置1150可以在图像感测设备1140的外部，并且可以以与构成图像感测设备1140的传感器芯片的堆叠形式来实现。在一些实施例中，存储装置1150可以包括电可擦除可编程只读存储器(eeprom)。然而，存储装置1150不限于此。
139.参考图12和图13，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个都可以包括致动器1130。因此，根据包括在其中的致动器1130的操作，多个相机模块1100a、1100b和1100c中的每一个都可以包括相同或不同的校准数据1147。
140.在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)是包括上述棱镜1105和opfe 1110的折叠透镜型相机模块，而其他相机模块(例如，1100a和1100b)可以是不包括棱镜1105和opfe1110的垂直相机模块。然而，本发明构思的实施例不限于此。
141.在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以包括例如通过使用红外(ir)来提取深度信息的垂直深度相机。在这种情况下，应用处理器1200可以通过合并从深度相机提供的图像数据与从另一个相机模块(例如，1100a或1100b)提供的图像数据来生成三维(3d)深度图像。
142.在一些实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场(视角)。在这种情况下，例如，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)的光学透镜可以彼此不同，但不限于此。
143.此外，在一些实施例中，多个相机模块1100a、1100b和1100c可以分别具有不同的视角。在这种情况下，包括在多个相机模块1100a、1100b和1100c的每一个中的光学透镜也可以彼此不同，但是不限于此。
144.在一些实施例中，多个相机模块1100a、1100b和1100c可以在物理上彼此分离。也就是说，在一些实施例中，多个相机模块1100a、1100b和1100c不划分一个图像传感器1142的感测区域，并且独立的图像传感器1142可以包括在多个相机模块1100a、1100b和1100c的每一个中。
145.回头参考图12，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200可以被实现为一个半导体芯片，并且多个相机模块1100a、1100b和1100c可以被实现为另一个半导体芯片。
146.图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。
147.图像处理设备1210可以包括分别与多个相机模块1100a、1100b和1100c相对应的多个子图像处理器1212a、1212b和1212c。
148.由相机模块1100a、1100b和1100c生成的图像数据可以通过彼此分离的图像信号线isla、islb和islc被提供给对应的子图像处理器1212a、1212b和1212c。例如，由相机模块1100a生成的图像数据可以通过图像信号线isla被提供给子图像处理器1212a，由相机模块1100b生成的图像数据可以通过图像信号线islb被提供给子图像处理器1212b，并且由相机模块1100c生成的图像数据可以通过图像信号线islc被提供给子图像处理器1212c。可以通过使用例如基于mipi的相机串行接口(csi)来发送图像数据。然而，本发明构思的实施例不限于此。
149.此外，在一些实施例中，一个子图像处理器可以对应于多个相机模块。例如，在一些实施例中，子图像处理器1212a和子图像处理器1212c不是如图12所示的彼此分离的，而是可以集成到一个子图像处理器中，并且从相机模块1100a提供的图像数据和从相机模块1100c提供的图像数据可以由选择设备(例如，复用器)选择，然后被提供给集成的子图像处理器。
150.被提供给子图像处理器1212a、1212b和1212c中的每一个的图像数据都可以被提供给图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号，通过使用从每个子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。
151.例如，图像生成器1214可以通过根据图像生成信息或模式信号合并由具有不同视角的相机模块1100a、1100b和1100c生成的图像数据的至少一部分来生成输出图像。此外，图像生成器1214可以通过根据图像生成信息或模式信号选择由具有不同视角的相机模块1100a、1100b和1100c生成的图像数据中的任何一个来生成输出图像。
152.在一些实施例中，图像生成信息可以包括变焦信号或变焦因子。此外，在一些实施例中，模式信号可以是例如基于用户选择的模式的信号。
153.当图像生成信息是变焦信号(变焦因子)并且相机模块1100a、1100b和1100c具有不同的视场(视角)时，图像生成器1214可以取决于变焦信号的类型来执行不同的操作。例如，当变焦信号是第一信号时，图像生成器1214可以合并从相机模块1100a输出的图像数据与从相机模块1100c输出的图像数据，然后通过使用合并图像数据和从相机模块1100b输出的没有用于合并的图像数据来生成输出图像。如果变焦信号是不同于第一信号的第二信号，则图像生成器1214可以通过选择从各个相机模块1100a、1100b和1100c输出的图像数据中的任何一个而不执行图像数据合并来输出图像。然而，实施例不限于此，并且处理图像数据的方法可以被修改为以各种方式实现。
154.在一些实施例中，图像生成器1214可以通过从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据并对多条图像数据执行hdr处理，来生成具有增加的动态范围的合并图像数据。
155.多个子图像处理器1212a、1212b和1212c中的每一个都可以包括参考图1至图10描述的hdr模块或第一hdr模块。图像生成器1214可以从多个子图像处理器1212a、1212b和1212c中的至少一个接收经hdr处理的图像数据，并执行另外的图像处理操作。
156.相机模块控制器1216可以向相机模块1100a、1100b和1100c提供控制信号。由相机模块控制器1216生成的控制信号可以通过彼此分离的对应的控制信号线csla、cslb和cslc被分别提供给相机模块1100a、1100b和1100c。
157.多个相机模块1100a、1100b和1100c中的任何一个都可以根据包括变焦信号的图
像生成信息或模式信号被指定为主相机模块(例如，1100b)，而其他相机模块(例如，1100a和1100c)可以被指定为从相机模块。这样的信息可以包括在要通过彼此分离的控制信号线csla、cslb和cslc被提供给对应的相机模块1100a、1100b和1100c的控制信号中。
158.作为主相机模块和从相机模块操作的相机模块可以根据变焦因子或操作模式信号而改变。例如，当相机模块1100a的视角比相机模块1100b的视角宽并且其变焦因子指示低变焦倍率时，相机模块1100b作为主相机模块操作，并且相机模块1100a作为从相机模块操作。相反，当其变焦因子指示高变焦倍率时，相机模块1100a可以作为主相机模块操作，而相机模块1100b可以作为从相机模块操作。
159.在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c的控制信号可以各自包括同步使能信号。例如，当相机模块1100b是主相机模块并且相机模块1100a和1100c是从相机模块时，相机模块控制器1216可以向相机模块1100b发送同步使能信号。接收同步使能信号的相机模块1100b可以基于接收到的同步使能信号生成同步信号，并且通过同步信号线ssl将生成的同步信号发送到相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与同步信号同步，并将图像数据发送到应用处理器1200。
160.在一些实施例中，从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以与感测速度相关地、以第一操作模式和第二操作模式操作。
161.在第一操作模式下，多个相机模块1100a、1100b和1100c可以各自以第一速度生成图像信号(例如，生成第一帧速率的图像信号)，来以比第一速度高的第二速度编码图像信号(例如，编码比第一帧速率高的第二帧速率的图像信号)，并将经编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可以是第一速度的大约30倍或更小。
162.应用处理器1200可以将接收到的图像信号(即，经编码的图像信号)存储在包括在其中的存储器1230中或者设置在应用处理器1200外部的外部存储器1400中，然后从存储器1230或者外部存储器1400中读出经编码的图像信号，解码经编码的图像信号，并且显示基于解码后的图像信号生成的图像数据。例如，图像处理设备1210的多个子图像处理器1212a、1212b和1212c中对应的子图像处理器可以执行解码，并且还可以对解码后的图像信号执行图像处理。
163.在第二操作模式下，多个相机模块1100a、1100b和1100c可以以低于第一速度的第三速度生成图像信号(例如，生成低于第一帧速率的第三帧速率的图像信号)，并将图像信号发送到应用处理器1200。被提供给应用处理器1200的图像信号可以是未经编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理或者将图像信号存储在存储器1230或外部存储器1400中。
164.pmic 1300可以向多个相机模块1100a、1100b和1100c中的每一个提供电力，例如电源电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电源信号线psla向相机模块1100a提供第一电源，通过电源信号线pslb向相机模块1100b提供第二电源，并通过电源信号线pslc向相机模块1100c提供第三电源。
165.响应于来自应用处理器1200的电力控制信号pcon，pmic 1300可以生成与多个相机模块1100a、1100b和1100c中的每一个相对应的电力，并且还调整电力水平。电力控制信号pcon可以包括用于多个相机模块1100a、1100b和1100c的每种操作模式的电力调整信号。
例如，操作模式可以包括低功率模式，并且在这种情况下，电力控制信号pcon可以包括关于在低功率模式下操作的相机模块和设置的电力水平的信息。被提供给多个相机模块1100a、1100b和1100c的电力水平可以彼此相等或不同。此外，电力水平可以动态地改变。
166.图14是示出根据本发明构思的示例实施例的图像处理系统的框图。图14所示的图像处理系统2000可以是例如便携式终端。
167.参考图14，图像处理系统2000可以包括应用处理器2100、图像传感器2200、显示设备2600、工作存储器2300、存储装置2400、用户接口2700和无线发送/接收单元2500。
168.应用处理器2100可以控制图像处理系统2000的所有操作，并且可以被实现为执行例如应用程序、操作系统等的片上系统(soc)。应用处理器2100可以将从图像传感器2200提供的图像数据提供给显示设备2600或者将图像数据存储在存储装置2400中。应用处理器2100可以包括图像处理器2110。图像处理器2110可以对从图像传感器2200接收到的图像数据执行图像处理，诸如，例如图像质量调整和数据格式改变。
169.参考图1至图10描述的图像传感器可以用作图像传感器2200。图像传感器2200可以包括预处理器2210，并且预处理器2210可以包括参考图1至图10描述的hdr模块或第一hdr模块。
170.预处理器2210可以对具有不同照度的多个图像中的一些图像执行预处理，并将通过预处理合并的图像和其他图像发送到图像处理器2110。
171.工作存储器2300可以包括易失性存储器(诸如例如动态随机访问存储器(dram)或静态随机访问存储器(srma))或者非易失性电阻式存储器，诸如例如铁电随机访问存储器(feram)、电阻式随机访问存储器(rram)或相变随机访问存储器(pram)。工作存储器2300可以存储由应用处理器2100执行的程序和处理的数据。
172.存储装置2400可以包括非易失性存储器设备，诸如例如nand闪存或电阻式存储器，并且例如，存储装置2400可以用于存储卡(诸如多媒体卡(mmc)、嵌入式多媒体卡(emmc)、安全数字(sd)卡或微型sd卡)中。存储装置2400可以存储从图像传感器2200提供的图像数据。
173.用户接口2700可以包括能够接收用户输入的各种设备，诸如例如键盘、幕键面板、触摸面板、指纹传感器和麦克风。用户接口2700可以接收用户输入，并且向应用处理器2100提供与接收到的用户输入相对应的信号。
174.无线发送/接收单元2500可以包括收发器2510、调制解调器2520和天线2530。
175.作为本发明构思领域的传统，根据功能块、单元和/或模块，在附图中描述和示出了实施例。本领域技术人员将理解，这些块、单元和/或模块由可以使用基于半导体的制造技术或其他制造技术来形成的电子(或光学)电路(诸如逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等)来物地理实现。在块、单元和/或模块由微处理器等实现的情况下，它们可以使用软件(例如，微代码)编程以执行本文讨论的各种功能，并且可以可选地由固件和/或软件驱动。可替代地，每个块、单元和/或模块可以由专用硬件来实现、或者被实现为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个经编程的微处理器和关联电路)的组合。
176.尽管已经参考本发明的实施例具体示出和描述了本发明构思，但是应当理解，在不脱离由所附权利要求限定的本发明构思的精神和范围的情况下，可以在形式和细节上进
行各种改变。

技术特征：

1.一种图像传感器，包括：感测单元，被配置为针对同一对象生成具有不同曝光时间的多个图像；预处理器，被配置为通过合并所述多个图像来生成合并图像；接口电路，被配置为将所述多个图像中的至少一个和/或所述合并图像输出到外部处理器；以及控制器，被配置为控制预处理器基于所述多个图像的信息来选择性地生成所述合并图像。2.根据权利要求1所述的图像传感器，其中，所述控制器使得预处理器基于所述多个图像的成像技术信息、成像时间间隔信息和运动信息中的至少一个来确定是否生成所述合并图像。3.根据权利要求1所述的图像传感器，其中，所述预处理器包括：噪声处理模块，其在生成所述合并图像之前对所述多个图像执行噪声预处理。4.根据权利要求3所述的图像传感器，其中，所述噪声预处理包括基于陀螺仪传感器数据的运动补偿。5.根据权利要求1所述的图像传感器，其中，所述多个图像包括与第一曝光时间相对应的长曝光图像、与第二曝光时间相对应的中等曝光图像和与第三曝光时间相对应的短曝光图像，其中，第一曝光时间长于第二曝光时间，并且第二曝光时间长于第三曝光时间。6.根据权利要求5所述的图像传感器，其中，所述预处理器基于所述中等曝光图像和所述短曝光图像来生成所述合并图像，并且所述接口电路将所述长曝光图像和所述合并图像输出到外部处理器。7.根据权利要求5所述的图像传感器，其中，所述预处理器包括：第一高动态范围hdr模块，被配置为通过执行hdr处理来增加所述多个图像的动态范围。8.根据权利要求7所述的图像传感器，其中，所述第一hdr模块基于所述长曝光图像、所述中等曝光图像和所述短曝光图像的图像信息来确定权重值，并根据所述权重值来合并所述长曝光图像、所述中等曝光图像和所述短曝光图像。9.根据权利要求1所述的图像传感器，其中，所述多个图像包括拜耳图案图像和rgb-w图案图像，并且所述预处理器还包括处理rgb-w图案图像的rgb-w图案处理模块。10.根据权利要求1所述的图像传感器，其中，所述预处理器还包括：线缓冲器，其存储与所述多个图像的一些线相对应的多个像素值，其中，所述感测单元根据时分方法以线为单位向预处理器输出所述多个图像。11.一种图像处理系统，包括：图像传感器，被配置为针对同一对象生成具有不同曝光时间的多个图像，并输出所述多个图像；第一高动态范围hdr模块，被配置为基于关于所述多个图像的信息来确定是否生成合并图像，并通过合并所述多个图像来生成具有增加的动态范围的合并图像；以及图像处理器，被配置为接收所述多个图像中的至少一个和/或所述合并图像。12.根据权利要求11所述的图像处理系统，其中，所述第一hdr模块基于所述多个图像
的成像技术信息、成像时间间隔信息和运动信息中的至少一个来确定是否生成所述合并图像。13.根据权利要求11所述的图像处理系统，其中，所述多个图像包括与第一曝光时间相对应的长曝光图像、与第二曝光时间相对应的中等曝光图像和与第三曝光时间相对应的短曝光图像，其中，第一曝光时间长于第二曝光时间，并且第二曝光时间长于第三曝光时间。14.根据权利要求13所述的图像处理系统，其中，所述第一hdr模块基于所述中等曝光图像和所述短曝光图像来生成所述合并图像，并且所述图像处理器接收所述长曝光图像和所述合并图像，并通过执行图像处理来扩展动态范围。15.根据权利要求11所述的图像处理系统，其中，所述多个图像包括拜耳图案图像和rgb-w图案图像，并且所述图像处理系统还包括被配置为处理rgb-w图案图像的rgb-w图案处理模块。16.一种图像处理方法，包括：针对同一对象生成具有不同曝光时间的多个图像；基于所述多个图像的信息，确定在执行运动补偿处理之前合并多个图像的第一模式和在执行运动补偿处理之后合并多个图像的第二模式之一；以及通过在第一模式中合并所述多个图像来生成具有增加的动态范围的合并图像。17.根据权利要求16所述的图像处理方法，其中，确定第一模式和第二模式之一是基于所述多个图像的成像技术信息、成像时间间隔信息和运动信息中的至少一个的。18.根据权利要求16所述的图像处理方法，其中，所述多个图像包括与第一曝光时间相对应的长曝光图像、与第二曝光时间相对应的中等曝光图像和与第三曝光时间相对应的短曝光图像，其中，第一曝光时间长于第二曝光时间，并且第二曝光时间长于第三曝光时间。19.根据权利要求18所述的图像处理方法，其中，动态范围处理模式包括用于执行第一模式和第二模式两者的第三模式，所述合并图像是在第一模式中基于所述中等曝光图像和所述短曝光图像而生成的，并且用于扩展动态范围的图像处理是通过在第二模式中接收所述长曝光图像和所述合并图像来执行的。20.根据权利要求16所述的图像处理方法，其中，所述多个图像包括拜耳图案图像和rgb-w图案图像，并且确定第一模式和第二模式之一包括确定所述多个图像的图案信息。

技术总结

一种图像传感器，包括：感测单元，被配置为针对同一对象生成具有不同曝光时间的多个图像；预处理器，被配置为通过合并多个图像来生成合并图像；接口电路，被配置为将多个图像中的至少一个和/或合并图像输出到外部处理器；以及控制器，被配置为控制预处理器基于多个图像的信息来选择性地生成合并图像。像的信息来选择性地生成合并图像。像的信息来选择性地生成合并图像。