环境光抑制的制作方法

阅读：评论：0

1.本公开涉及一种用于执行环境光抑制的系统及其控制方法。

背景技术：

2.在非侵入式测量和监测领域中，特别是在个人护理和健康应用的皮肤感测领域中，在数字创新中的探索性活动中已经有相当多的开发和投资。当前已知的皮肤测量系统保证对皮肤特征进行皮肤量化和监测，这向消费者提供与变化相关的信息，这些变化可能太小而不能检测，太微弱而不能注意，和/或太慢而不能跟随。对于可以被消费者接受的这些系统，感测方法和系统应当是敏感的和特定的。附加地，测量的稳健性对于建立消费者信任是必要的。与这种基于成像的系统相关联的一个关键问题是，当放置在不受控制的环境中(例如，在家中)时，环境照明不明确并且可能变化。
3.调制成像技术(诸如空间频率域成像(sfdi))是主要使用特定光图案、相移正弦图案的投影来生成可用于例如分析皮肤特性的图像的技术。具有相同正弦图案但相移的三个空间调制图像足以重建解调的ac图像，其中光的所有dc分量被排除，因此移除环境光。解调需要被记录的感兴趣对象i1、i2和i3的三个图像，其具有相同空间频率的正弦图案的投影，但每个具有相位差图像的解调可由以下公式(1)和(2)表示：
[0004][0005]mdc
＝(i1+i2+i3)/3
ꢀꢀ
(2)
[0006]
其中m
ac
是图像的ac分量(其可以被视为对应于调制照明)，并且m
dc
是图像的dc分量(其可以被视为对应于环境照明)。
[0007]
作为示例，图1通过多个图像示出了环境光校正操作。具体地，图1包括初始图像110、多个调制图像120a、120b和120c，以及解调图像130和140，其示出了如何基于多个调制图像来校正环境光。在本公开的上下文中，术语“调制图像”可以指描绘被投影到场景的一部分上的调制图案的图像，并且术语“解调图像”可以指相对于所描绘的调制图案经历解调的图像。
[0008]
在初始图像110中，场景仅由环境光照亮，并且可以看到脸部被不均匀地照亮。第一调制图像120a、第二调制图像120b和第三调制图像120c中的每一个调制图像与不同的相移相关联。在该示例中，第一调制图像120a与0
°
相移相关联，第二调制图像120b与120
°
相移相关联，并且第三调制图像120c与240
°
相移相关联。可以通过根据上述公式(1)和(2)对调制图像120a、120b和120c执行解调来校正初始图像110中出现的不均匀照明，以便产生ac分量130和dc分量。具体地，对在三个调制图像120a、120b和120c中捕获的三个正弦图案进行解调以获得解调图像130和140，其分别对应于ac分量130(表示解调信号的交替部分)和dc分量140(表示解调信号的恒定部分)。在这种情况下，当用投影的调制照明和环境照明两者照亮场景时，ac分量130对应于调制照明，而当用调制照明和环境照明两者照亮场景时，图像的dc分量140对应于环境照明。因此，ac分量130可被视为表示初始图像110中描绘的场景
的“环境光校正的/抑制的”版本。
[0009]
注意，美国专利申请us 2019/0101383 a1公开了一种用于使用结构光来克服环境光效应而确定对象的技术。根据us 2019/0101383 a1的技术利用各种空间频率的结构光。
[0010]
还注意到bodenschatz等人在他们的论文“diffuse optical microscopy for quantification of depth-dependent epithelial backscattering in the cervix”(journal of biomedical optics(卷21，号6，2016年6月1日))中讨论了使用不同空间频率的结构光以在不同组织深度处进行观察。

技术实现要素：

[0011]
在一些智能镜系统中，可以提供用于记录面部或用户身体的其他部分的图像和/或视频以用于皮肤分析的成像单元(例如，相机)。与这些系统相关联的关注点之一是潜在的或感知的隐私侵扰。在当前已知的系统中，成像单元不区分用户和背景中的其它元素，并且即使仅记录用户的面部，识别用户仍然相对容易。例如，在当前可用的系统中，使用模糊来隐藏不感兴趣的图像区域。
[0012]
根据第一特定方面，提供了一种用于执行环境光抑制的系统，系统包括：图像投影单元，其被配置为将照明图案投影到场景的至少一部分上，其中照明图案是具有预定空间频率的时变空间调制图案；成像单元，其被配置为在具有预定空间频率的时变空间调制照明图案被投影到场景上时捕获场景的多个图像；以及处理单元，其被配置为：基于照明图案并且相对于多个捕获的图像中的目标区段来解调多个图像，其中目标区段对应于以下各项中的一项：在捕获多个图像时，场景的、照明图案被选择性地投影到其上的部分，场景的、投影的照明图案能够分辨的部分，场景的、具有满足预定范围的像素深度值的场景的部分，其中目标区段是成像单元的视场的一部分；以及基于解调的结果生成场景的环境光抑制图像。
[0013]
在一些实施例中，图像投影单元可以被配置为仅将照明图案选择性地投影到成像单元的视场的选定部分上，并且目标区段对应于照明图案被选择性地投影到其上的场景的一部分。在这些实施例中，处理单元可以被配置为相对于目标区段解调多个图像，使得场景的所生成的环境光抑制图像仅描绘被包括在成像单元的视场的选定部分中的一个或多个元素。
[0014]
在一些实施例中，成像单元可以被配置为以预定焦深捕获场景的多个图像，照明图案的预定空间频率和成像单元的预定焦深被选择为使得照明图案仅在距成像单元的焦点的一定距离内能够分辨，并且其中目标区段对应于场景的、所投影的照明图案能够分辨的部分。在这些实施例中，处理单元可以被配置为相对于目标区段解调多个图像，使得场景的所生成的环境光抑制图像仅描绘被包括视场中的、距成像单元的焦点在一定距离范围内的一个或多个元素。
[0015]
在一些实施例中，处理单元可以被配置为分析多个图像以确定场景的3d深度信息。3d深度信息可以包括针对多个图像的每个像素的深度值，并且目标区段可以基于场景的3d深度信息。在这些实施例中，处理单元可以被配置为通过仅输出相对于目标区段的解调结果来生成场景的环境光抑制图像。
[0016]
在一些实施例中，处理单元可以被配置为通过向多个图像应用相位掩模来确定目
标区段。
[0017]
在一些实施例中，照明图案可以包括相移正弦图案，并且成像单元可以被配置为以相对于正弦图案的相位的预定相位差来捕获多个图像。
[0018]
在一些实施例中，照明图案还可以包括预定步长大小的至少一个相位斜坡。
[0019]
在一些实施例中，成像单元可以被配置为在照明图案被投影到场景上时捕获三组图像。在这些实施例中，三组图像中的第一组图像可以对应于正弦图案的0
°
相移，三组图像中的第二组图像可以对应于正弦图案的120
°
相移，三组图像中的第三组图像可以对应于正弦图案的240
°
相移。
[0020]
在一些实施例中，成像单元可以包括彩相机，并且第一组图像，第二组图像和第三组图像中的每组图像可以包括单个图像。
[0021]
在一些实施例中，第一组图像、第二组图像和第三组图像中的每组图像可以包括三个图像。三组图像中的每组图像中的第一图像可以对应于红通道，三组图像中的每组图像中的第二图像可以对应于绿通道，三组图像中的每组图像中的第三图像可以对应于蓝通道。
[0022]
在一些实施例中，处理单元可以被配置为解调多个图像以产生对应于ac分量的第一图像和对应于dc分量的第二图像。在这些实施例中，可以选择第一图像作为场景的环境光抑制图像。
[0023]
根据第二特定方面，提供了一种用于控制系统以执行环境光抑制的方法。系统包括图像投影单元、成像单元和处理单元，并且方法包括：由图像投影单元将照明图案投影到场景的至少一部分上，其中照明图案是时变空间调制图案；在时变空间调制照明图案被投影到场景上时，由成像单元捕获场景的多个图像；以及由处理单元基于照明图案并且相对于多个捕获的图像中的目标区段来解调多个图像，其中该目标区段对应于以下各项中的一项：在捕获多个图像时，场景的、照明图案被选择性地投影到其上的部分，场景的、所投影的照明图案能够分辨的场景的部分，场景的、具有满足预定范围的像素深度值的场景的部分；以及由处理单元基于解调的结果生成场景的环境光抑制图像。
[0024]
在一些实施例中，将照明图案投影到场景的至少一部分上可以包括仅将照明图案选择性地投影到成像单元的视场的选定部分上。在这些实施例中，目标区段可以对应于照明图案被选择地投影到其上的场景的一部分。而且，在这些实施例中，可以相对于目标区段对多个图像执行解调，使得所生成的场景的环境光抑制图像仅描绘被包括在成像单元的视场的选定部分中的一个或多个元素。
[0025]
在一些实施例中，照明图案可以具有预定空间频率，并且可以以预定的焦深来对场景的多个图像执行捕获。在这些实施例中，可以选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距成像单元的焦点的一定距离内能够分辨，并且目标区段可以对应于场景的、所投影的照明图案能够分辨的部分。此外，可以相对于目标区段对多个图像执行解调，使得所生成的场景的环境光抑制图像仅描绘被包括在视场中的、距成像单元的焦点在一定距离范围内的一个或多个元素。
[0026]
根据第三特定方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质具有包含在其中的计算机可读代码，计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使得计算机或处理器执行如本文所述的方法。
[0027]
这些和其他方面将从下文描述的(多个)实施例中变得明显并且参考下文中描述的(多个)实施例来阐明。
附图说明
[0028]
现在将仅以示例的方式参考以下附图来描述示例性实施例，在附图中：
[0029]
图1通过多个图像的方式示出了环境光校正操作的示例；
[0030]
图2示出了根据一个实施例的系统的框图；
[0031]
图3示出了根据一个实施例的用于控制系统以执行环境光抑制的方法；
[0032]
图4示出了根据一个实施例的通过多个图像的环境光抑制操作；
[0033]
图5示出了根据另一实施例的通过多个图像的环境光抑制操作；
[0034]
图6示出了根据另一实施例的通过多个图像的环境光抑制操作；
[0035]
图7示出了根据另一实施例的环境光抑制操作；以及
[0036]
图8示出了与其它成像或处理技术相比，根据一个实施例的环境光抑制操作的结果。
具体实施方式
[0037]
如上所述，提供了一种改进的用于每次形成环境光抑制的系统及其控制方法，这解决了现有的问题。
[0038]
图2示出了根据一个实施例的系统200的框图，其可以用于执行环境光抑制，特别是用于图像中的环境光抑制。如图2所示，系统包括图像投影单元210、成像单元220和处理单元230。
[0039]
图像投影单元210被配置为将照明图案投影到场景的至少一部分上。照明图案是时变空间调制图案，并且可以包括相移正弦图案。附加地，在一些实施例中，照明图案还可以包括预定步长大小的至少一个相位斜坡。在一些实施例中，照明图案可以具有预定空间频率和/或预定的波长。此外，在一些实施例中，图像投影单元210可以被配置为以聚焦在场景的物平面上的方式投影照明图案。
[0040]
在一些实施例中，图像投影单元210可以被配置为仅将照明图案选择性地投影到成像单元的视场的选定部分上。
[0041]
成像单元220被配置为在时变空间调制照明图案被投影到场景上时捕获场景的多个图像。成像单元220可以被配置为在照明图案被投影到场景上时捕获三组图像。在这三组图像中，第一组可以对应于正弦图案的0
°
相移，第二组可以对应于正弦图案的120
°
相移，并且第三组可以对应于正弦图案的240
°
相移。
[0042]
在一些实施例中，成像单元包括彩相机，并且第一组图像、第二组图像和第三组图像中的每组图像包括单个图像。在一些备选实施例中，第一组图像、第二组图像和第三组图像中的每组图像可以包括三个图像。在这些备选实施例中，三组图像中的每组图像中的第一图像可以对应于红通道，三组图像的每组图像中的第二图像可以对应于绿通道，三组图像的每组图像中的第三图像可以对应于蓝通道。
[0043]
在一些实施例中，成像单元220可以被配置为以预定焦深捕获场景的多个图像。在成像单元220被配置为以预定焦深捕获场景的多个图像并且照明图案具有预定空间频率的
一些实施例中，可以选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距成像单元220的焦点的一定距离内能够分辨的。
[0044]
如上所述，在一些实施例中，照明图案可以包括相移正弦图案。在这些实施例中，成像单元220可以被配置为以相对于正弦图案的相位的预定相位差来捕获多个图像。
[0045]
处理单元230被配置为基于照明图案并相对于多个捕获的图像中的目标区段来解调多个图像。目标区段对应于以下各项中的一项：在捕获多个图像时，场景的、照明图案被选择性地投影到其上一部分，场景的、所投影的照明图案能够分辨的部分，场景的、具有满足预定范围的像素深度值的场景的部分。此外，处理单元230还被配置为基于解调结果生成场景的环境光抑制图像。
[0046]
处理单元230可以被配置为解调多个图像以产生对应于ac分量的第一图像和对应于dc分量的第二图像。ac分量可以对应于与多个图像相关联的解调信号的交替部分，并且dc分量可以对应于解调信号的恒定部分。在这些实施例中，可以选择第一图像作为场景的环境光抑制图像。应当理解，例如，可以使用上面参考图1所示的公式(1)和(2)来执行解调。还应当理解，这里没有被明确讨论的其它公式可以用于获得信号的ac和dc分量，例如，与离散余弦变换、傅立叶变换等相关联的那些公式。
[0047]
如上所述，在一些实施例中，图像投影单元230可以被配置为仅将照明图案选择性地投影到成像单元的视场的选定部分上。在这些实施例中，目标区段可以对应于场景的、照明图案被选择地投影到其上的部分。而且，在这些实施例中，处理单元230可以被配置为相对于目标区段解调多个图像，使得所生成的场景的环境光抑制图像仅描绘被包括在成像单元220的视场的选定部分中的一个或多个元素。
[0048]
如上所述，在成像单元220被配置为以预定焦深捕获场景的多个图像并且照明图案具有预定空间频率的一些实施例中，可以选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距成像单元220的焦点的一定距离内能够分辨。附加地，在这些实施例中，目标区段可以对应于场景的、所投影的照明图案能够分辨的部分，并且处理单元230可以被配置为相对于目标区段解调多个图像，使得所生成的场景的环境光抑制图像仅描绘被包括在视场中的、距成像单元220的焦点在一定距离范围内的一个或多个元素。
[0049]
在一些实施例中，处理单元230可以被配置为分析多个图像以确定场景的三维(3d)深度信息。3d深度信息可以包括针对多个图像的每个像素的深度值。附加地，在这些实施例中，目标区段可以基于场景的3d深度信息。处理单元230可以被配置为通过仅输出相对于目标区段的解调结果来生成场景的环境光抑制图像。
[0050]
此外，在这些实施例中，处理单元230可以被配置为通过将相位掩模应用于多个图像来确定目标区段。
[0051]
通常，处理单元230可以控制系统200的操作并且可以实现本文所描述的方法。处理单元230可以包括一个或多个处理器、处理单元、多核处理器或模块，这些处理器、处理单元、多核处理器或模块被配置或编程为以本文描述的方式来控制系统200。在特定实施方式中，处理单元230可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或用于执行在本文描述的方法的单个或多个步骤。
[0052]
尽管未在图2中示出，但是在一些实施例中，系统200还可以包括至少一个用户接口。备选地或附加地，至少一个用户接口可以在系统200外部(即，与系统200分离或远离)。
例如，至少一个用户接口可以是另一设备的一部分。用户接口可以用于向系统200的用户提供由本文所描述的方法产生的信息。备选地或附加地，用户接口可以被配置为接收用户输入。例如，用户接口可允许系统200的用户手动输入指令、数据或信息。在这些实施例中，处理单元230可以被配置为从一个或多个用户接口获取用户输入。
[0053]
用户接口可以是能够向系统200的用户呈现(或输出或显示)信息的任何用户接口。备选地或附加地，用户接口可以是使系统200的用户能够提供用户输入，与系统200交互和/或控制系统200的任何用户接口。例如，用户接口可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或应用(例如，在平板电脑或智能电话上)、显示屏、图形用户接口(gui)或其他视觉呈现部件、一个或多个扬声器、一个或多个麦克风或任何其他音频部件、一个或多个灯、用于提供触觉反馈(例如，振动功能)的部件，或任何其他用户接口，或用户接口的组合。
[0054]
在一些实施例中，系统200可以包括存储器。备选地或附加地，一个或多个存储器可以在系统200外部(即，与系统200分离或远离)。例如，一个或多个存储器可以是另一设备的一部分。存储器可以被配置为存储可由处理单元230执行以执行本文所描述的方法的程序代码。存储器可用于存储由系统200的处理单元230获取或生成的信息、数据、信号和测量。例如，存储器可用于存储多个捕获的图像、多个候选图像和/或环境光抑制图像。处理单元230可以被配置为控制存储器以存储多个捕获的图像、多个候选图像和/或环境光抑制图像。
[0055]
在一些实施例中，系统200可以包括通信接口(或电路)，用于使系统200能够与系统200内部或外部的任何接口、存储器和/或设备通信。通信接口可以无线地或经由有线连接与任何接口、存储器和/或设备通信。例如，通信接口可以无线地或经由有线连接与一个或多个用户接口通信。类似地，通信接口可以无线地或经由有线连接与一个或多个存储器通信。
[0056]
应当理解，图2仅示出了说明系统200的一个方面所需的部件，并且在实际实施方式中，系统200可以包括所示部件的备选或附加部件。
[0057]
图3示出了用于控制系统以执行环境光抑制的方法。所说明的方法通常可由系统200执行，并且具体地，在一些实施例中由系统200的处理单元230执行或在系统200的处理单元230的控制下执行。为了说明的目的，下面将参考图2的系统200的各个部件来描述图3中的至少一些框。
[0058]
参考图3，在框302处，照明图案被投影到场景的至少一部分上。投影可以由系统200的图像投影单元210执行，并且该投影可以以聚焦在场景的物平面上的方式执行。照明图案是时变空间调制图案，相移正弦图案，并且成像单元被配置为以相对于正弦图案的相位的预定相位差来捕获多个图像。在一些实施例中，照明图案可以具有预定空间频率和/或预定的波长。备选地或附加地，照明图案可以包括预定步长大小的至少一个相位斜坡。
[0059]
在一些实施例中，在框302处将照明图案投影到场景的至少一部分上可以包括仅将照明图案选择性地投影到成像单元的视场的选定部分上。
[0060]
回到图3，在框304处，捕获场景的多个图像，同时在框302处将时变空间调制照明图案投影到场景上。因此，至少在一些实施例中，框302和框304中所示的步骤可被视为同时执行。多个图像的捕获可以由系统200的成像单元220执行。
[0061]
如上所述，在一些实施例中，照明图案可以包括相移正弦图案。在这些实施例中，可以以相对于正弦图案的相位的预定相位差来在框304处对多个图像执行捕获。
[0062]
在一些实施例中，在框304处，在将照明图案投影到场景上时捕获三组图像。在这些实施例中，三组图像中的第一组图像可以对应于正弦图案的0
°
相移，三组图像中的第二组图像可以对应于正弦图案的120
°
相移，三组图像中的第三组图像可以对应于正弦图案的240
°
相移。在这些实施例的一些中，第一组图像，第二组图像和第三组图像中的每组图像可以包括单个图像。备选地，第一组图像，第二组图像和第三组图像中的每组图像可以包括三个图像—三组图像中的每组图像中的第一图像可以对应于红通道，三组图像中的每组图像中的第二图像可以对应于绿通道，并且三组图像中的每组图像中的第三图像可以对应于蓝通道。
[0063]
返回图3，在框306处，基于照明模式并相对于多个捕获的图像中的目标区段来解调在框304处捕获的多个图像。在框306处的解调可由系统200的处理单元230执行。目标区段对应于以下各项中的一项：在捕获多个图像时，场景的、照明图案被选择性地投影到其上的部分，场景的、所投影的照明图案能够分辨的部分，场景的、具有满足预定范围的像素深度值的部分。
[0064]
回到图3，在框308处，基于解调的结果生成场景的环境光抑制图像。环境光抑制图像的生成可以由系统200的处理单元230执行。
[0065]
在一些实施例中，在框306处解调多个图像可产生对应于ac分量的第一图像和对应于dc分量的第二图像。ac分量可以对应于与多个图像相关联的解调信号的交替部分，并且dc分量可以对应于解调信号的恒定部分。在这些实施例中，在框308处，可以选择第一图像作为场景的环境光抑制图像。应当理解，例如，可以使用上面参考图1所示的公式(1)和(2)来执行解调。还应当理解，这里没有明确讨论的其它公式可以用于获得信号的ac和dc分量，例如，与离散余弦变换，傅立叶变换等相关联的那些公式。
[0066]
如上面参考框302所述，在一些实施例中，在框302处将照明图案投影到场景的至少一部分上可以包括仅将照明图案选择性地投影到成像单元的视场的选定部分上。在这些实施例中，目标区段可以对应于场景的、照明图案被选择性地投影到其上的部分，并且可以在框306处相对于目标区段对多个图像执行解调，使得在框308处所生成的场景的环境光抑制图像仅描绘被包括在成像单元的视场的选定部分中的一个或多个元素。
[0067]
如上所述，在一些实施例中，照明图案可以具有预定空间频率。在这些实施例中，在框304处捕获场景的多个图像可以以预定的焦深来执行。在这些实施例中，可以选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距系统200的成像单元220的焦点的一定距离内能够分辨。附加地，目标区段可以对应于投影的照明图案能够分辨的场景的一部分。而且，在这些实施例中，可以在框306处相对于目标区段对多个图像执行解调，使得在框308处所生成的场景的环境光抑制图像仅描绘被包括在距系统200的成像单元220的焦点的一定距离范围内的视场中的一个或多个元素。
[0068]
尽管图3中未示出，但是在一些实施例中，方法还可以包括分析多个图像以确定场景的3d深度信息。3d深度信息可以包括针对多个图像的每个像素的深度值，并且在这些实施例中，目标区段可以基于场景的3d深度信息。在这方面，方法还可以包括通过将相位掩模应用于在框304处捕获的多个图像来确定目标区段。
[0069]
此外，在这些实施例中，在框308处生成场景的环境光抑制图像可以通过仅输出相对于目标区段的解调结果来执行。
[0070]
图4示出了根据实施例的通过多个图像的环境光抑制操作。所说明的操作通常可由系统200执行，并且具体地，在一些实施例中由系统200的处理单元230执行或在系统200的处理单元230的控制下执行。为了说明的目的，下面将参考图2的系统200的各个部件来描述图4所示的操作的至少一部分。
[0071]
如图4所示，提供了多个调制图像410a、410b和410c，ac分量图像420和dc分量图像430。多个调制图像包括第一调制图像410a、第二调制图像410b和第三调制图像410c。ac分量图像420可以对应于解调信号的交替部分，而dc分量图像430可以对应于解调信号的恒定部分。
[0072]
对于本实施例可以看出，在第一调制图像410a、第二调制图像410b和第三调制图像410c的每一个调制图像中，照明图案由系统200的图像投影单元210选择性地投影到选定(矩形)部分上。照明图案是时变空间调制图案。具体地，在该实施例中，照明图案由多个交替的水平暗带和亮带。
[0073]
在该实施例中，照明图案被投影到其上的选定部分对应于系统200的成像单元220的视场的一部分，而不是成像单元220的全部视场。而且，本实施例中的每个调制图像已经在对应于投影的照明图案的分别不同的相移的不同时间点被捕获。在第一调制图像410a中，照明图案具有0
°
相移，在第二调制图像410a中，照明图案具有120
°
相移，并且在第三调制图像410c中，照明图案具有240
°
相移。
[0074]
一旦已经捕获到调制图像410a、410b和410c，系统200的处理单元230就可以基于这些调制图像中所描绘的照明图案以及相对于目标区段来解调调制图像410a、410b和410c，在该实施例中该目标区段对应于照明图案被选择性地投影到其上的场景的一部分。随后，处理单元230可以基于解调的结果生成场景的环境光抑制图像。
[0075]
更详细地，处理单元230可以相对于目标区段解调调制图像410a、410b和410c，使得所生成的场景的环境光抑制图像仅描绘被包括在成像单元220的视场的选定部分中的一个或多个元素。换言之，在该实施例中，所生成的场景的环境光抑制图像仅描绘被包括在矩形部分中的(多个)元素，照明图案被投影到该矩形部分上。处理单元230可以解调调制图像410a、410b和410c以产生对应于ac分量的第一图像(即，ac分量图像420)和对应于dc分量的第二图像(即，dc分量图像430)，其中ac分量对应于与调制图像相关联的解调信号的交替部分，而dc分量对应于解调信号的恒定部分。应当理解，例如，可以使用上面参考图1所示的公式(1)和(2)来执行解调。还应当理解，这里没有明确讨论的其它公式可以用于获得信号的ac和dc分量，例如，与离散余弦变换、傅立叶变换等相关联的那些公式。
[0076]
在这种情况下，选择ac分量图像420作为场景的环境光抑制图像。因此，可以在场景的环境光抑制图像中排除在调制图像的场景中但不在选定部分中的元素。
[0077]
图5示出了根据另一实施例的通过多个图像的环境光抑制操作。所说明的操作通常可由系统200执行，并且具体地，在一些实施例中由系统200的处理单元230执行或在系统200的处理单元230的控制下执行。为了说明的目的，下面将参考图2的系统200的各个部件来描述图5所示的操作的至少一部分。
[0078]
在图5所示的实施例中，系统200的图像投影单元210被配置为投影具有预定空间
频率的照明图案。此外，系统200的成像单元220包括单相机。成像单元220被配置为分别针对三个不同颜通道(rgb)以预定焦深捕获场景的多个图像。选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距成像单元220的焦点的一定距离内能够分辨。
[0079]
如图5所示，提供了三组调制图像，包括第一组调制图像520-1、第二组调制图像520-2和第三组调制图像520-3。第一组调制图像520-1对应于由单相机捕获的蓝通道，第二组调制图像520-2对应于由单相机捕获的绿通道，第三组调制图像520-3对应于由单相机捕获的红通道。此外，在图5中，还提供了正常图像510，其表示在没有投影的照明图案的正常条件下，捕获的调制图像520-1、520-2和520-3中描绘的场景的图像。此外，在图5中提供了一组ac分量图像530、一组dc分量图像540和结果图像550。
[0080]
如上面参考图2所述，照明图案是时变空间调制图案。在本实施例中，第一组，第二组和第三组调制图像520-1、520-2、520-3的每组中的三个调制图像的每一个调制图像已经在对应于投影的照明图案的分别不同的相移的不同的时间点被捕获，生成例如一组中的这三个图像的每一个图像可以分别对应于当照明图案具有0
°
相移时的时间点、当照明图案具有120
°
相移时的时间点，以及当照明图案具有240
°
相移时的时间点。
[0081]
此外，在该实施例中，目标区段对应于所投影的照明图案能够分辨的场景的一部分。如图5所示，通过使用照明图案的预定空间频率和成像单元的预定焦深的正确组合，在照明图案不能被分辨场景中存在距聚焦对象的距离。更详细地，对于本实施例可以看出，在第一组调制图像520-1、第二组调制图像520-2和第三组调制图像520-3中的每组中的每一个图像中，投影的照明图案(其由多个交替的水平暗带和亮带组成)仅在圆形元素和笔上是可区分的，但在场景的背景(位于距焦深大于1m处的对象)中是不可区分的。
[0082]
一旦已经捕获到三组调制图像520-1、520-2、520-3，系统200的处理单元230就可以基于在这些调制图像中描绘的照明图案，以及相对于目标区段来解调三组调制图像520-1、520-2、520-3，在该实施例中，目标区段对应于投影的照明图案能够分辨的场景的一部分。随后，处理单元230可以基于解调的结果来生成场景的环境光抑制图像。
[0083]
更详细地，处理单元230可以相对于目标区段解调三组调制图像510-1、520-2、520-3中的每组，以分别生成分别对应于蓝通道、绿通道和红通道的三个ac分量图像。这三个ac分量图像形成如图5所示的ac分量图像组530。而且，解调操作也可以生成分别对应于蓝通道、绿通道和红通道的三个dc分量图像。这三个dc分量图像形成如图5所示的dc分量图像组540。应当理解，例如，可以使用上面参考图1所示的公式(1)和(2)来执行解调。还应当理解，这里没有明确讨论的其它公式可以用于获得信号的ac和dc分量，例如与离散余弦变换、傅立叶变换等相关联的那些公式。
[0084]
在这种情况下，选择ac分量图像组530，并随后对其进行处理(即，rgb重建)，以生成场景的环境光抑制图像550。因此，可以在场景的环境光抑制图像550中排除在调制图像的场景的背景(具有大于1m的焦深)中的元素。换言之，在该实施例中，所生成的场景的环境光抑制图像550仅描绘了被包括在前景中的(多个)元素，在该前景处照明图案能够分辨。
[0085]
图6示出了根据另一实施例的通过多个图像的环境光抑制操作。所说明的操作通常可由系统200执行，并且具体地，在一些实施例中由系统200的处理单元230执行或在系统200的处理单元230的控制下执行。为了说明的目的，下面将参考图2的系统200的各个部件
来描述图6所示的操作的至少一部分。
[0086]
类似于图5所示的布置，在图6的实施例中，系统200的图像投影单元210被配置为投影具有预定空间频率的照明图案。此外，也类似于图5所示的布置，在该实施例中，系统200的成像单元220包括单相机。成像单元220被配置为分别针对三个不同颜通道(rgb)以预定焦深捕获场景的多个图像。选择照明图案的预定空间频率和成像单元的预定焦深，使得照明图案仅在距成像单元220的焦点的一定距离内能够分辨。
[0087]
如图6所示，提供了三组调制图像，包括第一组调制图像610-1、第二组调制图像610-2和第三组调制图像610-3。第一组调制图像610-1对应于由单相机捕获的蓝通道，第二组调制图像610-2对应于由单相机捕获的绿通道，第三组调制图像610-3对应于由单相机捕获的红通道。
[0088]
如上面参考图2所述，照明图案是时变空间调制图案。在该实施例中，第一组、第二组和第三组调制图像610-1、610-2，610-3的每组中的三个调制图像的每一个调制图像已经在对应于投影的照明图案的分别不同的相移的不同的时间点被捕获，例如在一组中的这三个图像的每一个图像可以分别对应于当照明图案具有0
°
相移时的时间点，当照明图案具有120
°
相移时的时间点，以及当照明图案具有240
°
相移时的时间点。
[0089]
此外，在该实施例中，目标区段对应于场景的、所投影的照明图案能够分辨的部分。如图6所示，通过使用照明图案的预定空间频率和成像单元的预定焦深的正确组合，在照明图案不能被分辨的场景中存在距聚焦对象的距离。更详细地，对于本实施例可以看出，在第一组调制图像610-1、第二组调制图像610-2和第三组调制图像610-3中的每组中的每个图像中，投影的照明图案(其由多个交替的水平暗带和亮带组成)仅在场景的背景中的矩形对象上是可区分的。
[0090]
一旦已经捕获到三组调制图像610-1、610-2、610-3，系统200的处理单元230就可以基于在这些调制图像中描绘的照明图案以及相对于目标区段来解调三组调制图像610-1、610-2、610-3，在该实施例中，目标区段对应于场景的、所投影的照明图案能够分辨的部分。随后，处理单元230可以基于解调的结果生成场景的环境光抑制图像。
[0091]
更详细地，处理单元230可以相对于目标区段解调三组调制图像610-1、620-2、620-3中的每组，以分别生成分别对应于蓝通道、绿通道和红通道的三个ac分量图像。而且，解调操作还可以生成分别对应于蓝通道、绿通道和红通道的三个dc分量图像。在这种情况下，可以选择ac分量图像组并随后对其进行处理(即，rgb重建)以生成场景的环境光抑制图像620。应当理解，例如，可以使用上面参考图1所示的公式(1)和(2)来执行解调。还应当理解，这里没有明确讨论的其它公式可以用于获得信号的ac和dc分量，例如，与离散余弦变换，傅立叶变换等相关联的那些公式。
[0092]
因此，可以在场景的环境光抑制图像620中排除调制图像的场景的前景中的元素。换言之，在该实施例中，所生成的场景的环境光抑制图像620仅描绘了被包括在背景中的某些(多个)元素，在该元素处照明图案能够分辨。
[0093]
尽管上面参考一些实施例描述了对应于颜通道的每组调制图像包括三个图像，但是应当理解，在备选实施例中，每组调制图像可以包括更少或更多的图像，这取决于例如可用的时间和资源量、目标或系统本身的运动，以及期望的环境光抑制水平等。
[0094]
图7示出了根据另一实施例的环境光抑制操作。所说明的操作通常可由系统200执
行，并且具体地，在一些实施例中由系统200的处理单元230执行或在系统200的处理单元230的控制下执行。为了说明的目的，下面将参考图2的系统200的各个部件来描述图7所示的操作的至少一部分。
[0095]
如图7所示，提供了多个调制图像710。如上面参考图2所描述的，照明图案是时变空间调制图案，因此在该实施例中的多个调制图像710中的每一个调制图像可以在对应于投影的照明图案的分别不同的相移的不同时间点被捕获。此外，在该实施例中的照明图案还包括预定步长大小的至少一个相位斜坡。
[0096]
一旦捕获到多个调制图像7103，系统200的处理单元230就可以基于在这些调制图像中描绘的照明图案以及相对于目标区段来解调调制图像。如将在以下段落中更详细地解释的，本实施例中的目标区段基于在多个调制图像710中描绘的场景的3d深度信息。
[0097]
在该实施例中，处理单元230被配置为分析多个调制图像710以确定所描绘的场景的3d深度信息。更详细地，可将相位掩模应用于多个调制图像710—该操作由图7中的相位掩模720表示，并且在确定场景的3d深度信息之前执行。3d深度信息包括针对多个调制图像710的每个像素的深度值。一旦确定了场景的3d深度信息，处理单元230就被配置为基于所描绘的场景的3d深度信息来确定目标区段。场景的3d深度信息由图7所示的3d深度模型730表示。作为在该实施例中确定目标区段的操作的示例，处理单元230可以被配置为选择多个调制图像710中对应于3d深度值的预定范围的一个或多个部分(例如，对应于用户面部的部分)。
[0098]
随后，处理单元230可以基于解调的结果生成场景的环境光抑制图像。具体地，在该实施例中，处理单元230被配置为通过仅输出相对于目标区段的解调结果来生成场景的环境光抑制图像。因此，可以在场景的环境光抑制图像中排除未在目标区段中描绘的元素(例如，如果对应像素的3d深度值未落入预定范围内)。换言之，在该实施例中，所生成的场景的环境光抑制图像仅描绘某些元素，其满足相对于3d深度值的某些标准。
[0099]
图8示出了与其它成像或处理技术相比，根据一个实施例的环境光抑制操作的结果。
[0100]
为了参考的目的，提供正常图像(没有图像处理或调制)810。如正常图像810所示，描绘了第一元素a、第二元素b和第三元素c。所描绘的第一至第三元素a至c对应于相应元素到成像单元的多个不同距离，其中第一元素a最靠近成像单元并且第三元素c最远离成像单元。
[0101]
在正常图像810旁边提供模糊图像820。模糊图像820表示在对正常图像810执行模糊处理以试图移除所描绘的一些细节之后的结果图像。在模糊图像820所示的示例中，执行图像处理以便移除正常图像810的背景中的细节，即，第三元素c。
[0102]
在模糊图像820旁边提供第一环境光校正(alc)图像830。第一alc图像830表示在对正常图像810执行宽照明环境光校正处理以试图移除所描绘的某些细节之后的结果图像。与上述模糊图像820类似，在第一alc图像830所示的示例中，对调制图像执行图像处理，以便移除背景中的细节。与简单地执行模糊相比，可以看出宽照明环境光校正在移除背景细节(例如，第三元素c)方面更有效。
[0103]
此外，接下来提供第二alc图像840和第三alc图像850，其中第二alc图像840和第三alc图像850表示在执行如本文所述的实施例中所描述的环境光抑制操作之后的结果图
像。具体地，在该实施例中，当捕获多个调制图像时，照明图案仅被选择性地投影到图像单元的视场的选定部分上。在第二alc图像840的示例中，选定部分对应于描绘第一元素a的部分；并且在第三alc图像850的示例中，选定部分对应于描绘第一元素a的一部分的矩形部分。因此，目标区段对应于照明图案被选择地投影到其上的场景的一部分。
[0104]
在由第二alc图像840和第三alc图像850展示的两个示例中，调制图像相对于相应的目标区段被解调，使得场景的相应的所生成的环境光抑制图像仅描绘被包括在成像单元的视场的选定部分中的一个或多个元素。相应地，如第二alc图像840和第三alc图像850所示，在相应结果中仅描绘了元素a，并且仅描绘了元素a的一部分。
[0105]
因此，提供了一种用于执行环境光抑制的改进的系统及其控制方法。与当前已知的用于浅景深检测成像(例如，包括模糊)或宽照明环境光校正的技术相比，本文描述的实施例允许改进对图像中的背景元素的抑制。这是因为本文描述的技术提供了从图像中移除离焦部分的更好方法以及执行图像中的对焦部分的子选择的改进方式。
[0106]
还提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质具有包含在其中的计算机可读代码，计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使得计算机或处理器执行本文所述的一种或多种方法。因此，应当理解，本公开也适用于计算机程序，特别是适于将实施例付诸实践的载体上或载体中的计算机程序。程序可以是源代码、目标代码、代码中间源和目标代码的形式，诸如部分编译的形式，或者适于用在根据本文所述的实施例的方法的实施方式中的任何其他形式。
[0107]
还应当理解，这种程序可以具有许多不同的架构设计。例如，实现该方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分配功能的许多不同方式对于本领域技术人员来说是显而易见的。子例程可以被一起存储在一个可执行文件中以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令(例如，java解释器指令)。备选地，一个或多个所有子例程可以被存储在至少一个外部库文件中，并且(例如，在运行时)静态地或动态地与主程序链接。主程序包含对至少一个子程序的至少一个调用。子例程还可以包括对彼此的函数调用。
[0108]
涉及计算机程序产品的一个实施例包括对应于本文阐述的至少一个方法的每个处理阶段的计算机可执行指令。这些指令可以被细分成子例程和/或被存储在可以静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括对应于本文阐述的系统和/或产品中的至少一者的每个装置的计算机可执行指令。这些指令可以被细分成子例程和/或被存储在可以静态地或动态地链接的一个或多个文件中。
[0109]
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储器，诸如rom(例如，cd rom或半导体rom)，或磁记录介质(例如，硬盘)。此外，载体可以是诸如电信号或光信号的可传输载体，其可以经由电缆或光缆或通过无线电或其它装置来传送。当程序被包含在这样的信号中时，载体可以由这样的电缆或其它设备或装置构成。备选地，载体可以是其中嵌入了程序的集成电路，集成电路适于执行相关方法或用于相关方法的执行。
[0110]
所属领域的技术人员在实施本文中所描述的原理和技术时，从对附图，公开内容和所附权利要求书的研究中，可以理解和实现所公开的实施例的变化。在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其
它单元可以实现权利要求中所述的若干项目的功能。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可以被存储或被分布在适当的介质上，诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但是也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。

技术特征：

1.一种用于执行环境光抑制的系统(200)，所述系统包括：图像投影单元(210)，被配置为将照明图案投影到场景的至少一部分上，其中所述照明图案是具有预定空间频率的时变空间调制图案；成像单元(220)，具有视场，所述成像单元(220)被配置为在将具有所述预定空间频率的所述时变空间调制照明图案被投影到所述场景上时捕获所述场景的多个图像；以及处理单元(230)，被配置为：基于所述照明图案并且相对于所捕获的所述多个图像中的目标区段来解调所述多个图像，其中所述目标区段对应于以下各项中的一项：在所述多个图像被捕获时，所述场景的、所述照明图案被选择性地投影到其上的部分，所述场景的、所投影的所述照明图案能够分辨的部分，所述场景的、具有满足预定范围的像素深度值的部分；其中所述目标区段是所述成像单元的所述视场的一部分，以及基于所述解调的结果生成所述场景的环境光抑制图像。2.根据权利要求1所述的系统(200)，其中所述图像投影单元(210)被配置为仅将所述照明图案选择性地投影到所述成像单元(220)的所述视场的选定部分上，并且所述目标区段对应于所述场景的、所述照明图案被选择性地投影到其上部分，并且其中所述处理单元(230)被配置为相对于所述目标区段对所述多个图像进行解调，使得所生成的所述场景的所述环境光抑制图像仅描绘被包括在所述成像单元的所述视场的所述选定部分中的一个或多个元素。3.根据权利要求1所述的系统(200)，其中成像单元(220)被配置为以预定焦深捕获所述场景的所述多个图像，所述照明图案的所述预定空间频率和所述成像单元的所述预定焦深被选择为使得所述照明图案仅在距所述成像单元的焦点的一定距离内能够分辨，并且其中所述目标区段对应于所述场景的、所投影的所述照明图案能够分辨的部分，并且进一步地，其中所述处理单元(230)被配置为相对于所述目标区段调制所述多个图像，使得所述场景的所生成的所述环境光抑制图像仅描绘被包括在视场中的、距所述成像单元的所述焦点在所述一定距离范围内的一个或多个元素。4.根据权利要求1所述的系统(200)，其中所述处理单元(230)被配置为分析所述多个图像以确定所述场景的3d深度信息，其中所述3d深度信息包括针对所述多个图像的所述像素中的每个像素的深度值，并且所述目标区段基于所述场景的所述3d深度信息，其中所述处理单元(230)被配置为通过仅输出相对于所述目标区段的所述解调结果来生成所述场景的所述环境光抑制图像。5.根据权利要求4所述的系统(200)，其中所述处理单元(230)被配置为通过将相位掩模应用于所述多个图像来确定所述目标区段。6.根据前述权利要求中任一项所述的系统(200)，其中所述照明图案包括相移正弦图案，并且所述成像单元(220)被配置为以相对于所述正弦图案的相位的预定相位差来捕获所述多个图像。7.根据从属于权利要求4或5时的权利要求6所述的系统(200)，其中所述照明图案还包括预定步长大小的至少一个相位斜坡。
8.根据前述权利要求中任一项所述的系统(200)，其中所述成像单元(220)被配置为在所述照明图案被投影到所述场景上时捕获三组图像，其中所述三组图像中的第一组图像对应于所述正弦图案的0
°
相移，所述三组图像中的第二组图像对应于所述正弦图案的120
°
相移，并且所述三组图像中的第三组图像对应于所述正弦图案的240
°
相移。9.根据权利要求8所述的系统(200)，其中所述成像单元(220)包括彩相机，并且所述第一组图像、所述第二组图像和所述第三组图像中的每组图像包括单个图像。10.根据权利要求8所述的系统(200)，其中所述第一组图像、所述第二组图像和所述第三组图像中的每组图像包括三个图像，其中所述三组图像中的每组图像中的所述第一图像对应于红通道，所述三组图像中的每组图像中的所述第二图像对应于绿通道，并且所述三组图像中的每组图像中的所述第三图像对应于蓝通道。11.根据前述权利要求中任一项所述的系统(200)，其中所述处理单元(230)被配置为解调所述多个图像以产生对应于ac分量的第一图像和对应于dc分量的第二图像，其中所述第一图像被选择为所述场景的所述环境光抑制图像。12.一种用于控制系统以执行环境光抑制的方法，其中所述系统包括图像投影单元、成像单元和处理单元，所述方法包括：由所述图像投影单元将照明图案投影(302)到场景的至少一部分上，其中所述照明图案是具有预定空间频率的时变空间调制图案；在将所述时变空间调制照明图案投影到所述场景上时，由所述成像单元捕获(304)所述场景的多个图像；以及由所述处理单元基于所述照明图案并且相对于所捕获的所述多个图像中的目标区段来解调(306)所述多个图像，其中所述目标区段对应于以下各项中的一项：在捕获所述多个图像时，所述场景的、所述照明图案被选择性地投影到其上的部分，所述场景的、所投影的所述照明图案能够分辨的部分，所述场景的、具有满足预定范围的像素深度值的部分；其中所述目标区段是所述成像单元的所述视场的一部分；以及由所述处理单元基于所述解调的结果生成(308)所述场景的环境光抑制图像。13.根据权利要求12所述的方法，其中将所述照明图案投影(302)到所述场景的至少一部分上包括仅将所述照明图案选择性地投影到所述成像单元的所述视场的选定部分上，并且其中所述目标区段对应于所述场景的、所述照明图案被选择性地投影到其上的部分，并且其中相对于所述目标区段对所述多个图像执行解调(306)，使得所述场景的所生成的所述环境光抑制图像仅描绘被包括在所述成像单元的所述视场的所述选定部分中的一个或多个元素。14.根据权利要求12所述的方法，其中捕获(304)所述场景的所述多个图像以预定焦深被执行，其中所述照明图案的所述预定空间频率和所述成像单元的所述预定焦深被选择使得所述照明图案仅在距所述成像单元的所述焦点的一定距离内能够分辨，并且其中所述目标区段对应于所述场景的、所投影的所述照明图案能够分辨的部分，并且进一步地，其中相对于所述目标区段解调(306)所述多个图像被执行，使得所述场景的所生成的所述环境光抑制图像仅描绘被包括在所述视场中的、距所述成像单元的所述焦点
在所述一定距离范围内的一个或多个元素。15.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有包含在其中的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使得所述计算机或所述处理器执行根据权利要求12至14中任一项所述的方法。

技术总结

根据一个方面，提供了一种系统(200)，包括：图像投影单元(210)，其被配置为将照明图案投影到场景的至少一部分上；成像单元(220)，其被配置为在将照明图案投影到场景上时捕获场景的多个图像；以及处理单元(230)，其被配置为：基于照明图案并且相对于所捕获的多个图像中的目标区段来解调多个图像，其中目标区段对应于以下各项中的一项：在捕获多个图像时，场景的、照明图案被选择性地投影到其上的部分，场景的、所投影的照明图案能够分辨的部分，场景的、具有满足预定范围的像素深度值的部分；以及基于解调结果生成场景的环境光抑制图像。以及基于解调结果生成场景的环境光抑制图像。以及基于解调结果生成场景的环境光抑制图像。