1.本技术涉及
数据处理技术领域,具体涉及一种处理电路、装置、方法、芯片及电子设备。
背景技术:
2.随着
图像处理技术的发展,人们对电子设备所显示的图像的要求越来越高。为确保电子设备能够输出满足用户需要的高质量图像,现有技术中通常在电子设备内设置各种用于对图像进行处理的芯片。然而,现有的
图像处理方法在对图像进行处理的过程中通常需要耗费相对较长的时间,因此,现有的图像处理方法存在处理耗时相对较长的问题。
技术实现要素:
3.本技术提供了一种图像处理电路、装置、方法、芯片及电子设备,可以减少图像处理过程的延迟,同时,减少图像处理过程中的功耗。
4.第一方面,本技术实施例提供了一种图像处理电路,包括图像信号处理芯片、数据缓存元件和图像增强芯片,
所述图像信号处理芯片与所述数据缓存元件连接,所述据缓存元件与所述图像增强芯片连接;
5.所述图像信号处理芯片用于对初始图像数据进行帧内分块处理,得到至少两个数据块;
6.所述数据缓存元件用于缓存所述图像信号处理芯片处理得到的至少两个数据块;
7.所述图像增强芯片用于对所述数据缓存元件缓存的至少两个数据块进行图像处理,得到目标图像数据。
8.第二方面,本技术实施例提供了一种图像处理装置,包括第一方面所述的图像处理电路。
9.第三方面,本技术实施例提供了一种图像处理方法,应用于第二方面所述的图像处理装置,所述方法包括:
10.图像信号处理芯片对初始图像数据进行帧内分块处理,得到至少两个数据块;
11.数据缓存元件缓存所述图像信号处理芯片处理得到的至少两个数据块;
12.图像增强芯片对所述数据缓存元件缓存的至少两个数据块进行图像处理,得到目标图像数据。
13.第四方面,本技术实施例提供了一种电子设备,包括第一方面所述的图像处理电路,处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第三方面所述的图像处理方法的步骤。
14.第五方面,本技术实施例提供了一种图像处理芯片,所述图像处理芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述通信接口用于传输图像数据,所述处理器用于运行程序或指令,实现如第三方面所述的图像处理方法中的图像增强芯片执行的步骤。
15.第六方面,本技术实施例提供了一种处理器芯片,其特征在于,所述处理器芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述通信接口用于传输图像数据,所述处理器用于运行程序或指令,实现如第三方面所述的图像处理方法中的图像信号处理芯片执行的步骤。
16.本技术实施例中,通过对初始图像数据进行帧内分块处理,得到至少两个数据块,这样,图像信号处理芯片可以以数据块作为最小传输单位向数据缓存元件传输图像数据,当图像信号处理芯片仅完成一个图像帧的部分数据块的传输时,图像增强芯片即可从所述数据缓存元件中获取已经传输完成的数据块,并对所获取的数据块进行图像处理。即在某一帧图像数据传输至所述数据缓存元件的过程中,所述图像增强芯片可以同步从所述数据缓存元件中获取已经传输完成的数据块,从而有利于减少图像处理过程的延迟。
附图说明
17.图1是本技术的一些实施例提供的图像处理电路的结构示意图;
18.图2是本技术的一些实施例中对初始图像数据进行帧内分块处理的示意图;
19.图3是本技术的一些实施例中图像处理电路处理图像块的流程示意图;
20.图4是本技术的一些实施例中图像增强芯片的内部结构示意图;
21.图5是本技术的一些实施例中图像处理单元的内部结构示意图;
22.图6是本技术的一些实施例提供的图像处理方法的流程示意图;
23.图7是本技术的一些实施例提供的电子设备的结构示意图;
24.图8是本技术的一些实施例提供的电子设备的硬件结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
26.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
27.请参见图1,图1为本技术实施例提供的一种图像处理电路的结构示意图,所述图像处理电路包括图像信号处理(image signal processing,isp)模块,其中,所述isp模块为电子设备的应用处理器(application processor,ap)中的图像处理模块、数据缓存元件200和图像增强芯片300,所述图像信号处理芯片100与所述数据缓存元件200连接,所述据缓存元件与所述图像增强芯片300连接,其中,所述数据缓存元件200可以作为图像增强芯片300高速随机存取存储器(random access memory,ram);
28.所述图像信号处理芯片100用于对初始图像数据进行帧内分块处理,得到至少两个数据块;
29.所述数据缓存元件200用于缓存所述图像信号处理芯片100处理得到的至少两个数据块;
30.所述图像增强芯片300用于对所述数据缓存元件200缓存的至少两个数据块进行图像处理,得到目标图像数据。其中,图像信号处理芯片100可以为电子设备中的主控芯片,或者,所述图像信号处理芯片100形成电子设备中的主控芯片中的图像处理单元302。所述图像增强芯片300可以是独立于所述主控芯片之外的外挂图像增强芯片300。
31.上述初始图像数据可以为一帧图像数据,或者,由多帧图像数据共同形成的图像序列。上述对初始图像数据进行帧内分块处理,得到至少两个数据块可以是指:将初始图像数据中的每一帧图像分割为至少两个数据块,其中,具体可以按图像帧的列向将图像帧划分为至少两个数据块,每个数据块包括至少一行(line)图像数据。例如,请参见图2,在本技术一个实施例中,所述初始图像数据400包括第一图像帧410、第二图像帧420和第三图像帧430,在进行分块之后,每个图像帧被分割为4个数据块。例如,所述第一图像帧410被分割为第一图像块411、第二图像块412、第三图像块413和第四图像块414。
32.上述数据缓存元件200可以用于缓存待所述图像增强芯片300进行处理的数据块。其中,所述数据缓存元件200可以采用相关技术中各种常见的具有缓存功能的器件,例如,可以为静态随机存取存储器(static random-access memory,sram)或双倍速率同步动态随机存储器(double data rate,ddr)等。
33.相关技术中,图像信号处理芯片100在将图像数据传输至图像增强信息进行处理时,通常是以帧为单位作为处理单元,如此,图像增强芯片300需要等待图像信号处理芯片100将完整一帧图像传输至数据缓存元件200之后,才能从数据缓存元件200中获取该一帧图像。即在图像信号处理芯片100未完成一帧图像的传输之前,所述图像增强芯片300处理等待状态。这样,将导致图像处理过程的延迟较大的问题。
34.基于此,本技术实施例中,通过对初始图像数据进行帧内分块处理,得到至少两个数据块,这样,图像信号处理芯片100可以以数据块作为最小传输单位向数据缓存元件200传输图像数据,当图像信号处理芯片100仅完成一个图像帧的部分数据块的传输时,图像增强芯片300即可从所述数据缓存元件200中获取已经传输完成的数据块,并对所获取的数据块进行图像处理。例如,请参见图3,为一个图像帧的4个数据块的传输示意图,在图像帧的数据块1和数据块2被传输至数据缓存元件200,且该图像帧的数据块3和数据块4还未完成传输的情况下,所述图像增强芯片300可以从数据缓存元件200中获取数据块1和数据块2进行处理,同时,所述图像信号处理芯片100可以同步向所述数据缓存元件200传输数据块3和数据块4。即在某一帧图像数据传输至所述数据缓存元件200的过程中,所述图像增强芯片300可以同步从所述数据缓存元件200中获取已经传输完成的数据块,从而有利于减少图像处理过程的延迟。
35.在本技术一个具体实施例中,所述初始图像数据可以是在较为昏暗的环境中拍摄的人脸图像,例如,可以是夜间拍摄的人脸图像。由于环境较为昏暗,因此,所述初始图像数据中人脸的清晰度不高、且面部存在较多的噪点。基于此,本技术实施例中,为提高电子设备在昏暗环境中拍摄的人脸图像的质量,在图像传感器采集到所述初始图像数据之后,将所述初始图像数据传输至所述图像信号处理芯片100,所述图像信号处理芯片100对所述初始图像数据进行帧内分块处理,得到至少两个数据块。并将所述数据块传输至数据缓存元
件200,图像增强芯片300从所述数据缓存元件200获取数据块,并对所获取的数据块进行亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,得到目标图像数据。如此,通过对所述数据块进行亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,可以提高所得到的目标图像数据中人脸的清晰度,同时,可以去除图像中的噪点,进而提高电子设备在昏暗环境下,拍摄的人脸图像的质量。
36.其中,所述图像信号处理芯片100可以与其所属的电子设备的显示屏连接,在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
37.在本技术另一个具体实施例中,所述初始图像数据可以是电子设备当前播放的视频数据的视频序列,其中,该视频数据可以为画质较差的视频数据,例如,所述视频数据中每一帧图像中的清晰度均相对较低,若直接对所述初始图像数据进行显示,将导致用户观看体验较差的问题。基于此,本技术实施例中,为提高电子设备所播放的视频的质量,图像信号处理芯片100在对所述初始图像数据进行送显之前,可以对所述初始图像数据中的每一帧图像进行帧内分块处理,得到与每一帧图像对应的至少两个数据块,并将每一帧的数据块分别传递至数据缓存元件200,图像信号处理芯片100从所述数据缓存元件200中获取数据块,并对所获取的数据块进行清晰度处理、降噪处理和锐化处理等图像处理,得到目标图像数据。如此,通过对所述数据块进行清晰度处理、降噪处理和锐化处理等图像处理,可以提高所得到的目标图像数据的画质。在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
38.该实施方式中,通过对初始图像数据进行帧内分块处理,得到至少两个数据块,这样,图像信号处理芯片100可以以数据块作为最小传输单位向数据缓存元件200传输图像数据,当图像信号处理芯片100仅完成一个图像帧的部分数据块的传输时,图像增强芯片300即可从所述数据缓存元件200中获取已经传输完成的数据块,并对所获取的数据块进行图像处理。即在某一帧图像数据传输至所述数据缓存元件200的过程中,所述图像增强芯片300可以同步从所述数据缓存元件200中获取已经传输完成的数据块,从而有利于提高对图像进行在线处理(online)的实时性、减少图像处理过程的延迟。
39.可选地,所述图像信号处理芯片100包括第一输出接口101,所述数据缓存元件200包括第一输入接口201和第二输出接口202,所述图像增强芯片300包括第二输入接口301;
40.所述第一输出接口101和所述第一输入接口201连接,所述第二输出接口202与所述第二输入接口301连接;
41.所述图像信号处理芯片100还用于在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;
42.所述数据缓存元件200还用于通过所述第一输入接口201,接收所述图像信号处理
芯片100传输的每个数据块,并缓存每个数据块;
43.所述图像增强芯片300还用于在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行图像处理。
44.在本技术一个具体实施例中,所述初始图像数据可以是在较为昏暗的环境中拍摄的人脸图像,例如,可以是夜间拍摄的人脸图像。由于环境较为昏暗,因此,所述初始图像数据中人脸的清晰度不高、且面部存在较多的噪点。基于此,本技术实施例中,为提高电子设备在昏暗环境中拍摄的人脸图像的质量,在图像传感器采集到所述初始图像数据之后,将所述初始图像数据传输至所述图像信号处理芯片100,所述图像信号处理芯片100对所述初始图像数据进行帧内分块处理,得到至少两个数据块。所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,得到目标图像数据。如此,通过对所述数据块进行亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,可以提高所得到的目标图像数据中人脸的清晰度,同时,可以去除图像中的噪点,进而提高电子设备在昏暗环境下,拍摄的人脸图像的质量。
45.其中,所述图像信号处理芯片100可以与其所属的电子设备的显示屏连接,在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
46.在本技术另一个具体实施例中,所述初始图像数据可以是电子设备当前播放的视频数据的视频序列,其中,该视频数据可以为画质较差的视频数据,例如,所述视频数据中每一帧图像中的清晰度均相对较低,若直接对所述初始图像数据进行显示,将导致用户观看体验较差的问题。基于此,本技术实施例中,为提高电子设备所播放的视频的质量,图像信号处理芯片100在对所述初始图像数据进行送显之前,可以对所述初始图像数据中的每一帧图像进行帧内分块处理,得到与每一帧图像对应的至少两个数据块。所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对所获取的数据块进行清晰度处理、降噪处理和锐化处理等图像处理,得到目标图像数据。如此,通过对所述数据块进行清晰度处理、降噪处理和锐化处理等图像处理,可以提高所得到的目标图像数据的画质。在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
47.该实施方式中,在所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行图像处理,这样,由于数据缓存元件200中不存在数据块的积压,因此,可以进一步提高对图像数据处理的及时性,进而进一步降低图像处理过程中的延迟。
48.可选地,所述图像增强芯片300包括图像处理单元302和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元302与每个数据缓存单元连接;
49.所述图像处理单元302用于对所述数据缓存元件200缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;
50.在所述图像处理单元302处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元302还用于将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;
51.其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。
52.上述数据处理性能可以包括数据缓存单元的数据缓存速度和数据缓存容量等性能。下文以所述数据处理性能为数据缓存速度为例,对本技术实施例作进一步的解释说明。在所述数据处理性能为数据缓存速度的情况下,所述临时变量的使用频率与所述数据缓存单元的数据缓存速度呈正相关,即数据缓存速度越快的数据缓存单元的使用频率越高。
53.请参见图4,在本技术一个实施例中,所述图像增强芯片300包括图像处理单元302、第一数据缓存单元303、第二数据缓存单元304和第三数据缓存单元305,其中,所述第一数据缓存单元303、第二数据缓存单元304和第三数据缓存单元305分别与所述图像处理单元302连接。其中,所述第一数据缓存单元303的数据缓存速度、第二数据缓存单元304的数据缓存速度和第三数据缓存单元305的数据缓存速度依次降低,所述第一数据缓存单元303的缓存容量小于2mb,所述第二数据缓存单元304的缓存容量小于4mb,所述第三数据缓存单元305的缓存容量小于8mb。
54.可以理解的是,所述图像处理单元302用于对所述图像增强芯片300从所述数据缓存元件200中获取的数据块进行图像处理。由于所述图像处理单元302在对图像进行处理过程中会产生大量临时变量,且所述图像增强芯片300需要对图像处理单元302所产生的临时变量进行缓存,以便于数据处理单元再次调用所产生的临时变量。
55.基于此,本技术实施例中,可以将所述数据处理单元所产生的临时变量按照调用频率分为三个等级,并将使用频率为最高等级的临时变量通过第一数据缓存单元303进行缓存,将使用频率为次高等级的临时变量通过第二数据缓存单元304进行缓存,将使用频率为最低等级的临时变量通过第三数据缓存单元305进行缓存。可以理解的是,由于在数据处理单元在进行数据处理过程中,各临时变量的使用频率可能会发生变化,因此,可以根据临时变量使用频率的变化,调整其所缓存的位置。
56.在本技术一个具体实施例中,所述初始图像数据可以是在较为昏暗的环境中拍摄的人脸图像,例如,可以是夜间拍摄的人脸图像。由于环境较为昏暗,因此,所述初始图像数据中人脸的清晰度不高、且面部存在较多的噪点。基于此,本技术实施例中,为提高电子设备在昏暗环境中拍摄的人脸图像的质量,在图像传感器采集到所述初始图像数据之后,将所述初始图像数据传输至所述图像信号处理芯片100,所述图像信号处理芯片100对所述初始图像数据进行帧内分块处理,得到至少两个数据块。所述图像信号处理芯片100在对所述
初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,得到目标图像数据。如此,通过对所述数据块进行亮度增强处理、彩增强处理、对比度增强处理、降噪处理、宽动态处理等图像处理,可以提高所得到的目标图像数据中人脸的清晰度,同时,可以去除图像中的噪点,进而提高电子设备在昏暗环境下,拍摄的人脸图像的质量。
57.其中,图像增强芯片300在对所述数据块进行处理的过程中生成临时变量的情况下,所述图像处理单元302根据所产生的临时变量的使用频率,将所述临时变成存储于对应的数据缓存单元,以进一步降低图像处理过程的延迟。在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
58.在本技术另一个具体实施例中,所述初始图像数据可以是电子设备当前播放的视频数据的视频序列,其中,该视频数据可以为画质较差的视频数据,例如,所述视频数据中每一帧图像中的清晰度均相对较低,若直接对所述初始图像数据进行显示,将导致用户观看体验较差的问题。基于此,本技术实施例中,为提高电子设备所播放的视频的质量,图像信号处理芯片100在对所述初始图像数据进行送显之前,可以对所述初始图像数据中的每一帧图像进行帧内分块处理,得到与每一帧图像对应的至少两个数据块,所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行清晰度处理、降噪处理和锐化处理等图像处理,得到目标图像数据。可以提高所得到的目标图像数据的画质。在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。其中,图像增强芯片300在对所述数据块进行处理的过程中生成临时变量的情况下,所述图像处理单元302根据所产生的临时变量的使用频率,将所述临时变成存储于对应的数据缓存单元,以进一步降低图像处理过程的延迟。
59.该实施方式中,通过将所述数据处理单元使用频率高的临时变量缓存于数据缓存速度快的数据缓存单元,这样,可以减少数据处理单元调用临时变量所需时间,进而进一步提高图像增强芯片300对图像数据处理的效率,有利于进一步降低图像处理过程中的延迟。
60.可选地,所述数据块包括n个维度的图像数据,所述n为大于1的整数;所述图像增强芯片300包括图像处理单元302,所述图像处理单元302包括至少两个图像处理层,所述至少两个图像处理层依次连接;
61.所述至少两个图像处理层分别用于对所述n个维度的图像处理进行不同类型的图像处理;
62.其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。
63.其中,由于图像中的每个像素点均包括红(r)、绿(g)、蓝(b)三个颜通道的数据,因此,可以将数据块中所有像素点的r颜通道的数据确定为一个维度的数据,将数据块中所有像素点的g颜通道的数据确定为一个维度的数据,将数据块中所有像素点的b颜通道的数据确定为一个维度的数据,从而得到三个维度的图像数据。此时,所述n个维度的图像数据可以是指图像中的r、g、b三个维度的图像处理。此外,所述n个维度的图像数据还可以是指同一数据块中的文字维度的数据和图像维度的数据。下文以所述n个维度的图像数据包括r、g、b三个维度的图像处理为例,对本技术实施例的图像处理过程作进一步的解释说明。
64.在本技术的一些实施例中,所述初始图像数据可以是在较为昏暗的环境中拍摄的人脸图像,例如,可以是夜间拍摄的人脸图像。由于环境较为昏暗,因此,所述初始图像数据中人脸的清晰度不高、且面部存在较多的噪点。请参见图5,所述图像处理单元302包括第一数据处理层306、第二数据处理层307和第三数据处理层308。其中,所述第一数据处理层306用于对所接收到的图像数据进行亮度增强处理和彩增强处理,所述第二数据处理层307用于对所接收到的图像数据进行对比度增强处理,所述第三数据处理层308用于对所接收到的图像数据进行降噪处理和宽动态处理。
65.为提高电子设备在昏暗环境中拍摄的人脸图像的质量,本实施例具体的图像处理过程包括:
66.图像传感器采集到所述初始图像数据之后,将所述初始图像数据传输至所述图像信号处理芯片100,所述图像信号处理芯片100对所述初始图像数据进行帧内分块处理,得到至少两个数据块。其中,所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块。其中,每个所述数据块均包括第一子数据、第二子数据和第三子数据,所述第一子数据包括所述数据块中每个像素点的r维度的图像数据;所述第二子数据包括所述数据块中每个像素点的g维度的图像数据;所述第三子数据包括所述数据块中每个像素点的b维度的图像数据。
67.第一数据处理层306在接收到一个数据块之后,先对数据块中的第一子数据进行亮度增强处理和彩增强处理,得到第一中间子数据;然后,第一数据处理层306将所述第一中间子数据传递至第二数据处理层307,同时,第一数据处理层306继续对所述数据块中的第二子数据进行亮度增强处理和彩增强处理;相应地,在所述第二数据处理层307接收到第一中间子数据之后,对第一中间子数据进行对比度增强处理,得到第二中间子数据;然后,所述第二数据处理层307将所述第二中间子数据传递至第三数据处理层308;第三数据
处理层308在接收到所述第二中间子数据的情况下,对所述第二中间子数据进行降噪处理和宽动态处理,得到第一目标子数据。可以理解的是,上述第一数据处理层306每完成对一个维度的子数据的处理,则将处理得到的中间数据传递至下一个图像层;所述第二数据处理层307和第三数据处理层308每接收到一个上一层传递的中间数据之后,则对所接收到的中间数据进行处理。如此,通过对所述数据块中各个维度的数据分别进行亮度增强处理、彩增强处理、对比度增强处理、降噪处理和宽动态处理等图像处理,可以提高所得到的目标图像数据中人脸的清晰度,同时,可以去除图像中的噪点,进而提高电子设备在昏暗环境下,拍摄的人脸图像的质量。其中,图像增强芯片300在对所述数据块进行处理的过程中生成临时变量的情况下,所述图像处理单元302根据所产生的临时变量的使用频率,将所述临时变成存储于对应的数据缓存单元,以进一步降低图像处理过程的延迟。
68.在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
69.在本技术另一个实施例中,所述初始图像数据可以是电子设备当前播放的视频数据的视频序列,其中,该视频数据可以为画质较差的视频数据,例如,所述视频数据中每一帧图像中的清晰度均相对较低,若直接对所述初始图像数据进行显示,将导致用户观看体验较差的问题。请参见图5,所述图像处理单元302包括第一数据处理层306、第二数据处理层307和第三数据处理层308。其中,所述第一数据处理层306用于对所接收到的图像数据进行清晰度处理,所述第二数据处理层307用于对所接收到的图像数据进行降噪处理,所述第三数据处理层308用于对所接收到的图像数据进行锐化处理。基于此,本技术实施例中,为提高电子设备所播放的视频的质量,对初始图像数据的具体处理过程包括:
70.图像信号处理芯片100在对所述初始图像数据进行送显之前,可以对所述初始图像数据中的每一帧图像进行帧内分块处理,得到与每一帧图像对应的至少两个数据块,所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块。其中,每个所述数据块均包括第一子数据、第二子数据和第三子数据,所述第一子数据包括所述数据块中每个像素点的r维度的图像数据;所述第二子数据包括所述数据块中每个像素点的g维度的图像数据;所述第三子数据包括所述数据块中每个像素点的b维度的图像数据。
71.第一数据处理层306在接收到一个数据块之后,先对数据块中的第一子数据进行清晰度处理,得到第一中间子数据;然后,第一数据处理层306将所述第一中间子数据传递至第二数据处理层307,同时,第一数据处理层306继续对所述数据块中的第二子数据进行清晰度处理;相应地,在所述第二数据处理层307接收到第一中间子数据之后,对第一中间子数据进行降噪处理,得到第二中间子数据;然后,所述第二数据处理层307将所述第二中间子数据传递至第三数据处理层308;第三数据处理层308在接收到所述第二中间子数据的情况下,对所述第二中间子数据进行锐化处理,得到第一目标子数据。可以理解的是,上述
第一数据处理层306每完成对一个维度的子数据的处理,则将处理得到的中间数据传递至下一个图像层;所述第二数据处理层307和第三数据处理层308每接收到一个上一层传递的中间数据之后,则对所接收到的中间数据进行处理。如此,通过对获取的数据块进行清晰度处理、降噪处理和锐化处理等图像处理,得到目标图像数据。可以提高所得到的目标图像数据的画质。其中,图像增强芯片300在对所述数据块进行处理的过程中生成临时变量的情况下,所述图像处理单元302根据所产生的临时变量的使用频率,将所述临时变成存储于对应的数据缓存单元,以进一步降低图像处理过程的延迟。
72.在所述图像增强芯片300完成对所述初始图像数据中的各个数据块的处理,得到目标图像数据之后,所述图像增强芯片300将所述目标图像数据回传至所述图像信号处理芯片100,图像信号处理芯片100可以对所述目标图像数据保存。或者,所述图像信号处理芯片100也可以基于与所述显示屏之间的连接,将所述目标图像数据传输至所述显示屏进行显示。
73.具体地,所述图像增强芯片300可以是神经网络处理器(neural-network processing units,npu),由于所述神经网络处理器中自带有大量算子,例如,relu、sigmoid、conv2d、transpose、dense、matmul、tan、pool等算子。在神经网络处理器对图像进行处理过程中可能需要调用各种算子对图像进行处理。对于在图像处理过程中常用的算子,可以通过硬件设计对算子进行硬化,而对于图像处理过程中无需用到的算子,则可以从所述神经网络处理器中移除,以节省图像增强芯片300所需占用的面积。
74.此外,可以在所述神经网络处理器在预先构建并训练用于对图像进行处理的图像处理模型,其中,所述图像处理模型可以采用卷积神经网络(convolutional neural network,cnn)搭建的模型。如此,通过采用卷积神经网络对图像进行处理,有利于降低对图像处理过程中,对现存容量(memory size)和访问带宽的需求。
75.相关技术中,当存在多个图像处理层对同一数据块进行处理时,下一图像处理层通常需要等上一图像处理层完成对整个数据块的处理之后,才能接收上一图像处理层的处理结果,进而在上一图像处理层的处理结果的基础上,进一步进行处理,因此,图像处理过程中的等待时长相对较长,进而导致图像处理延迟较大的问题。
76.在本技术的一些实施例中,由于不同图像处理层对同一数据块进行处理的过程中,上一图像处理层在完成对数据块中的部分维度的数据进行处理之后,即可将处理得到的部分结果传递至下一图像处理层进行进一步处理。如此,下一图像处理层无需等上一图像层完成对整个数据块之后,即可启动对所接收到的部分结果进行处理,从而有利于减少图像处理过程中的等待时长,进而进一步降低图像处理过程中的时延。
77.可选地,所述数据缓存元件200包括静态随机存取存储器。
78.具体地,相关技术中,通常是采用双倍速率同步动态随机存储器作为所述数据缓存元件200,然而,由于双倍速率同步动态随机存储器在运行过程中需要进行动态刷新,因此,双倍速率同步动态随机存储器在运行过程所需消耗的功率较高。
79.该实施方式中,通过采用静态随机存取存储器作为数据缓存元件200,由于静态随机存取存储器在运行过程中无需进行动态刷新,因此,相对于采用双倍速率同步动态随机存储器作为所述数据缓存元件200而言,有利于降低电子设备的功耗。
80.本技术一个实施例还提供了一种图像处理装置,所述图像处理装置包括上述实施
例所述的图像处理电路。
81.该实施方式中,由于图像处理装置包括上述实施例所述的图像处理电路,因此,所述图像处理装置可以实现上述实施例中图像处理电路的各个过程,且具有相同的有益效果,为避免重复,在此不再予以赘述。
82.请参见图6,本技术实施例提供了一种图像处理方法,应用于上述实施例所述的图像处理装置,所述方法包括:
83.步骤601、图像信号处理芯片100对初始图像数据进行帧内分块处理,得到至少两个数据块;
84.步骤602、数据缓存元件200缓存所述图像信号处理芯片100处理得到的至少两个数据块;
85.步骤603、图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,得到目标图像数据。
86.可选地,所述图像信号处理芯片100包括第一输出接口101,所述数据缓存元件200包括第一输入接口201和第二输出接口202,所述图像增强芯片300包括第二输入接口301;
87.所述第一输出接口101和所述第一输入接口201连接,所述第二输出接口202与所述第二输入接口301连接;
88.所述图像信号处理芯片100对初始图像数据进行帧内分块处理,得到至少两个数据块,包括:
89.所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;
90.所述数据缓存元件200缓存所述图像信号处理芯片100处理得到的至少两个数据块,包括:
91.所述数据缓存元件200通过所述第一输入接口201,接收所述图像信号处理芯片100传输的每个数据块,并缓存每个数据块;
92.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
93.所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行图像处理。
94.可选地,所述图像增强芯片300包括图像处理单元302和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元302与每个数据缓存单元连接;
95.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
96.所述图像处理单元302对所述数据缓存元件200缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;
97.在所述图像处理单元302处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元302将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;
98.其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。
99.可选地,所述数据块包括n个维度的图像处理,所述n为大于1的整数;所述图像增强芯片300包括图像处理单元302,所述图像处理单元302包括至少两个图像处理层,所述至少两个图像处理层依次连接;
100.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
101.所述至少两个图像处理层分别对所述n个维度的图像处理进行不同类型的图像处理;
102.其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。
103.可选地,所述数据缓存件包括静态随机存取存储器。
104.该实施例为与上述实施例所述的图像处理装置相对于的图像处理方法,其具体实现过程与上述图像处理装置的工作过程类似,为避免重复,在此不再予以赘述。
105.如图7所示,本技术的一些实施例还提供了一种电子设备700,包括图像处理电路,处理器701,存储器702,其中,所述图像处理电路为上述实施例中所述的图像处理电路,存储在存储器702上并可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
106.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
107.图8为实现本技术实施例的一种电子设备的硬件结构示意图。
108.该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
109.其中,图像信号处理芯片100可以为处理器810,或者图像信号处理芯片100包括处理器810,即处理器810集成在图像信号处理芯片100上。图像处理电路,包括图像信号处理芯片100、数据缓存元件200和图像增强芯片300,所述图像信号处理芯片100与所述数据缓存元件200连接,所述据缓存元件与所述图像增强芯片300连接;所述图像信号处理芯片100用于对初始图像数据进行帧内分块处理,得到至少两个数据块;所述数据缓存元件200用于缓存所述图像信号处理芯片100处理得到的至少两个数据块;所述图像增强芯片300用于对所述数据缓存元件200缓存的至少两个数据块进行图像处理,得到目标图像数据。
110.可选地,请参见图1,所述图像信号处理芯片100包括第一输出接口101,所述数据缓存元件200包括第一输入接口201和第二输出接口202,所述图像增强芯片300包括第二输入接口301;
111.所述第一输出接口101和所述第一输入接口201连接,所述第二输出接口202与所述第二输入接口301连接;
112.所述图像信号处理芯片100还用于在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;
113.所述数据缓存元件200还用于通过所述第一输入接口201,接收所述图像信号处理芯片100传输的每个数据块,并缓存每个数据块;
114.所述图像增强芯片300还用于在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行图像处理。
115.可选地,请参见图4,所述图像增强芯片300包括图像处理单元302和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元302与每个数据缓存单元连接;
116.所述图像处理单元302用于对所述数据缓存元件200缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;
117.在所述图像处理单元302处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元302还用于将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;
118.其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。
119.可选地,请参见图5,所述数据块包括n个维度的图像数据,所述n为大于1的整数;所述图像增强芯片300包括图像处理单元302,所述图像处理单元302包括至少两个图像处理层,所述至少两个图像处理层依次连接;
120.所述至少两个图像处理层分别用于对所述n个维度的图像处理进行不同类型的图像处理;
121.其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。
122.可选地,所述数据缓存元件200包括静态随机存取存储器。
123.本技术实施例提供了一种基于所述电子设备800的图像处理方法,包括:
124.图像信号处理芯片100对初始图像数据进行帧内分块处理,得到至少两个数据块;
125.数据缓存元件200缓存所述图像信号处理芯片100处理得到的至少两个数据块;
126.图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,得到目标图像数据。
127.可选地,请参见图1,所述图像信号处理芯片100包括第一输出接口101,所述数据缓存元件200包括第一输入接口201和第二输出接口202,所述图像增强芯片300包括第二输入接口301;
128.所述第一输出接口101和所述第一输入接口201连接,所述第二输出接口202与所述第二输入接口301连接;
129.所述图像信号处理芯片100对初始图像数据进行帧内分块处理,得到至少两个数据块,包括:
130.所述图像信号处理芯片100在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口101,将所述数据块传输至所述数据缓存元件200;
131.所述数据缓存元件200缓存所述图像信号处理芯片100处理得到的至少两个数据块,包括:
132.所述数据缓存元件200通过所述第一输入接口201,接收所述图像信号处理芯片100传输的每个数据块,并缓存每个数据块;
133.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
134.所述图像增强芯片300在所述数据缓存元件200每缓存一个数据块的情况下,通过所述第二输入接口301,从所述数据缓存元件200中获取每个数据块,并对获取的数据块进行图像处理。
135.可选地,请参见图4,所述图像增强芯片300包括图像处理单元302和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元302与每个数据缓存单元连接;
136.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
137.所述图像处理单元302对所述数据缓存元件200缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;
138.在所述图像处理单元302处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元302将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;
139.其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。
140.可选地,请参见图5,所述数据块包括n个维度的图像处理,所述n为大于1的整数;所述图像增强芯片300包括图像处理单元302,所述图像处理单元302包括至少两个图像处理层,所述至少两个图像处理层依次连接;
141.所述图像增强芯片300对所述数据缓存元件200缓存的至少两个数据块进行图像处理,包括:
142.所述至少两个图像处理层分别对所述n个维度的图像处理进行不同类型的图像处理;
143.其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。
144.可选地,所述数据缓存件包括静态随机存取存储器。
145.本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布
置,在此不再赘述。
146.应理解的是,本技术实施例中,输入单元804可以包括图形处理器(graphics processing unit,gpu)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器809可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
147.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
148.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
149.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
150.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
151.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
152.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本技术各个实施例所述的方法。
153.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体
实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
154.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
155.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
技术特征:
1.一种图像处理电路,其特征在于,包括图像信号处理芯片、数据缓存元件和图像增强芯片,所述图像信号处理芯片与所述数据缓存元件连接,所述据缓存元件与所述图像增强芯片连接;所述图像信号处理芯片用于对初始图像数据进行帧内分块处理,得到至少两个数据块;所述数据缓存元件用于缓存所述图像信号处理芯片处理得到的至少两个数据块;所述图像增强芯片用于对所述数据缓存元件缓存的至少两个数据块进行图像处理,得到目标图像数据。2.根据权利要求1所述的图像处理电路,其特征在于,所述图像信号处理芯片包括第一输出接口,所述数据缓存元件包括第一输入接口和第二输出接口,所述图像增强芯片包括第二输入接口;所述第一输出接口和所述第一输入接口连接,所述第二输出接口与所述第二输入接口连接;所述图像信号处理芯片还用于在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口,将所述数据块传输至所述数据缓存元件;所述数据缓存元件还用于通过所述第一输入接口,接收所述图像信号处理芯片传输的每个数据块,并缓存每个数据块;所述图像增强芯片还用于在所述数据缓存元件每缓存一个数据块的情况下,通过所述第二输入接口,从所述数据缓存元件中获取每个数据块,并对获取的数据块进行图像处理。3.根据权利要求1所述的图像处理电路,其特征在于,所述图像增强芯片包括图像处理单元和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元与每个数据缓存单元连接;所述图像处理单元用于对所述数据缓存元件缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;在所述图像处理单元处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元还用于将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。4.根据权利要求1所述的图像处理电路,其特征在于,所述数据块包括n个维度的图像数据,所述n为大于1的整数;所述图像增强芯片包括图像处理单元,所述图像处理单元包括至少两个图像处理层,所述至少两个图像处理层依次连接;所述至少两个图像处理层分别用于对所述n个维度的图像处理进行不同类型的图像处理;其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。5.根据权利要求1所述的图像处理电路,其特征在于,所述数据缓存元件包括静态随机
存取存储器。6.一种图像处理装置,其特征在于,包括权利要求1-5中任一项所述的图像处理电路。7.一种图像处理方法,应用于权利要求6所述的图像处理装置,其特征在于,所述方法包括:图像信号处理芯片对初始图像数据进行帧内分块处理,得到至少两个数据块;数据缓存元件缓存所述图像信号处理芯片处理得到的至少两个数据块;图像增强芯片对所述数据缓存元件缓存的至少两个数据块进行图像处理,得到目标图像数据。8.根据权利要求7所述的方法,其特征在于,所述图像信号处理芯片包括第一输出接口,所述数据缓存元件包括第一输入接口和第二输出接口,所述图像增强芯片包括第二输入接口;所述第一输出接口和所述第一输入接口连接,所述第二输出接口与所述第二输入接口连接;所述图像信号处理芯片对初始图像数据进行帧内分块处理,得到至少两个数据块,包括:所述图像信号处理芯片在对所述初始图像数据进行帧内分块处理的过程中,每处理得到一个数据块,通过所述第一输出接口,将所述数据块传输至所述数据缓存元件;所述数据缓存元件缓存所述图像信号处理芯片处理得到的至少两个数据块,包括:所述数据缓存元件通过所述第一输入接口,接收所述图像信号处理芯片传输的每个数据块,并缓存每个数据块;所述图像增强芯片对所述数据缓存元件缓存的至少两个数据块进行图像处理,包括:所述图像增强芯片在所述数据缓存元件每缓存一个数据块的情况下,通过所述第二输入接口,从所述数据缓存元件中获取每个数据块,并对获取的数据块进行图像处理。9.根据权利要求7所述的方法,其特征在于,所述图像增强芯片包括图像处理单元和至少两个数据处理性能不同的数据缓存单元,所述图像处理单元与每个数据缓存单元连接;所述图像增强芯片对所述数据缓存元件缓存的至少两个数据块进行图像处理,包括:所述图像处理单元对所述数据缓存元件缓存的至少两个数据块进行图像处理,并将处理得到的每个数据块存储至所述数据缓存单元;在所述图像处理单元处理所述至少两个数据块的过程中生成临时变量的情况下,所述图像处理单元将所述临时变量存储于所述临时变量的使用频率对应的数据缓存单元;其中,所述临时变量的使用频率与所述数据缓存单元的数据处理性能正相关。10.根据权利要求7所述的方法,其特征在于,所述数据块包括n个维度的图像处理,所述n为大于1的整数;所述图像增强芯片包括图像处理单元,所述图像处理单元包括至少两个图像处理层,所述至少两个图像处理层依次连接;所述图像增强芯片对所述数据缓存元件缓存的至少两个数据块进行图像处理,包括:所述至少两个图像处理层分别对所述n个维度的图像处理进行不同类型的图像处理;其中,任意相邻的两个所述图像处理层中的第一图像处理层的输出为第二图像处理层的输入,且在所述第一图像处理层每完成对一个维度的图像处理,得到一个维度的中间图像数据的情况下,所述第一图像处理层用于将所述一个维度的中间图像数据传输至所述第
二图像处理层;所述第二图像处理层在每接收到一个所述一个维度的中间数据的情况下,所述第二图像处理层用于对所接收到的所述一个维度的中间图像数据进行图像处理。11.根据权利要求7至10中任意一项所述的方法,其特征在于,所述数据缓存件包括静态随机存取存储器。12.一种电子设备,其特征在于,包括权利要求1至5中任一项所述的图像处理电路,处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求7至11中任一项所述的图像处理方法的步骤。13.一种图像处理芯片,其特征在于,所述图像处理芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述通信接口用于传输图像数据,所述处理器用于运行程序或指令,实现如权利要求7至11中任一项所述的图像处理方法中的图像增强芯片执行的步骤。14.一种处理器芯片,其特征在于,所述处理器芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述通信接口用于传输图像数据,所述处理器用于运行程序或指令,实现如权利要求7至11中任一项所述的图像处理方法中的图像信号处理芯片执行的步骤。
技术总结
本申请提供了一种图像处理电路、装置、方法、芯片及电子设备,涉及数据处理技术领域。所述图像处理电路,包括图像信号处理芯片、数据缓存元件和图像增强芯片,所述图像信号处理芯片与所述数据缓存元件连接,所述据缓存元件与所述图像增强芯片连接;所述图像信号处理芯片用于对初始图像数据进行帧内分块处理,得到至少两个数据块;所述数据缓存元件用于缓存所述图像信号处理芯片处理得到的至少两个数据块;所述图像增强芯片用于对所述数据缓存元件缓存的至少两个数据块进行图像处理,得到目标图像数据。像数据。像数据。
技术研发人员:
刘海林 黄常君
受保护的技术使用者:
维沃移动通信有限公司
技术研发日:
2022.09.09
技术公布日:
2023/2/2