基于频域分离网络的轻量图像超分辨率重建方法和装置

阅读：评论：0

1.本发明属于图像处理技术领域，更具体地，涉及一种基于频域分离网络的轻量图像超分辨率重建方法和装置。

背景技术：

2.图像超分辨率是通过硬件或软件的方法提高原有图像的分辨率，即利用低分辨率(lr)图像生成高分辨率(hr)图像。由于图像超分辨重建技术能在一定程度上修正由于环境或设备因素造成损坏的图像，因此该技术被广泛运用到安防、医学、遥感、影像等各个邻域，是图像处理技术的核心问题之一。
3.传统的图像超分辨率方法根据原理主要分为三类，即基于插值、基于退化以及基于学习的超分辨率算法。其中基于插值的方法是利用数学公式，直接利用已知的邻近像素点估计待插入像素点的值来实现图像超分重建过程的一种非迭代空间域算法；基于退化的方法则是利用图像降质模型来建立低分辨率图像与高分辨率图像之间的映射关系实现约束优化求解；基于学习的方法则是直接学习低分辨率图像与高分辨率图像之间的映射关系实现直接重建。传统的方法虽然取得了很大的成功，但是重建质量仍然有限，人为定义的先验知识已经不能满足需求。近年来，基于深度学习的超分辨率方法逐渐成为了主流，取得了目前最先进的水平。得益于强大的计算能力和大型的数据集，基于深度学习的方法与传统方法相比可以更好的学习到特征表示，并取得了更好的视觉效果。
4.然而，基于深度学习的方法往往会通过增加网络的深度来提高模型的性能，这意味着需要更大的参数量及计算开销，受到硬件设备的约束，直接部署这类方法在如移动设备、安防设备上并不现实现。

技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于频域分离网络的轻量图像超分辨率重建方法和装置，其目的在于设计基于频域分离网络对应的傅里叶残差模块组，减少了冗余结构，得到了轻量的超分辨率网络，使得网络在保持良好性能的同时大大的减少了所需要的参数量和算力，由此解决现有图像超分辨率重建方法计算复杂度高的技术问题。
6.为实现上述目的，按照本发明的一个方面，提供了一种基于频域分离网络的轻量图像超分辨率重建方法，包括：
7.s1：利用预设尺寸的卷积对待处理的低分辨率图像i
lr
进行浅层特征提取，获得浅层特征f0；
8.s2：利用基于频域分离网络的傅里叶残差模块组对所述浅层特征f0进行深层特征提取，得到各所述基于频域分离网络的傅里叶残差模块对应的深层特征；
9.s3：将各所述基于频域分离网络的傅里叶残差模块对应的深层特征进行合并，再利用卷积进行特征融合得到融合特征f
fused
；
10.s4：将所述浅层信息f0作为残差信息和所述融合特征f
fused
进行结合，从而生成高分辨率图像i
hr
。
11.在其中一个实施例中，各所述基于频域分离网络的傅里叶残差模块的基本单元为快速傅立叶卷积ffc；
12.所述快速傅立叶卷积ffc通过分析空间域和频谱域的特征，能够获取非局部感受野，在卷积内实现跨尺度融合。
13.在其中一个实施例中，所述s2包括：
14.s21：将所述浅层特征f0输入第一个基于频域分离网络的傅里叶残差模块，所述基于频域分离网络的傅里叶残差模块执行如下操作：
15.利用频域分离网络进行高低频分离得到第一低频信息f
low
和第一高频信息f
high
；将所述第一低频信息f
low
输入预设网络进行特征提取得到第二低频信息；将所述第一高频信息f
high
输入高频蒸馏模块依照通道进行拆分得到f
hl1
和f
hr1
；f
hl1
经过一层ffc进行特征提取得第一层蒸馏特征f
hd1
；f
hr1
经过快速傅里叶模块ffcb进行特征提取，ffcb包括ffc和gelu激活函数；其中，f
hr1
作为残差和通过所述ffcb中ffc生成的特征f'
hr1
相加一起送入所述gelu激活函数得到f
hr2
；将f
hr2
作为待处理特征执行利用所述第一高频信息f
high
得到f
hd1
和f
hr2
的过程得到f
hd2
和f
hr3
；将f
hr3
作为待处理特征执行利用所述第一高频信息f
high
得到f
hd1
和f
hr2
的过程得到f
hd3
和f
hr4
；对f
hr4
进行ffcb和ffc特征提取得到最终蒸馏特征f
hd4
；将输入第一高频信息f
high
和f
hd1
、f
hd2
、f
hd3
、f
hd4
相加一起送入卷积进行特征融合，再送入空间注意力层得到第二高频信息；将所述第二高频信息和所述第二低频信息叠加，得到第一个所述基于频域分离网络的傅里叶残差模块对应的深层特征；
16.s22：将所述s21得到的结果输入第二个所述基于频域分离网络的傅里叶残差模块，得到第二个所述基于频域分离网络的傅里叶残差模块对应的深层特征，多次迭代得到第三至第n个所述基于频域分离网络的傅里叶残差模块对应的深层特征。
17.在其中一个实施例中，所述频域分离网络包括高斯滤波器；
18.将所述浅层特征f0经过所述高斯滤波器，获得所述浅层特征的低频信息f
low
，将所述浅层特征减去所述低频信息f
low
得到所述高频信息f
high
。
19.在其中一个实施例中，所述预设网络包括依次连接的；ffc、gelu激活层和ffc。
20.在其中一个实施例中，所述s4包括：
21.将所述浅层信息f0作为残差信息和所述融合特征f
fused
结合并送入卷积，以将特征转换到适合上采样的目标特征f
up
；
22.利用亚像素模块对所述目标特征f
up
进行上采样得到高分辨率图像i
hr
。
23.按照本发明的另一方面，提供了一种基于频域分离网络的轻量图像超分辨率重建装置，用于执行所述的基于频域分离网络的轻量图像超分辨率重建方法，包括：
24.浅层提取模块，用于利用预设尺寸的卷积对待处理的低分辨率图像i
lr
进行浅层特征提取，获得浅层特征f0；
25.深层提取模块，用于利用基于频域分离网络的傅里叶残差模块组对所述浅层特征f0进行深层特征提取，得到各所述基于频域分离网络的傅里叶残差模块对应的深层特征；
26.特征合并模块，用于将各所述基于频域分离网络的傅里叶残差模块对应的深层特征进行合并，再利用卷积进行特征融合得到融合特征f
fused
；
27.图像生成模块，用于将所述浅层信息f0作为残差信息和所述融合特征f
fused
进行结合，从而生成高分辨率图像i
hr
。
28.按照本发明的另一方面，提供了一种图像处理设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。
29.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
30.(1)本发明设计基于频域分离网络的的傅里叶残差模块组对所述浅层特征f0进行深层特征提取，对自然图像的高低频信息采用不同的处理方式，和以往的超分辨率方法相比，减少了其中的冗余结构得到一个轻量的超分辨率网络，使得网络在保持良好性能的同时大大的减少了所需要的参数量和算力。本发明能够在减少对计算资源的需求的同时保证高质量的图像重建效果；
31.(2)针对高频信息，使用残差蒸馏网络深度提取高频信息；针对低频信息，使用两层网络即可实现信息提取；高频信息和低频信息分别处理能够进一步保证超分辨率网络重建的效果；
32.(3)本发明使用快速傅里叶卷积作为基本网络单元，增大网络感受野，实现多尺度信息融合，提升网络性能。
附图说明
33.图1是本发明实施例提供的一种基于频域分离网络的轻量图像超分辨率方法的流程图；
34.图2是本发明实施例提供的一种基于频域分离网络的轻量图像超分辨率的整体架构示意图；
35.图3是本发明实施例提供的一种基于频域分离网络的傅里叶残差模块架构的示意图；
36.图4是本发明实施例提供的一种高频蒸馏模块架构示意图；
37.图5是本发明实施例重建后的超分辨率效果图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
39.图1为本发明提供的一种基于频域分离网络的轻量图像超分辨率方法的流程图，图2为本发明提出的一种基于频域分离网络的轻量图像超分辨率方法的整体架构，结合图1和图2可知，该方法整体流程为：
40.s1：输入待处理的低分辨率图像i
lr
，利用一个3x3的卷积对低分辨率图像i
lr
进行浅层的特征提取，获得浅层特征f0。
41.s2：使用本发明提出的基于频域分离网络的傅里叶残差模块组对浅层特征f0进行深层特征提取后得到深层特征f
1-f6。
42.s3：将每层输出的深层特征合并，送入1x1卷积和3x3卷积进行特征融合得到最终特征f
fused
。
43.s4：将提取的浅层信息f0作为残差信息和f
fused
结合送入一个3x3卷积将特征转换到适合上采样的特征f
up
，再由sub-pixel(亚像素)模块将f
up
上采样为最终需要的高分辨率图像i
hr
。
44.本发明提出了一种基于频域分离网络的傅里叶残差模块组：高分辨率图像在下采样过程中，其高频信息会受到严重破坏，而低频信息则损失较少，因此如果对高低频信息使用相同的计算资源会造成计算冗余。事实上，重建高频信息需要较大的计算资源，而低频信息则不需要。基于这样的前提，将每一个模块的输入利用高斯滤波实现高低频信息分离，分别处理之后再重新相加送到下一个模块处理。
45.进一步的，超分辨率任务非常需要卷积中的大感受野，以前的工作往往是将卷积与小感受野深度叠加。虽然小卷积核和大卷积核相比所需的计算量较小，但是多层叠加仍然需要较多算力，本发明主要利用快速傅立叶卷积(ffc)作为基于频域分离网络的傅里叶残差模块架构的基本单元。快速傅立叶卷积(ffc)通过分析空间域和频谱域的特征，高效获取非局部感受野，在卷积单元内实现跨尺度融合。
46.进一步的，为了让网络能够更好的处理(1)中提出的高频信息，本发明提出了高频蒸馏模块，将提取的高频信息送入其中，模块中的每一层都首先将上一层的输入根据通道拆分成两部分，其中一部分送入到下一层进一步处理，另一部分蒸馏出来。最后将所有蒸馏出来的信息结合起来，送入1x1的卷积融合，再送入空间注意力层，进一步帮助网络专注于有利于增强图像细节的结构、纹理、边缘等信息。
47.进一步的，为了让网络能够更好的处理(1)中提出的低频信息，本发明提出了低频处理模块，将提取的低频信息送入其中，每一个模块只由简单的两层傅里叶卷积构成。
48.图3是本发明实施例提供的一种基于频域分离网络的傅里叶残差模块架构的示意图，具体描述了s2，s2中进行深层特征提取的过程包括：
49.首先将s1中获得的浅层信息f0送入基于频域分离网络的傅里叶残差模块架构，对于超分辨率任务，非常需要卷积中的大感受野，以前的工作往往是将卷积与小感受野深度叠加。虽然小卷积核和大卷积核相比所需的计算量较小，但是多层叠加仍然需要较多算力，本发明主要利用快速傅立叶卷积(ffc)作为基于频域分离网络的傅里叶残差模块架构的基本单元。快速傅立叶卷积(ffc)通过分析空间域和频谱域的特征，高效获取非局部感受野，在卷积单元内实现跨尺度融合。此外，本发明使用特征蒸馏操作来轻量细化特征。
50.具体的，输入的特征首先会经过一个频域分离网络，将特征的高低频分离。具体的，该频域分离网络由一个核大小为9x9，σ为25的高斯滤波器构成。特征经过高斯滤波会获得特征的低频信息f
low
，将原特征图减去低频信息f
low
就会得到该特征图的高频信息f
high
。得到的低频信息f
low
和高频信息f
high
分别进行不同的处理。前文分析过，高分辨率图像在下采样过程中，其高频信息会受到严重破坏，而低频信息则损失较少，因此如果对高低频信息使用相同的计算资源会造成计算冗余。事实上，重建高频信息需要较大的计算资源，而低频信息则不需要。因此，针对低频信息f
low
，直接使用一个简单的网络进行提取。这个简单网络包括一个3x3的ffc、gelu激活层和一个1x1的ffc；针对高频信息f
high
，则送入专门设计的高频蒸馏模块进行处理。
51.图4是本发明实施例提供的一种高频蒸馏模块架构示意图，送入的高频信息f
high
首先会被依照通道拆分。
52.具体而言，输入的特征f
high
的通道数为50，则首先会被拆成两个通道为25的特征图f
hl1
和f
hr1
，f
hl1
经过一个1x1的ffc进行蒸馏特征提取得第一层蒸馏特征f
hd1
，f
hr1
则使用快速傅里叶模块(ffcb)进行进一步的特征提取，ffcb由一个3x3的ffc和一个gelu激活函数构成，输入的浅层特征作为残差和通过3x3的ffc生成的特征相加一起送入gelu激活函数得到深层提取的特征f
hr2
。对提取出来的深层特征f
hr2
重复上述过程，会得到蒸馏特征f
hd2
和提取的深层特征f
hl3
；对提取出来的深层特征f
hr3
重复上述过程，会得到蒸馏特征f
hd3
和提取的深层特征f
hr4
；对f
hr4
进行最后一次ffcb信息提取，再送入一个3x3的ffc得到最终特征f
hl4
，最后将输入特征f
high
和蒸馏特征f
hd1
、f
hd2
、f
hd3
、f
hd4
相加一起送入1x1的卷积进行特征融合，再送入一个空间注意力层进一步帮助网络专注于有利于增强图像细节的结构、纹理、边缘等信息得到最终该模块的输出。将处理之后的高频信息和低频信息相加，得到了基于频域分离网络的傅里叶残差模块架构的最终输出，作为下一个该模块的输入，该模块总共迭代6次，从而获得s2的输出f
1-f6。
53.图5中左图为本发明实施例提供的原低分辨率图像；利用本发明进行图像高分辨率重建，最后得到的i
hr
效果如图5中右图所示。
54.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，包括：s1：利用预设尺寸的卷积对待处理的低分辨率图像i
lr
进行浅层特征提取，获得浅层特征f0；s2：利用基于频域分离网络的傅里叶残差模块组对所述浅层特征f0进行深层特征提取，得到各所述基于频域分离网络的傅里叶残差模块对应的深层特征；s3：将各所述基于频域分离网络的傅里叶残差模块对应的深层特征进行合并，再利用卷积进行特征融合得到融合特征f
fused
；s4：将所述浅层信息f0作为残差信息和所述融合特征f
fused
进行结合，从而生成高分辨率图像i
hr
。2.如权利要求1所述的基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，各所述基于频域分离网络的傅里叶残差模块的基本单元为快速傅立叶卷积ffc；所述快速傅立叶卷积ffc通过分析空间域和频谱域的特征，能够获取非局部感受野，在卷积内实现跨尺度融合。3.如权利要求1所述的基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，所述s2包括：s21：将所述浅层特征f0输入第一个基于频域分离网络的傅里叶残差模块，所述基于频域分离网络的傅里叶残差模块执行如下操作：利用频域分离网络进行高低频分离得到第一低频信息f
low
和第一高频信息f
high
；将所述第一低频信息f
low
输入预设网络进行特征提取得到第二低频信息；将所述第一高频信息f
high
输入高频蒸馏模块依照通道进行拆分得到f
hl1
和f
hr1
；f
hl1
经过一层ffc进行特征提取得第一层蒸馏特征f
hd1
；f
hr1
经过快速傅里叶模块ffcb进行特征提取，ffcb包括ffc和gelu激活函数；其中，f
hr1
作为残差和通过所述ffcb中ffc生成的特征f'
hr1
相加一起送入所述gelu激活函数得到f
hr2
；将f
hr2
作为待处理特征执行利用所述第一高频信息f
high
得到f
hd1
和f
hr2
的过程得到f
hd2
和f
hr3
；将f
hr3
作为待处理特征执行利用所述第一高频信息f
high
得到f
hd1
和f
hr2
的过程得到f
hd3
和f
hr4
；对f
hr4
进行ffcb和ffc特征提取得到最终蒸馏特征f
hd4
；将输入第一高频信息f
high
和f
hd1
、f
hd2
、f
hd3
、f
hd4
相加一起送入卷积进行特征融合，再送入空间注意力层得到第二高频信息；将所述第二高频信息和所述第二低频信息叠加，得到第一个所述基于频域分离网络的傅里叶残差模块对应的深层特征；s22：将所述s21得到的结果输入第二个所述基于频域分离网络的傅里叶残差模块，得到第二个所述基于频域分离网络的傅里叶残差模块对应的深层特征，多次迭代得到第三至第n个所述基于频域分离网络的傅里叶残差模块对应的深层特征。4.如权利要求3所述的基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，所述频域分离网络包括高斯滤波器；将所述浅层特征f0经过所述高斯滤波器，获得所述浅层特征的低频信息f
low
，将所述浅层特征减去所述低频信息f
low
得到所述高频信息f
high
。5.如权利要求3所述的基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，所述预设网络包括依次连接的；ffc、gelu激活层和ffc。6.如权利要求1-5任一项所述的基于频域分离网络的轻量图像超分辨率重建方法，其特征在于，所述s4包括：
将所述浅层信息f0作为残差信息和所述融合特征f
fused
结合并送入卷积，以将特征转换到适合上采样的目标特征f
up
；利用亚像素模块对所述目标特征f
up
进行上采样得到高分辨率图像i
hr
。7.一种基于频域分离网络的轻量图像超分辨率重建装置，其特征在于，用于执行权利要求1-6任一项所述的基于频域分离网络的轻量图像超分辨率重建方法，包括：浅层提取模块，用于利用预设尺寸的卷积对待处理的低分辨率图像i
lr
进行浅层特征提取，获得浅层特征f0；深层提取模块，用于利用基于频域分离网络的傅里叶残差模块组对所述浅层特征f0进行深层特征提取，得到各所述基于频域分离网络的傅里叶残差模块对应的深层特征；特征合并模块，用于将各所述基于频域分离网络的傅里叶残差模块对应的深层特征进行合并，再利用卷积进行特征融合得到融合特征f
fused
；图像生成模块，用于将所述浅层信息f0作为残差信息和所述融合特征f
fused
进行结合，从而生成高分辨率图像i
hr
。8.一种图像处理设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

技术总结

本发明公开了一种基于频域分离网络的轻量图像超分辨率重建方法和装置，属于图像处理技术领域，所述方法包括：S1：利用预设尺寸的卷积对待处理的低分辨率图像进行浅层特征提取获得浅层特征；S2：利用基于频域分离网络的傅里叶残差模块组对浅层特征进行深层特征提取得到各模块对应的深层特征；S3：合并各模块对应的深层特征再利用卷积进行特征融合得到融合特征；S4：将浅层信息作为残差信息和融合特征进行结合，从而生成高分辨率图像。本发明设计基于频域分离网络对应的傅里叶残差模块组，减少了冗余结构，在保持网络良好性能的同时大大的减少所需要的参数量和算力，由此解决现有图像超分辨率重建方法计算复杂度高的技术问题。题。题。