图像重建方法及装置、设备、存储介质与流程

阅读：评论：0

1.本技术实施例涉及图像技术，涉及但不限于图像重建方法及装置、设备、存储介质。

背景技术：

2.图像的分辨率是图像质量的重要评估标准，能够体现图像的精细程度，更高的分辨率的图像携带着更多的可用信息。通常可以利用低分辨率图像，通过图像重建的方式得到高分辨率图像。然而，目前的图像重建方法所得到的高分辨率图像中，往往存在图像不够真实的问题。

技术实现要素：

3.有鉴于此，本技术实施例提供的图像重建方法及装置、设备、存储介质，一方面，能够更好的利用网络不同深度的特征信息，进而提升目标图像的重建效果；另一方面，能够解决网络过深引起的梯度弥散和梯度爆炸问题，进而有效提升生成器网络的性能，使得生成的目标图像更加真实。本技术实施例提供的图像重建方法及装置、设备、存储介质是这样实现的：
4.本技术实施例提供的图像重建方法，包括：所述生成器网络包括特征提取单元、特征增强单元以及图像重建单元，其中，所述特征增强单元中包括多个依次串联的特征增强子单元，所述方法包括：将待处理图像输入至所述特征提取单元进行特征提取，得到初始特征图；将所述初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。
5.本技术实施例提供的生成器网络，包括：特征提取单元，用于对待处理图像进行特征提取，得到初始特征图；特征增强模块，包括多个特征增强单元，用于：将所述初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出，分别进行特征增强；图像重建单元，用于将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。
6.本技术实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术实施例所述的方法。
7.本技术实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例提供的所述的方法。
8.在本技术实施例中，提供一种图像重建方法，通过将待处理图像输入至特征提取
单元进行特征提取，得到初始特征图；然后将初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；最终将所述特征增强单元的输出结果输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。如此，使得每一个特征增强子单元的输入均为上一个特征增强子单元的输出特征图和初始特征图；这样，一方面，能够将前一特征增强子单元得到的相对浅层的特征图中的特征信息和初始特征图中的特征信息传递至深层网络中，从而更好地利用网络不同深度的特征信息，进而提升目标图像的重建效果；另一方面，通过这种跳跃连接的方式，使得每一个特征增强子单元要学习的都是初始特征图与上一个特征增强模块输出的特征图融合后的特征值，降低了每个特征增强子单元学习的难度，从而能够解决网络过深引起的梯度弥散和梯度爆炸问题，进而有效提升生成器网络的性能，使得生成的目标图像更加真实。
附图说明
9.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
10.图1为本技术实施例提供的一种图像重建方法的实现流程示意图；
11.图2为本技术实施例提供的一种图像重建方法的实现流程示意图；
12.图3为本技术实施例提供的一种图像重建方法的实现流程示意图；
13.图4为本技术实施例提供的生成对抗网络结构示意图；
14.图5为本技术实施例提供的一种图像重建方法的总体流程图；
15.图6为本技术实施例提供的一种图像重建方法的整体网络模型架构图；
16.图7为本技术实施例提供的生成器网络的结构示意图；
17.图8为本技术实施例提供的递归卷积模块结构示意图；
18.图9为本技术实施例提供的特征注意子网络结构示意图；
19.图10为本技术实施例提供的跳跃连接结构示意图；
20.图11为本技术实施例提供的判别器网络的结构示意图；
21.图12为本技术实施例提供的生成器网络的结构示意图；
22.图13为本技术实施例提供的电子设备的结构示意图。
具体实施方式
23.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
24.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
25.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
的情况下相互结合。
26.需要指出，本技术实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
27.本技术实施例提供一种图像重建方法，该方法应用于电子设备，该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备。例如，所述电子设备可以包括个人计算机、笔记本电脑、掌上电脑或服务器等；该电子设备还可以为移动终端，例如所述移动终端可以包括手机、车载电脑、平板电脑或投影仪等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
28.图1为本技术实施例提供的图像重建方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤103：
29.步骤101，将待处理图像输入至特征提取单元进行特征提取，得到初始特征图。
30.生成器网络，是指对待处理图像进行处理，以得到预期的目标图像的网络结构。在一些实施例中，待处理图像可以为低分辨率图像，通过生成器网络，能够将低分辨率图像生成为超分辨率图像(也即目标图像)，从而实现图像重建。
31.在本技术实施例中，接收待处理图像的生成器网络是已经训练好的，也就是说，该生成器网络能够生成与标准图像差距较小的，符合要求的目标图像。
32.在一些实施例中，利用特征提取单元中包含的一个3*3的卷积层，对待处理图像进行特征提取，得到初始特征图。当然，卷积层的大小也可以2*3、4*4或5*5等任意大小。在卷积神经网络中，卷积层的作用是提取图像更高维的特征，因此，利用3*3的卷积层，对待处理图像进行特征提取，能够将待处理图像转换到高维特征，并过滤掉一部分低频信息，当然，该初始特征图中仍然存在未被过滤的低频信息。可以理解地，高维特征的语义信息比较丰富，也即，初始特征图中包含的语义信息较为丰富。
33.步骤102，将初始特征图输入至特征增强单元中与特征提取单元连接的特征增强子单元，以使得特征增强单元中的其他各个特征增强子单元，能够利用初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强。
34.在卷积神经网络中，对于同一个特征图，每多利用卷积层执行一次卷积处理，就能够提取出更深层次的特征。而在步骤101中，初始特征图是待处理图像经由一个特定大小(比如3*3、2*3、4*4或5*5等任意大小)的卷积层，进行一次卷积得到的，因此，其包含的特征信息是较为浅层的信息，而仅靠浅层信息进行图像重建是远远不够的，因此还需要对初始特征图进行增强处理，以得到更深层次的特征信息。
35.在本技术实施例中，每一个特征增强子单元的输入中均包括初始特征图和上一个特征增强子单元输出的特征图。可以理解地，上一个特征增强子单元输出的特征图，相对于当前特征增强子单元而言，为相对浅层的特征图；同样，当前特征增强子单元输出的特征图，相对于下一特征增强子单元而言，也为相对浅层的特征图；且初始特征图中包含的信息为最初始的浅层特征信息。
36.举例来说，在通过特征增强单元中的各个特征增强子单元进行特征增强时，实现
方式可以为：上一特征增强子单元输出的特征图和初始特征图输入至当前特征增强子单元中，得到输出的特征图；然后，将当前特征增强子单元输出的特征图和初始特征图输入至下一特征增强子单元中，得到输出的特征图；直至获得最后一特征增强子单元输出的特征图为止。
37.需要说明的是，当前特征增强子单元与特征增强单元中的第一个特征增强子单元可以相同也可以不同；当前特征增强子单元与下一特征增强子单元相同。
38.如果所有特征增强子单元都相同，将两个相同的初始特征图输入至特征增强单元中的第一个特征增强子单元中，利用第一个特征增强子单元中的卷积层对两个初始特征图分别进行特征提取，以得到更深层次的两个特征图，并将提取后得到的两个特征图中同一元素位置的特征值进行融合，得到输出的特征图；然后利用当前特征增强子单元中的卷积层对初始特征图和上一特征增强子单元输出的特征图分别进行特征提取，同样得到更深层次的两个特征图，并将提取后得到的两个特征图中同一元素位置的特征值进行融合，得到对应输出的特征图；再利用下一特征增强子单元中的卷积层对初始特征图和当前特征增强子单元输出的特征图分别进行特征提取，也得到更深层次的两个特征图，并将提取后得到的两个特征图中同一元素位置的特征值进行融合，得到对应输出的特征图。也就是说，每一个特征增强子单元的输入为两个特征图，输出为一个特征图。
39.如果当前特征增强子单元与特征增强单元中的第一个特征增强子单元不同，当前特征增强子单元与下一特征增强子单元相同，利用第一个特征增强子单元中的卷积层对一个初始特征图进行特征提取，得到对应的特征图；然后利用当前特征增强子单元中的卷积层对初始特征图和上一特征增强子单元输出的特征图分别进行特征提取，同样得到更深层次的两个特征图，并将提取后得到的两个特征图中同一元素位置的特征值进行融合，得到对应输出的特征图；再利用下一特征增强子单元中的卷积层对初始特征图和当前特征增强子单元输出的特征图分别进行特征提取，同样得到更深层次的两个特征图，并将提取后得到的两个特征图中同一元素位置的特征值进行融合，得到对应输出的特征图。也就是说，特征增强单元中的第一个特征增强子单元的输入为一个特征图，输出也为一个特征图；其他特征增强子单元的输入为两个特征图，输出为一个特征图。
40.步骤103，将特征增强单元的输出特征图输入至图像重建单元进行图像重建，用于得到分辨率高于待处理图像的第一目标图像。
41.在一些实施例中，可以通过如下通过执行如下步骤1031至步骤1032来实现步骤103：
42.步骤1031，将特征增强单元中每一特征增强子单元输出的特征图输入至生成器网络的特征融合单元，得到第一融合特征图。
43.可以理解地，每一个特征增强子单元输出的特征图中包括的特征信息都不同，后一特征增强子单元输出的信息，相比于前一特征增强子单元输出的信息而言，为更深层的信息。因此，在得到多个不同深度的特征图之后，将不同深度的特征图进行融合，能够更好地利用网络不同深度的特征信息。
44.步骤1032，利用生成器网络的图像重建单元对第一融合特征图进行超分辨率重建，得到第一目标图像。
45.分辨率就是图像的像素有多少，对于图像来说，分辨率决定着信息的存储量，是衡
量图像质量的一个重要指标。超分辨率重建，是指对图像分辨率的放大，例如，将原本分辨率为512*512的图像放大为1024*1024的图像。
46.在得到融合特征图之后，还需要利用图像重建单元对该特征图进行重建，才能最终得到所需的具有超分辨率特点的目标图像。
47.在一些实施例中，还可以通过执行如下实施例中的步骤205至步骤207来实现步骤103。
48.在本技术实施例中，通过将上一个特征增强子单元输出的浅层特征图和初始特征图输入至当前特征增强子单元，一方面，能够将前一特征增强子单元得到的相对浅层的特征图中的特征信息和初始特征图中的特征信息传递至深层网络中，从而更好地利用网络不同深度的特征信息，进而提升目标图像的重建效果；另一方面，通过这跳跃连接的方式，使得每一个特征增强子单元要学习的都是初始特征图与上一个特征增强子单元输出的特征图融合后的特征值，而不是完全对输出的特征图进行学习，大大降低了每个特征增强子单元学习的难度，从而能够解决网络过深引起的梯度弥散和梯度爆炸问题，进而有效提升生成器网络的性能，使得生成的目标图像更加真实。
49.图2为本技术实施例提供的另一图像重建方法的实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤207：
50.步骤201，将待处理图像输入至特征提取单元进行特征提取，得到初始特征图；
51.步骤202，将初始特征图输入特征增强单元中与特征提取单元连接的特征增强子单元，以使得特征增强单元中的其他各个特征增强子单元，能够利用初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；
52.步骤203，对特征增强子单元输出的特征图中同一元素位置的多个通道的特征值进行融合，得到第二融合特征图。
53.在本技术实施例中，对于特征图的通道数目不做限定，可以是任意的。例如，对于灰度图像而言，通道数可以为1；对于彩图像而言，通道数可以为3；而对图像进行卷积处理得到特征图后，特征图中的通道数是与卷积层相关的，即，卷积层的卷积核数量有多少，卷积后输出的特征图中的通道数就有多少，因此，特征图的通道数目可以为3，5，64或128等，并不限定。举例来说，假设第一个特征增强子单元中卷积层的卷积核数量为5，初始特征图的通道数为3，那么初始特征图中的每个通道都需要跟特征增强子单元中卷积层的一个卷积核做卷积运算(3个通道即做了三次卷积运算)，然后将3次卷积的结果相加作为一个输出通道，因此，在初始特征图分别与特征增强子单元中卷积层的5个卷积核做卷积运算之后，能够得到5个输出通道，也即，特征增强子单元输出的特征图有5个通道。
54.在得到特征增强子单元输出的特征图之后，对该输出特征图进行1*1的卷积处理，也即，将特征图中同一元素位置的5个通道的特征值分别与1相乘，再将这5个特征值对应叠加，以得到第二融合特征图，从而使得在第二融合特征图中，多个独立通道是被联通在一起的，能够利用不同通道的特征，增加跨通道学习的能力。
55.步骤204，融合每一特征增强子单元对应的第二融合特征图，得到第一融合特征图。
56.在一些实施例中，通过融合每一所述第二融合特征图的同一元素位置的特征值，得到第一融合特征图。
57.在卷积处理中，每对特征图a多进行一次卷积，那么卷积后得到的特征图b，相比于特征图a，则为更深层的特征图，因此，上一个特征增强子单元卷积得到的特征图1，与当前特征增强子单元卷积得到的特征图2，以及下一个特征增强子单元卷积得到的特征图3是属于不同层次的特征图。在得到每一个特征增强子单元对应的第二融合特征图后，将多个位于不同层次的第二融合特征图中同一个元素位置的特征值对应叠加，得到第一融合特征图，这样，第一融合特征图中的特征值是将不同深度的特征值对应连接起来得到的，从而能够更好地利用网络中不同深度的特征信息，提高网络中不同深度特征的利用率。
58.举例来说，假设第二融合特征图有4个，每一个特征图都对应有第m个位置的元素，对应的特征值分别为m1，m2，m3和m4，则融合第二融合特征图的同一元素位置的特征值，即为将m1，m2，m3和m4相加。
59.在一些实施例中，在得到第一融合特征图之后，还可以进一步对第一融合特征图进行降维处理，以提高不同深度特征的利用率。
60.步骤205，对第一融合特征图进行信息增强处理，得到增强特征图。
61.在图像超分辨率重建中，需要重点关注图像的高频信息，也就是图像的边缘和纹理等信息。因此，在本技术实施例中，通过对第一融合特征图进行信息增强处理，能够过滤掉平滑的低频信息，重点强化图像的边缘和纹理等信息，从而解决高频信息丢失问题。
62.在一些实施例中，可以通过执行如下步骤2051至步骤2052来实现步骤205：
63.步骤2051，对第一融合特征图中特征值小于第一阈值的元素进行置零处理，得到第三融合特征图。
64.在一些实施例中，可以将第一融合特征图输入至特征大小(例如7*7、8*8或5*9等任意大小)的最大池化层中，利用该最大池化层，对第一融合特征图中小于阈值的低频信息对应的元素的特征值取零，得到第三融合特征图，从而能够过滤掉第一融合特征图中的一部分平滑的低频信息，更多地保留特征的高频纹理信息。
65.在一些实施例中，在对低频信息进行过滤之后，还可以将特征图输入至非线性激活函数层，通过非线性激活函数，减少对特征信息的扰动，从而进一步抑制不重要的信息。
66.步骤2052，将第三融合特征图与第一融合特征图中同一元素位置的特征值进行融合，得到增强特征图。
67.在本技术实施例中，在得到第三融合特征图之后，将其与进行信息增强前的第一融合特征图中同一元素位置的特征值对应相乘，得到增强特征图，因为第三融合特征图中的高频信息比较明显，相应地，融合后得到的增强特征图中的高频信息也会比较明显。
68.步骤206，对增强特征图进行还原处理，得到第一还原图像；对待处理图像进行还原处理，得到第二还原图像；第二还原图像的大小与第一还原图像的大小相等，且第二还原图像的大小大于待处理图像的大小；
69.步骤207，将第一还原图像与第二还原图像进行融合，得到第一目标图像。
70.在本技术实施例中，通过对增强特征图进行反卷积处理，得到更高分辨率的第一还原图像；同时，对待处理图像(即低分辨率图像)同样进行反卷积处理，得到更高分辨率的第二还原图像；然后，将同样大小的第一还原图像和第二还原图像中同一元素位置的特征值对应相加，从而得到第一目标图像。反卷积处理，是按照一定的比例通过补0或其他值来扩大输入图像的尺寸的方法，能够实现对特征图分辨率的放大。这样，一方面，实现了将低
分辨的待处理图像重建为超分辨图像的目的；另一方面，在对增强特征图进行反卷积处理得到第一还原图像的同时，还同样对待处理图像进行反卷积处理得到第二还原图像，并将两个还原图像的特征值对应相加，能够使得在重建得到的目标图像中，不仅基于增强特征图解决了高频信息的丢失问题，也并未忽略待处理图像中的低频信息。
71.图3为本技术实施例提供的图像重建方法的又一实现流程示意图，如图3所示，该方法可以包括以下步骤301至步骤308：
72.步骤301，将样本图像输入至待训练的生成器网络中，得到第二目标图像。
73.在超分辨率图像重建过程中，生成器网络的目标是生成与标准图像差异小于一定阈值的目标图像，而生成器网络对样本图像的重建效果与网络中各个单元的参数值相关，初始设定的参数值并不一定能够满足需求，因此，需要不断对生成器网络进行训练(也即对网络中产生特征图的各个单元的参数值进行调整)，以不断提升生成器网络的图像重建效果，直至生成器网络训练好为止；随后，利用训练好的生成器网络完成图像重建，以生成更加准确且视觉体验更好的超分辨率图像。
74.步骤302，将第二目标图像和对应的标准图像输入至判别器网络中进行真伪判别，得到第二目标图像为标准图像的概率。
75.需要说明的是，标准图像为与目标图像相同的非生成图像。也就是说，在网络训练阶段，样本图像(即低分辨率图像)会有事先确定好的与其对应的超分辨率图像，也就是标准图像；将样本图像输入至待训练的生成器网络后，得到对应的第二目标图像(即生成的超分辨率图像)，通过在判别器网络中对生成的目标图像和标准图像进行对比，能够确定出该目标图像为标准图像的概率。
76.第二目标图像为标准图像的概率表征了生成器网络生成图像的效果；例如，如果判别器网络的输出概率为1，则说明判别器网络认为第二目标图像为标准图像，那么可以确定生成器网络的图像重建效果较好；如果判别器网络的输出概率为0，则说明判别器网络判别出目标图像为生成图像(即虚假图像)，那么可以确定生成器网络的图像重建效果较差，因此还需要继续对生成器网络进行训练，直至判别器网络识别不出第二目标图像为生成图像，才认为生成器网络训练好。
77.步骤303，判断第二目标图像为标准图像的概率是否小于第二阈值，如果第二目标图像为标准图像的概率大于或等于第二阈值，执行步骤304；如果第二目标图像为标准图像的概率小于第二阈值，执行步骤305。
78.如果第二目标图像为标准图像的概率大于或等于第二阈值，说明判别器已经不能识别出该第二目标图像为生成图像，证明生成器网络已经训练好，则执行步骤304，将当前待训练的生成器网络作为已训练的生成器网络。如果第二目标图像为标准图像的概率小于第二阈值，说明判别器能够识别出该第二目标图像为生成图像，证明生成器网络还没有训练好，不能生成足以迷惑判别器网络的图像，因此还需要继续对生成器网络进行训练，直至生成器网络生成的第二目标图像能够迷惑判别器网络为止。
79.步骤304，将待训练的生成器网络作为已训练的生成器网络。
80.步骤305，确定第一损失函数值和待训练的生成器网络在处理样本图像时产生的每一特征图的第二损失函数值；其中，第一损失函数值用于表征概率与1的差值，第二损失函数值用于表征特征图与对应的标准特征图之间的差异。
81.在本技术实施例中，在网络的损失函数中引入第二损失函数，来调整生成器网络中每一单元中产生的特征图的参数值，以实现对生成器网络参数的优化，使得重建后的图像视觉效果更佳。这是因为：通过计算第二损失函数值，也即计算生成器网络在处理样本图像时产生的每一个特征图与对应的标准特征图之间的差异，能够将目标特征图与对应的标准特征图在深度特征层面上进行匹配，而匹配低层特征可以保留几何等低级语义信息，匹配深层特征可以保留内容和风格等高级语义信息，因此，通过这种匹配方式，能够提升创新方法在图像放大后的语义特征重构能力，进而使得重建后的图像视觉效果更佳。
82.步骤306，根据第一损失函数值，调整判别器网络的参数值，得到调整后的判别器网络。
83.在生成器网络生成一幅超分辨率目标图像之后，需要利用判别器网络去给出该目标图像为标准图像的概率(最好为1)。第一损失函数值数值越大，则说明目标图像为标准图像的概率与1之间的差值越大，也即判别器网络输出的概率越小。在超分辨率重建过程中，为了能充分恢复出低分辨率图像中缺失的高频部分，使得生成出的超分辨率图像以最大概率通过判别器网络的甄别，就要尽可能的最大化判别器网络输出的概率，因此需要根据第一损失函数值，不断调整判别器网络的参数，以得到最合适的判别器网络。
84.步骤307，根据第二损失函数值，调整产生对应特征图的单元的参数值，从而得到调整后的生成器网络。
85.在本技术实施例中，调整对应特征图的单元的参数值，即为调整上述实施例中的特征提取单元、特征增强单元和图像重建单元中每一个生成的特征图的参数。
86.步骤308，继续根据下一待处理图像调整生成器网络和判别器网络的参数值，直至当前判别器网络输出的概率大于或等于所述第二阈值，将当前训练得到的生成器网络作为已训练的生成器网络。
87.在本技术实施例中，在网络训练阶段，通过不断地对生成器网络和判别器网络的参数值进行调整，直至生成器网络生成与标准图像的差异小于一定阈值的目标图像，将当前得到的生成器网络作为已训练好的生成器网络。
88.超分辨率(super-resolution，sr)重建是指通过软件方法，利用低分辨率(low resolution，lr)图像之间的冗余性、相似性及一些先验知识重建出高分辨率(high resolution，hr)图像的技术。相关技术中，超分辨率重建方法可分为如下三类：
89.(1)基于插值的超分辨率方法：
90.这类方法利用图像中已有像素值的简单组合，填充缺失的像素值。针对插值函数的不同，可以分为最近邻插值、双线性插值、双三次插值等不同方法。这些方法较为简单且能在一定程度上提高图像的分辨率，但插值方法只是将原始像素点进行简单组合，并不能增加图像的细节信息，在预测详细、逼真的纹理方面显示出局限性。
91.(2)基于重建的超分辨率方法：
92.这类方法假设输入的lr图像是由原始hr图像经过一系列变换得到，并且通过lr图像能够很好的预估出原始hr图像。其中，比较经典的方法有凸集投影(project onto convex sets，pocs)方法，迭代反向投影(iterative backprojection，ibp)方法以及最大后验概率(maximum a posteriori，map)方法等。由于基于单幅图像的超分辨率重建本身是一个不适定(ill-posed)问题，同一个lr图像可能对应多个hr图像，基于重建的超分辨率方
法虽然加入了一些局部性先验假设，在一定程度上缓解了插值方法所产生的模糊或锯齿现象，但对于较高重建倍数，仍表现出较差的重建性能。
93.(3)基于学习的超分辨率方法：
94.基于学习的sr方法依靠图像内部的自相关性以及图像本身的先验知识，通过训练一组包含大量hr图像和lr图像的训练集，学习到lr图像块的查表或lr图像块与hr图像块之间的映射系数等。其中，最经典的是基于稀疏编码的图像重建方法，将高/低分辨率图像进行分块，然后学习lr图像块与hr图像块之间的稀疏系数，最后利用lr图像稀疏系数与hr字典相乘得到重建的高分辨率图像。后来学者们在此基础上进一步研究，提出锚定邻域回归的方法，改进字典训练的方式，利用k-奇异值分解(k-singular value decomposition，k-svd)训练字典，用最小二乘法获取高/低分辨率图像的映射模型。
95.卷积神经网络(convolutional neural networks，cnn)被广泛应用于超分辨重建问题中，基于卷积神经网络的图像重建算法，构建了一种高效的端到端的映射模型，整个网络分为特征提取、非线性映射和重建三个过程，取得一定的效果。随后，浅层网络不能满足需求，学者们采用更深层次的卷积神经网络解决图像超分辨率问题，将网络加深至20层，扩大了感受野，同时利用残差学习，有效提高网络训练速度，后期进一步改进，采用递归监督策略，充分利用参数共享，降低参数数量。
96.随着机器学习迅猛发展，由生成模型g和判别模型d组成的生成对抗网络(generative adversarial networks，gan)成为众多学者研究的热点，其原理是判别模型d监督判别生成模型g生成的数据，二者进行博弈训练，不断的竞争，达到以假乱真的效果。受生成对抗网络(gan)启发，2016年，g络被运用到图像超分辨率重建中，主要解决当放大倍数升级时，如何精细准确地将退化图像重建出来，网络模型中采用对抗性损失和内容损失作为新的感知损失函数，达到相对精准的恢复效果。2019年，有学者文献提出一种3d视频图像的生成对抗网络的重建算法，利用低分辨率彩图像和低分辨率深度图像的相互信息，使它们在相同场景中的几何结构相似性可以彼此增强。有学者提出基于生成对抗网络的多模态图像融合算法，实现了多模态图端到端的自适应融合。
97.以上基于卷积神经网络和基于g络的学习方法相比基于重建的方法能够产生更多高频细节，获得更好的重建结果，但基于学习的方法需要复杂的非线性映射步骤，重建速度过慢，网络层数过深，导致难以收敛，仍存在较严重的边缘模糊问题。
98.生成对抗网络(gan)最早由goodfellow提出，利用零和博弈思想，估计目标分布，到最小最大平衡点。在生成对抗网络模型中，生成模型g通过输入随机噪声生成输出，判别模型d将g的输出作为自身的输入并且与真实数据做对比，判定输入数据真伪，从而不断的调整参数，图4为g络结构示意图，g络的思想如公式1所示：
[0099][0100]
其中，z表示随机噪声，x表示样本数据，p
data(x)
表示样本数据的分布概率，p
z(z)
表示随机噪声的分布概率，v(d,g)表示值函数，和分别表示样本数据和生成数据的期望。
[0101]
整个网络的训练过程是首先固定生成器，去训练判别器，使其能够区分出数据真伪，然后再固定判别器，训练生成器，使其能够产生可以欺骗判别器的输出，就在这样的循
环重复过程中，将网络不断优化。
[0102]
上面分析的基于学习的超分辨率重建模型相比传统的超分辨率重建方法，重建性能有了很大幅度的提升，然而，在进行超分辨率重建时仍然存在以下几个问题：
[0103]
(1)大多数基于卷积神经网络的超分辨率重建算法单纯学习lr图像到hr图像端到端的映射。然而，由于lr图像中存在的更多的是低频分量，网络实际所学习到的大多为从lr图像的低频分量到hr图像低频分量的映射，这种方法在本质上忽略了对高频细节信息的重建和恢复。导致重建图像存在细节缺失、效果不清晰的问题。
[0104]
(2)理论和实验证明，越深、越宽的网络，越能提取到不同层面的图像特征，其用于重建的效果越好。但是现有的基于深度卷积神经网络的图像重建算法往往依赖于简单的堆叠卷积层，增加网络深度，提升重建效果。这样会对内存和计算能力有很高的要求，并且过深的网络结构还会造成梯度弥散，难以收敛的问题，不利于实际应用和推广。
[0105]
(3)随着网络深度的增加，感受野会不断增大，各网络层提取到的特征逐步被抽象。而网络模型不同深度提取的特征，均包含不同的、有利于图像超分辨率重建的信息，现有的算法忽略了对这些信息的充分利用，对于提取出来的信息特征做统一处理，并没有重点关注边缘和纹理细节。
[0106]
(4)相关方法中都以输出图像与真实图像的所有像素的均方误差(mean square error，mse)作为损失函数优化网络目标参数，这样会使得重建图像的视觉体验感较差。
[0107]
为解决上述问题，在本技术实施例中，提出一种改进的g络，本技术实施例所述改进的g络，在生成器网络中采用特征融合子网络、特征注意子网络、图像重建子网络三级结构能够更好的利用网络不同深度的特征信息，以及增加跨通道学习的能力，解决不同网络深度的特征融合和利用问题；在特征融合子网络中，通过多通道融合层和全局特征融合层的相互结合，使得该网络模型能够联通不同深度、不同通道特征，以更好地学习特征之间的相互关系；在特征注意子网络中引入注意模块，对感兴趣的高频细节信息采用注意机制过滤掉平滑的低频信息，增强边缘细节纹理特征，解决高频信息丢失问题；在特征融合子网络中，采用同源跳跃连接结构，解决网络过深引起的梯度弥散/爆炸问题；为提高重建图像的视觉体验，本技术实施例在改进的g络损失函数中引入感知损失，结合对抗损失，从不同角度完成目标图像的高频信息重建过程。
[0108]
基于此，下面将说明本技术实施例在一个实际的应用场景中的示例性应用。
[0109]
图5为本技术实施例提供的图像重建方法的总体流程。如图5所示，通过本技术实施例提出的改进的g络图像重建方法，可以更好的将低分辨率图像重建成超分辨率图像。
[0110]
图6为本技术实施例提供的图像重建方法的整体网络模型架构。如图6所示，图像重建方法的整体网络模型架构由生成器网络和判别器网络两部分构成。生成器网络以低分辨率图像(即待处理图像)作为输入，通过特征提取，融合重建出超分辨率图像，其目标是尽可能不被判别器识别出重建图像(即目标图像)和真实图像(即标准图像)的差异。而判别器网络将生成器网络重建出的图像和真实图像一起作为输入，判定生成图像(即目标图像)的真伪，进而反向优化生成器网络参数，最终生成判别器无法判别真伪的超分辨率图像。为了更好的视觉效果，本技术实施例引入感知损失函数(即第二损失函数值)，结合对抗损失函数(即第一损失函数值)，从不同角度完成目标图像的高频信息重建过程。
[0111]
(a)生成器网络：
[0112]
生成器网络以低分辨率图像作为输入，通过特征提取，融合重建出超分辨率图像，其目标是尽可能不能被判别器识别出重建图像和真实图像的差异。图7为本技术实施例提供的生成器网络结构图，如图7所示，生成器网络由特征融合、特征注意和图像重建三大部分组成。其中特征融合部分由维度转换层(即特征提取单元)、递归卷积块(即特征增强子单元)、多通道融合层以及全局特征融合层(即特征融合单元)四部分组成。特征注意部分引入注意力机制，对感兴趣的高频、细节区域做特殊处理。图像重建部分将低分辨率图像和注意网络生成的图像做反卷积和上采样处理，逐元素叠加，生成超分辨率重建图像。
[0113]
其中，维度转换层、递归卷积块、多通道融合层，以及全局特征融合层四部分的具体分析如下(1)至(4)：
[0114]
(1)维度转换层为一个3*3的卷积层，维度转换层根据公式2将输入的lr图像转换到高维特征，并过滤掉一部分低频信息：
[0115]
h0＝f0(i
lr
,w0)
ꢀꢀ
(公式2)；
[0116]
其中，i
lr
是输入的lr图像，f0是维度转换层的映射函数，w0是f0的权重矩阵参数，h0是f0的输出特征(即初始特征图)，h0输入到8个顺序连接的递归卷积块中。图8为本技术实施例提供的递归卷积模块的结构示意图，如图8所示，每个卷积块包含5个卷积层。
[0117]
(2)递归卷积块根据公式3对h0进行进一步的特征提取：
[0118]hi
＝fi(h
i-1
,wi)+h0(i＝1,2,
…
,8)
ꢀꢀ
(公式3)；
[0119]
其中，fi是第i个递归卷积块的输出(即特征增强单元输出的特征图)。
[0120]
(3)多通道融合层包含8个1*1的卷积层，根据公式4分别对8个递归卷积块的输出特征hi(i＝1,2,
…
,8)进行多通道融合和联通：
[0121]hm,i
＝f
m,i
(hi,w
m,i
)(i＝1,2,
…
,8)
ꢀꢀ
(公式4)；
[0122]
其中，f
m,i
是第i个多通道融合层的映射函数，w
m,i
是f
m,i
的权重矩阵参数，h
m,i
是第i个多通道融合层的输出特征(即第二融合特征图)。
[0123]
(4)根据公式5所示，全局特征融合层将多通道融合层的输出特征h
m,i
进行并联拼接，生成特征hm，再根据公式6通过2个1*1的卷积层，进一步融合和降维，以提高不同深度特征的利用率：
[0124][0125]
hg＝fg(hm,wg)
ꢀꢀ
(公式6)；
[0126]
其中，fg是全局特征融合层的映射函数，wg是fg的权重矩阵参数，hg是全局特征融合层的输出(即第一融合特征图)。
[0127]
多通道融合层和全局特征融合层的相互结合，使得本网络模型能够联通不同深度、不同通道特征，以更好地学习特征之间的相互关系。
[0128]
注意力机制旨在将更多的注意力，集中在感兴趣的信息上。在图像超分辨率重建中，对图像的高频信息更感兴趣，即图像的边缘和纹理等信息。合适的网络结构是实现注意力机制的关键。图9为本技术实施例提供的特征注意子网络的结构示意图，如图9所示，特征注意子网络包含一个注意模块，由7*7的最大池化层、三个3*3的卷积层和一个s行形(sigmoid)非线性激活层组成。
[0129]
7*7的大感受野最大池化层，可以更多地保留特征的纹理信息，过滤掉一部分平滑的低频信息。s形非线性激活激活函数的输出限制在0到1之间，减少对特征信息的扰动，并能够进一步抑制不重要的信息。特征注意子网络根据公式7得到一个与输入特征尺寸相同的增强矩阵a(即第三融合特征图)，a与输入特征(即特征融合子网络的输出)hg逐元素相乘，根据公式8对hg进行信息增强：
[0130]
a＝r(p
max
(hg),wr)
ꢀꢀ
(公式7)；
[0131]
ha＝a
·
hgꢀꢀ
(公式8)；
[0132]
其中a是注意模块的输出，r是注意模块中卷积块的映射函数，wr是r的权重矩阵参数，p
max
是最大池化层函数，ha是增强后的特征(即增强特征图)，(
·
)是逐元素相乘运算。
[0133]
将运用注意力机制增强后的特征ha和lr图像分别进行反卷积上采样(还原处理)，并逐元素相加，生成重建的超分辨率图像，构建方法如公式9所示：
[0134]isr
＝t
l
(i
lr
,w
tl
)+fd(th(ha,w
th
),wd)
ꢀꢀ
(公式9)；
[0135]
其中i
sr
是重建的超分辨图像，i
lr
是输入的lr图像，t
l
是lr图像上采样反卷积层的映射函数(即第二还原图像)，w
tl
是t
l
的权重矩阵参数，th是特征ha上采样反卷积层的映射函数(即第一还原图像)，w
th
是th的权重矩阵参数，d为降维卷积的映射函数，wd是d的权重矩阵参数。
[0136]
残差网络在计算机视觉任务中应用广泛，其跳跃连接通常源自前一层的输出。在特征融合子网络中，采用了同源跳跃连接结构，图10为本技术实施例提供的跳跃连接结构示意图，如图10所示，该结构将维度转换层的输出h0传递到每个递归卷积块的输入中，每个递归卷积块的输入是上一个块的输出与h0的和。这样可以向网络深层传递更多的浅层特征信息，也可以有效地减轻梯度消失和爆炸问题。
[0137]
(b)判别器网络：
[0138]
通常情况下，生成器网络输出重建出的hr图像后，就会直接计算损失函数，通过反向传播法更新网络参数值，以获取最优参数值，这种方法对于纹理细节不多的图像是能够满足需求的，但是对于纹理较为丰富的退化图像，其恢复效果一般，所以本技术实施例训练出了对应的判别器网络模型对真实的图像(即标准图像)和生成的图像(即第二目标图像)进行区分，让生成器网络和判别器网络进行博弈，在训练过程中不断提升二者的能力，最终生成高质量的重建图像。
[0139]
本技术实施例设计的判别器网络由6个卷积模块组成，图11为本技术实施例提供的判别器网络结构示意图，如图11所示，除了第一个卷积模块不包含bn层，剩余的每个模块均包含3*3的卷积层、归一化(batch normalization，bn)层和参数化修正线性单元(parametric rectified linear unit，prelu)激活函数层，bn层防止网络训练过程中梯度消失，从而增强网络的稳定性，prelu激活函数层增强网络的非线性，丰富图像特征，其中系数α＝0.2。每个卷积模块的特征图数量以成倍的方式逐渐递增，与此同时，采用微步幅卷积减小特征图尺寸，避免传统的池化操作引起的局部特征丢失问题。最后是一个全连接层，将卷积层提取的特征进行组合分类，本技术实施例引入移动距离(earth mover，em)，去掉了最后的sigmoid层，将一个二分类问题转变成一个回归问题，使网络模型更精确。
[0140]
(c)损失函数
[0141]
损失函数是影响生成器重建效果的主要因素之一，大多数超分辨率重建网络模型
都选择了均方误差损失作为优化的目标，原因是在测试时可以获得较高的评价指标。但是，这些模型在
×
4和
×
8等大尺度重建任务中恢复出的图像高频信息丢失明显，严重影响了对图片的直观视觉体验。为此本技术实施例以优化感知损失函数l
p
(即第二损失函数值)为主，并行优化对抗损失函数la(即第一损失函数值)。在优化过程中从不同角度完成目标图像的高频信息重建过程，并以加权的形式集成。最终，损失函数可用公式10表示：
[0142]
l＝l
p
+λlaꢀꢀ
(公式10)；
[0143]
λ是调节对抗损失项权重的正则因子。
[0144]
如果以像素损失作为损失函数，忽略了图像的全局相似性，则会导致图像的视觉效果较差。所以本技术实施例在模型损失项中加入感知损失，能够最小化超分辨率图像与真实高清图像在图像语义级别的差异。这种优化网络参数的方式不仅降低模型复杂度还能减少整个模型的计算吞吐量。感知损失的定义如公式11所示：
[0145][0146]
其中g(x)为生成器网络生成的图像，y表示真实的超分辨率图像，di是判别器网络的第i层，ci是第i层对应的通道数，hi和wi是第i层特征图的长和宽。
[0147]
根据生成对抗网络的思想，在生成器网络生成一幅超分辨率图像之后，还需要利用判别器网络去给出该图像为真实高清图像的概率。如公式12所示，为了能充分恢复出低分辨率图像中缺失的高频部分，使得生成出的超分辨率图像以最大概率通过判别器的甄别，所以就要尽可能的最大化判别器输出的概率：
[0148][0149]
为了在训练阶段使模型收敛，我们最小化公式12的对偶式，得到公式13：
[0150][0151]
本技术实施例中提出的改进的图像重建方法，能够获得以下技术效果：
[0152]
(1)本技术实施例提出多级特征融合网络结构和多通道融合层，能够更好的利用网络不同深度的特征信息，以及增加跨通道学习的能力，解决不同网络深度的特征融合和利用问题，相比现有方法，其更能提升重建效果。
[0153]
(2)本技术实施例提出递归卷积模块和跳层连接，相比现有方法，更加节省训练时间，降低计算量，解决网络过深引起的梯度弥散/爆炸问题。
[0154]
(3)本技术实施例提出细节特征注意子网络结构，对感兴趣的高频细节信息采用注意机制过滤掉平滑的低频信息，增强边缘细节纹理特征，解决高频信息丢失问题。
[0155]
(4)本技术实施例提出采用融合感知损失的损失函数优化网络目标参数，，而现有方法一般采用均方误差作为损失函数进行优化，从图像生成的角度出发，在设计网络的损失函数时融入感知损失，着重提升创新方法在图像放大后的语义特征重构能力，使重建后的图像视觉效果更佳。
[0156]
基于前述的实施例，本技术实施例提供一种图像重建装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理
器(dsp)或现场可编程门阵列(fpga)等。
[0157]
图12为本技术实施例生成器网络的结构示意图，如图12所示，所述网络120包括特征提取单元121、特征增强模块122和图像重建单元123，其中：
[0158]
特征提取单元121，用于对待处理图像进行特征提取，得到初始特征图；特征增强模块122，包括多个特征增强子单元，用于：将所述初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；图像重建单元123，用于将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。
[0159]
在一些实施例中，生成器网络120还包括特征融合单元，特征融合单元，用于将所述特征增强单元中每一所述特征增强子单元的输出特征图输入至所述生成器网络的特征融合单元，得到第一融合特征图；图像重建单元123，还用于对所述第一融合特征图进行超分辨率重建，得到第一目标图像。
[0160]
在一些实施例中，特征融合单元，还用于对所述特征增强子单元输出的特征图中同一元素位置的多个通道的特征值进行融合，得到第二融合特征图；融合每一所述特征增强子单元对应的第二融合特征图，得到第一融合特征图。
[0161]
在一些实施例中，特征融合单元，还用于融合每一所述第二融合特征图的同一元素位置的特征值，得到第一融合特征图。
[0162]
在一些实施例中，生成器网络120还包括还原单元，特征增强模块122，还用于对所述第一融合特征图进行信息增强处理，得到增强特征图；所述还原单元，用于对所述增强特征图进行还原处理，得到第一还原图像；对所述待处理图像进行还原处理，得到第二还原图像；所述第二还原图像的大小与所述第一还原图像的大小相等，且所述第二还原图像的大小大于所述待处理图像的大小；特征融合单元，还用于将所述第一还原图像与所述第二还原图像进行融合，得到第一目标图像。
[0163]
在一些实施例中，生成器网络120还包括置零单元，所述置零单元，用于对所述第一融合特征图中特征值小于第一阈值的元素进行置零处理，得到第三融合特征图；特征融合单元，用于将所述第三融合特征图与所述第一融合特征图中同一元素位置的特征值进行融合，得到增强特征图。
[0164]
在一些实施例中，生成器网络120还包括生成单元、确定单元和调整单元，所述生成单元，用于将样本图像输入至待训练的生成器网络中，得到第二目标图像；所述确定单元，用于确定样本图像产生的每一特征图的第二损失函数值；所述调整单元，用于根据所述第二损失函数值，调整产生对应特征图的单元的参数值，从而得到调整后的生成器网络；并继续根据下一待处理图像调整所述生成器网络。
[0165]
本技术实施例再提供一种判别器网络，所述判别器网络包括判别单元和调整单元，其中：
[0166]
判别单元，用于对待训练的生成器网络生成的第二目标图像和对应的标准图像进行真伪判别，得到所述第二目标图像为所述标准图像的概率；调整单元，用于如果所述概率小于第二阈值，确定第一损失函数值；根据所述第一损失函数值，调整所述判别器网络的参数值，得到调整后的判别器网络；继续根据下一待处理图像调整所述判别器网络的参数值，
直至当前所述判别器网络输出的概率大于或等于所述第二阈值。
[0167]
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0168]
需要说明的是，本技术实施例中图12所示的图像重建装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。
[0169]
需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
[0170]
本技术实施例提供一种电子设备，图13为本技术实施例的电子设备的硬件实体示意图，如图13所示，所述电子设备130包括存储器131和处理器132，所述存储器131存储有可在处理器132上运行的计算机程序，所述处理器132执行所述程序时实现上述实施例中提供的方法中的步骤。
[0171]
需要说明的是，存储器131配置为存储由处理器132可执行的指令和应用，还可以缓存在处理器132以及电子设备130中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
[0172]
本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
[0173]
本技术实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。
[0174]
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质、存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0175]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，
为了简洁，本文不再赘述。
[0176]
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象a和/或对象b，可以表示：单独存在对象a，同时存在对象a和对象b，单独存在对象b这三种情况。
[0177]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0178]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0179]
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
[0180]
另外，在本技术各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0181]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0182]
或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0184]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0185]
本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0186]
以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在
本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种图像重建方法，其特征在于，生成器网络包括特征提取单元、特征增强单元以及图像重建单元，其中，所述特征增强单元中包括多个依次串联的特征增强子单元，所述方法包括：将待处理图像输入至所述特征提取单元进行特征提取，得到初始特征图；将所述初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。2.根据权利要求1所述的方法，其特征在于，所述将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像，包括：将所述特征增强单元中每一所述特征增强子单元的输出特征图输入至所述生成器网络的特征融合单元，得到第一融合特征图；利用所述生成器网络的图像重建单元对所述第一融合特征图进行超分辨率重建，得到第一目标图像。3.根据权利要求2所述的方法，其特征在于，所述将所述特征增强单元中每一所述特征增强子单元输出的特征图输入至所述生成器网络的特征融合单元，得到第一融合特征图，包括：对所述特征增强子单元输出的特征图中同一元素位置的多个通道的特征值进行融合，得到第二融合特征图；融合每一所述特征增强子单元对应的第二融合特征图，得到第一融合特征图。4.根据权利要求3所述的方法，其特征在于，所述融合每一所述特征增强子单元对应的第二融合特征图，得到第一融合特征图，包括：融合每一所述第二融合特征图的同一元素位置的特征值，得到第一融合特征图。5.根据权利要求2所述的方法，其特征在于，所述对所述第一融合特征图进行超分辨率重建，得到第一目标图像，包括：对所述第一融合特征图进行信息增强处理，得到增强特征图；对所述增强特征图进行还原处理，得到第一还原图像；对所述待处理图像进行还原处理，得到第二还原图像；所述第二还原图像的大小与所述第一还原图像的大小相等，且所述第二还原图像的大小大于所述待处理图像的大小；将所述第一还原图像与所述第二还原图像进行融合，得到第一目标图像。6.根据权利要求5所述的方法，其特征在于，所述对所述第一融合特征图进行信息增强处理，得到增强特征图，包括：对所述第一融合特征图中特征值小于第一阈值的元素进行置零处理，得到第三融合特征图；将所述第三融合特征图与所述第一融合特征图中同一元素位置的特征值进行融合，得到增强特征图。7.根据权利要求1所述的方法，其特征在于，所述生成器网络的训练过程包括：
将样本图像输入至待训练的生成器网络中，得到第二目标图像；将所述第二目标图像和对应的标准图像输入至判别器网络中进行真伪判别，得到所述第二目标图像为所述标准图像的概率；如果所述概率小于第二阈值，确定第一损失函数值和所述待训练的生成器网络在处理所述样本图像时产生的每一特征图的第二损失函数值；其中，所述第一损失函数值用于表征所述概率与1的差值，所述第二损失函数值用于表征所述特征图与对应的标准特征图之间的差异；根据所述第一损失函数值，调整所述判别器网络的参数值，得到调整后的判别器网络；根据所述第二损失函数值，调整产生对应特征图的单元的参数值，从而得到调整后的生成器网络；继续根据下一待处理图像调整所述生成器网络和所述判别器网络的参数值，直至当前所述判别器网络输出的概率大于或等于所述第二阈值，将当前训练得到的生成器网络作为已训练的生成器网络。8.一种生成器网络，其特征在于，包括：特征提取单元，用于对待处理图像进行特征提取，得到初始特征图；特征增强模块，包括多个特征增强子单元，用于：将所述初始特征图输入至所述特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；图像重建单元，用于将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。9.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结

本申请实施例公开了图像重建方法及装置、设备、存储介质；包括：将待处理图像输入至特征提取单元进行特征提取，得到初始特征图；将所述初始特征图输入至特征增强单元中与所述特征提取单元连接的特征增强子单元，以使得所述特征增强单元中的其他各个特征增强子单元，能够利用所述初始特征图以及所串联的上一个特征增强子单元的输出特征图，分别进行特征增强；将所述特征增强单元的输出特征图输入至所述图像重建单元进行图像重建，用于得到分辨率高于所述待处理图像的第一目标图像。高于所述待处理图像的第一目标图像。高于所述待处理图像的第一目标图像。