(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210640004.0微调电容
(22)申请日 2022.06.08
(71)申请人 北京交通大学
地址 100044 北京市海淀区上园村3号
(72)发明人 丛润民 盛荣晖 何凌志 白慧慧
赵耀
(74)专利代理机构 北京卫平智业专利代理事务
所(普通合伙) 11392
专利代理师 闫萍
(51)Int.Cl.
G06T 3/40(2006.01)
G06N 3/08(2006.01)
G06N 3/04(2006.01)
(54)发明名称
(57)摘要
本发明涉及一种彩引导的深度图超分辨
特征和深度特征；2、在基于注意力的特征投影
模块、低层细节嵌入模块和高层语义引导模块的
协同下，实现彩引导的深度特征学习和细节恢
复；最终得到精度准确、细节丰富的超分辨率重
建深度图。本发明从低层和高层特征两方面实现
了彩信息对深度超分辨率的分治引导，抑制无
价值冗余，提高重建性能。实例表明，本发明的方
法在许多具有挑战性的场景中实现了出的视
觉效果，在物体边界以及微小物体的细节处都有
低重心脚轮
较高的准确性。权利要求书3页 说明书8页 附图1页CN 115115511 A 2022.09.27
C N 115115511
A
1.一种彩引导的深度图超分辨率重建方法，其特征在于，利用深度图超分辨率重建网络，包括如下步骤：
步骤1、通过特征提取模块从LR深度图和HR彩图提取多层次的彩特征和深度特征；
步骤2、在基于注意力的特征投影模块、低层细节嵌入模块和高层语义引导模块的协同下，实现彩引导的深度特征学习和细节恢复；
步骤3、根据不同层次的特征划分为多个重建层级，聚合不同重建层级的恢复特征的同时，渐进式实现深度图的重建，最终得到精度准确、细节丰富的超分辨率重建深度图。
2.如权利要求1所述的彩引导的深度图超分辨率重建方法，其特征在于：彩特征和
深度特征分别表示为和i＝{1,2,3,4,5}；在不同重建层级，基于注意力的特征投影模块的输入特征不同，具体表示为：
其中，Concat表示沿通道维度的拼接操作，表示第i层的深度特征，为第i层低层细节嵌入模块生成的低层细节特征，表示第k层重建完成后的传输特征，由以下步骤计算得到：
其中，为第k个高层语义引导模块的输出特征，↓为下采样操作，k＝{i+1,i+2,…, 5}；
然后，将顶层彩特征和深度特征送入高层语义引导模块，修正初始的深度重建
钛阳极氧化
特征生成最终重建特征最后，对和进行亚像素卷积运算，得到最终上采样的超分辨率重建深度图。
3.如权利要求2所述的彩引导的深度图超分辨率重建方法，其特征在于：深度图超分辨率重建网络是通过计算超分辨率重建深度图和真实深度图之间的L
1
范数来构造训练的损失函数：
Loss＝‖D
SR ‑D
HR
‖
1
(3)
其中，D
SR 、D
HR
分别为超分辨率重建深度图和真实深度图，‖·‖预测地震的方法
1
为L
1
范数函数。
4.如权利要求2所述的彩引导的深度图超分辨率重建方法，其特征在于：
式中，MD表示膨胀率为1、2、3、4的多尺度膨胀卷积运算，是第i层基于注意力的特征投影模块的输入特征，是每个多尺度膨胀卷积的输出；最后，将所有的多尺度膨胀特征
通过1×1的卷积层进行级联融合：
其中Conv 1×1表示卷积核大小为1×1的卷积层，是多尺度内容增强块的输出。
5.如权利要求4所述的彩引导的深度图超分辨率重建方法，其特征在于：自适应注意力投影块的输入统一表示为：
其中，DeConv表示由反卷积层执行的上采样操作，为第i层自适应注意力投影块的第j个HR输出；由式(6)看出，第一个自适应注意力投影块的输入是多尺度内容增强块的上采样输出特征，而其他自适应注意力投影块的输入是前一个自适应注意力投影块的输出；投影的注意力图计算公式为：
其中，ReLU为线性整流单元，Conv为下投影的卷积层，DeConv为反卷积层；
有了投影的注意力图，当前自适应注意力投影块的输出描述为：
其中，表示元素级的乘法；
利用4个连续的自适应注意力投影块，由粗到细生成4个HR重构特征；结合得到基于注意力的特征投影模块的最终输出特征：
其中，表示初始的深度重建特征。
6.如权利要求2所述的彩引导的深度图超分辨率重建方法，其特征在于：将彩特征和深度特征映射到同一个域，然后将它们相减，得到彩信息相对于深度信息的冗余部分，随后残差掩码由归一化后取反生成：
其中，RM i 表示残差掩码，W c 和W d 表示彩特征和深度特征的映射矩阵，Sigmoid是归一化操作，i取1或2；低层细节嵌入模块的最终输出特征表示为：
其中，表示元素级的乘法，
为低层细节嵌入模块生成的低层细节特征。7.如权利要求5所述的彩引导的深度图超分辨率重建方法，其特征在于：将空间注意
力应用于顶层彩特征从而生成突出重要位置的增强彩特征
将增强彩特征与初始的深度重建特征进行拼接，生成语义掩码：
式中PReLU为参数线性整流单元，Conv 3×3为卷积核大小为3×3的卷积层；隔热杯
利用语义掩码，通过以下方法对初始的深度重建特征进行细化：
其中，为每个重建层级的最终重建特征。
8.如权利要求1所述的彩引导的深度图超分辨率重建方法，其特征在于：深度图超分辨率重建网络包
括：特征提取模块、基于注意力的特征投影模块、低层细节嵌入模块和高层语义引导模块；
特征提取模块包括5个渐进卷积块，每个渐进卷积块包括两个3×3卷积层和一个1×1卷积层；基于注意力的特征投影模块包括多尺度内容增强块和4个级联的自适应注意力投影块；
特征提取模块用于从LR深度图和HR彩图提取多层次的彩特征和深度特征；
多尺度内容增强块用于增强投影前的深度特征，利用不同的感受野尽可能多地恢复不同尺度下的细节特征，从而提升退化较为严重区域的重建效果；自适应注意力投影块用于将有效信息投影到注意力域，保证投影特征的有效性和紧凑性，四个级联的自适应注意力投影块以由粗到细的方式逐步恢复深度特征；
低层细节嵌入模块用于引入HR彩图前两层的彩特征，通过学习一个残差掩码来突出彩特征与深度特征最一致的空间位置，以残差注意力的方式用高频彩引导来补充深度特征，从而更好恢复细节；
高层语义引导模块用于利用HR彩图顶层的语义信息生成一个编码了全局语义引导信息的语义掩码，并进一步对初始的深度重建特征进行语义校正。
9.如权利要求8所述的彩引导的深度图超分辨率重建方法，其特征在于：多尺度内容增强块包含了4
个膨胀率不同的卷积层的叠加，用于捕捉不同感受野尺度的细节。
一种彩引导的深度图超分辨率重建方法技术领域
[0001]本发明涉及一种彩引导的深度图超分辨率重建方法。
背景技术
[0002]深度图描述了场景的距离关系，包括物体的遮挡和重叠，对于三维理解任务至关重要，如自主驾驶、三维物体检测、三维重建、显著物体检测等众多领域。然而，由于现有深度采集设备的限制，采集到的深度图分辨率相对较低，尤其是智能手机上配备的低功耗深度传感器。低分辨率(LR)深度图在分辨率上无法与高分辨率(HR)彩图像匹配，从而阻碍了面向深度应用的进一步拓展。因此，深度图超分辨率重建(DSR)技术应运而生，具有实际研究价值和工业应用价值。深度图超分辨率是一个病态逆问题，因为LR深度图和HR深度图
之间没有一对一的对应关系，
而且在较大的上采样因子时，也很难恢复清晰的边界等细节。因此，考虑到HR彩图像相对容易获取，且彩图像的亮度边界与深度图像的深度边界有着明显的结构相似性，现有的许多DSR模型都使用HR彩图像作为辅助输入，提供更全面的附加指导信息。Wen等人使用一个粗到细的DCNN网络学
习具有不同卷积核大小的不同滤波器，从而使数据驱动的训练取代手工设计的滤波器。Huang等人提出了一种金字塔结构的深度密集残差网络，通过密集连接和残差学习，利用多尺度特征预测高频残差。Guo等为深度重构任务设计了一个残差UNet结构，引入了层次特征驱动的残差学习。Zuo等人提出了一种基于全局和局部残差学习的数据驱动超分辨率网络。Sun等人提出了一种递进式的多分支聚合网络，利用多尺度信息和高频特征，逐级重建深度图。他们还表明，低层级彩信息只适合早期的特征融合，且在×2和×4的情况下，对DSR没有太大帮助。钙锌稳定剂
[0003]发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
[0004]彩图像亮度边界与深度图像深度边界之间的结构相似性并不总是存在。彩图像不仅包含物体边界，还包含物体内部的纹理边界，而深度图只有物体边界，因此彩图像包含的边界信息远多于深度图，这可能会在为DSR提供指导的同时引入额外的噪声。现有方法以引导的形式设计了一些模式和策略，如使用低层级彩特征作为细节引导，或同等对待不同层级的彩特征作为指导等。然而，这些方法并没有考虑到不同彩信息在引导过程中的作用和多样性，因此，充分利用颜引导信息还需要进一步探索。
发明内容
[0005]针对现有技术中存在的缺陷，本发明旨在充分挖掘彩对深度的跨模态信息引导，并降低彩
信息中的冗余与额外噪声影响，设计一种用于深度图超分辨率重建的层次化彩引导投影网络，该网络根据不同层级建模不同的彩引导角，获得更优的重建性能。
[0006]本发明探索了一种彩引导的深度图超分辨率重建方法，即一种层次化彩引导投影网络，该网络从低层和高层特征两方面实现了彩信息对深度超分辨率的分治引导。具体实现步骤如下：
说 明 书
1/8页CN 115115511 A
