基于双分支渐进式特征增强的无人机低照度目标跟踪方法与流程

阅读：评论：0

1.本发明涉及无人机机载轻量级深度学习技术领域，尤其涉及一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法。

背景技术：

2.近年来，基于无人机视觉的目标跟踪逐渐成为计算机视觉领域的热门研究课题，应用于智能交通、视频检索以及军事侦察等众多领域，同时有别于其他机器人平台，无人机平台往往具有机动性和灵活性强等特点，但是无人机因跟踪目标移动较快且目标通常较小，此时很容易受到光照、遮挡、小目标快速移动等因素影响，尤其是在夜间跟踪环境下，无人机拍摄的图像通常是亮度与对比度很低，导致跟踪效果不理想，除了较差的照度外，高噪声还会破坏图像的结构细节，进一步降低跟踪性能，夜间不稳定的跟踪性能严重阻碍了相关无人机应用的扩展。因此，设计精度高、鲁棒性强的无人机目标跟踪方法成为当前研究的重点。
3.对此，与现有无人机低照度视觉目标跟踪方法相比，本发明能够提升无人机低照度复杂动态环境下的人眼视觉全彩特性效果，解决颜失真、曝光过度、点光源干扰等问题，并在全局图像结构上形成更加清晰的图像细节，从而为无人机低照度视觉目标跟踪任务提供清晰的目标图像，并有效提取目标特征，最终得到准确的目标位置预测结果，综上所述，现有技术中存在无人机进行低照度目标跟踪时无法得到准确的目标位置以及低照度增强图像局部失真，目标特征异常值不敏感的问题。

技术实现要素：

4.本发明提供一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其主要目的在于解决无人机进行低照度目标跟踪时无法得到准确的目标位置的问题。
5.为实现上述目的，本发明提供了一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法，包括：通过强耦合全局-局部双分支，构建适用于无人机机载的动态全彩图像增强框架；根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型；获取无人机机载采集的原始动态低照度图像，利用全彩图像增强模型对原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像；在高清全彩目标图像中获取预设的无人机目标的搜索区域，对无人机目标的搜索区域进行级联特征增强与提取，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征；将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置。
6.与现有技术相比，本发明的有益效果为：通过构建适用于无人机机载的动态全彩图像增强框架，能够收集多种数据信息，加快计算效率；通过利用多项损失函数对动态全彩图像增强框架进行训练，使得得到的全彩图像增强模型更加精确，在后续进行特征提取等其他操作时效率更高；通过全彩图像增强模型对原始动态低照度图像进行图像增强，能够
解决颜失真、曝光过度、点光源干扰、噪点明显等问题，使得到的目标图像更加清晰，在后续进行无人机目标跟踪时效率更高，能够准确预测到目标位置；通过对无人机目标进行特征提取，能够减少需要分析的数据量，提高搜索区域目标特征的精确度；通过将搜索区域目标特征进行位置回归，能够准确得到无人机目标跟踪位置。
附图说明
7.图1为本发明一实施例提供的基于双分支渐进式特征增强的无人机低照度目标跟踪方法的流程示意图；图2为本发明一实施例提供的像素注意力模块的结构示意图；图3为本发明一实施例提供的新型残差式蓝图可分离卷积模块的结构示意图；图4为本发明一实施例提供的通道注意力模块的结构示意图；图5为本发明一实施例提供的强化彩感知注意力模块的结构示意图；图6为本发明一实施例提供的对无人机目标的搜索区域进行级联特征增强与提取，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征的流程示意图；图7为本发明一实施例提供的特征提纯模块和多元特征提纯注意力模块的结构示意图；图8为本发明一实施例提供的级联特征增强模块的结构示意图；图9为本发明一实施例提供的基于反射图的目标跟踪结构的结构示意图；图10为本发明一实施例提供的基于双分支渐进式特征增强的无人机低照度目标跟踪方法的原理示意图。
具体实施方式
8.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
9.为解决现有技术中提供的无人机低照度视觉目标跟踪方法所存在的无人机进行低照度目标跟踪时无法得到准确的目标位置以及低照度增强图像局部失真，目标特征异常值不敏感的问题，本发明一实施例提供了一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法，该方法为一种新型基于双分支渐进式特征提取与融合的轻量级无人机低照度目标跟踪方法。
10.图1为本发明一实施例提供的基于双分支渐进式特征增强的无人机低照度目标跟踪方法的流程示意图。在本实施例中，基于双分支渐进式特征增强的无人机低照度目标跟踪方法包括：s1、通过强耦合全局-局部双分支，构建适用于无人机机载的动态全彩图像增强框架。
11.具体地，在一个实施例中，通过强耦合全局-局部双分支，构建即插即用型无人机机载适用的低照度复杂动态全彩图像增强框架。
12.s2、根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型。
13.具体地，在本实施例中，设计面向全彩图像增强任务的多项损失函数，根据无人机复杂动态低照度场景设置权重，然后，对预构建的动态全彩图像增强框架进行像素级别的
引导训练，得到强鲁棒全彩图像增强模型。
14.在一个实施例中，动态全彩图像增强框架包括像素注意力模块、通道注意力模块、强化彩感知注意力模块、残差式蓝图可分离卷积模块。
15.在一个实施例中，动态全彩图像增强框架指的是从无人机视角遵循低照度复杂动态环境下人类全彩视觉认知过程的全局拓扑优先原则，在高效全彩增强无人机低照度复杂动态图像全局拓扑结构的同时，可有效全彩增强局部兴趣区域纹理细节信息。
16.在一个实施例中，像素注意力模块可以更清晰地增强预设的物体的纹理特征，保留原始图像纹理信息，能够帮助每个像素点分配权重，使增强的图像在细节纹理上更接近原始图像的像素分布。
17.在一个实施例中，由于图像颜等信息是由每个通道的特征值组合后决定的，因此，本发明通过通道注意力模块（channel attention module, cam），为特征图每个通道重新分配权重，并在网络训练过程中以监督学习的方式自适应校准该权重，在通道维度上进行建模。
18.在一个实施例中，强化彩感知注意力模块（enhanced color-aware attention module, ecam），将无人机低照度复杂动态图像对比度信息引入到彩感知注意力推理过程，可以有效处理无人机低照度复杂动态图像中因诸多点光源、块光源等局部对比度大带来的非平衡全彩增强问题，以提升无人机低照度复杂动态图像整体低照度全彩增强模型的鲁棒性。
19.在一个实施例中，残差式蓝图可分离卷积模块的操作基于卷积核之间的相关性，对常规卷积进行更有效的分离，并利用残差结构减少低维特征信息的损失，在降低模型参数量同时保持模型性能上有着较大优势。
20.在一个实施例中，多项损失函数包括p阶welsh损失函数、重建损失函数、平滑损失函数、照度损失函数。
21.在一个实施例中，根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型，包括：构建图像样本集，图像样本集中包括训练低照度图像以及对应的正常亮度图像；将训练低照度图像输入动态全彩图像增强框架中的图像增强网络，得到预测反射图像；利用多项损失函数对预测反射图像以及正常亮度图像进行多损失值计算，得到多个损失值；根据对应于无人机复杂动态低照度场景的权重以及多个损失值进行聚合计算，得到目标损失值；根据目标损失值对预构建的动态全彩图像增强框架中的图像增强网络进行调整，得到全彩图像增强模型。
22.在一个实施例中，利用多项损失函数对预测反射图像以及正常亮度图像进行多损失值计算，得到多个损失值，包括：利用多项损失函数中的p阶welsh损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第一损失值；利用多项损失函数中的重建损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第二损失值；利用多项损失函数中的平滑损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第三损失值；利用多项损失函数中的照度损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第四损失值。
23.在一个实施例中，可以利用多项损失函数中的p阶welsh损失函数对预测反射图像
以及正常亮度图像进行损失计算，得到第一损失值。
24.具体的，将预测反射图像以及正常亮度图像代入多项损失函数中的p阶welsh损失函数，求解得到第一损失值，多项损失函数中的p阶welsh损失函数表示为：在一个实施例中，ld表示第一损失值，ne表示预测反射图像对应的反射分量，if表示正常亮度图像对应的照度分量，e表示预测反射图像，f表示正常亮度图像，g表示预设的通道数，p表示p阶welsh损失函数的阶数，exp表示以自然对数为底的指数函数，表示逐元素乘法。
25.在一个实施例中，可以利用多项损失函数中的重建损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第二损失值。
26.具体的，将预测反射图像以及正常亮度图像代入多项损失函数中的重建损失函数，求解得到第二损失值，多项损失函数中的重建损失函数表示为：在一个实施例中，lc表示第二损失值，ne表示预测反射图像对应的反射分量，if表示正常亮度图像对应的照度分量，e表示预测反射图像，f表示正常亮度图像，表示逐元素乘法，表示l1范数。
27.在一个实施例中，可以利用多项损失函数中的平滑损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第三损失值。
28.具体的，将图像样本集代入多项损失函数中的平滑损失函数，求解得到第三损失值，多项损失函数中的平滑损失函数表示为：在一个实施例中，ls表示第三损失值，i表示图像样本集对应的照度分量，和分别表示水平和垂直方向的梯度算子，表示 l2范数。
29.在一个实施例中，可以利用多项损失函数中的照度损失函数对预测反射图像以及正常亮度图像进行损失计算，得到第四损失值。
30.具体的，将预测反射图像以及正常亮度图像代入多项损失函数中的照度损失函数，求解得到第四损失值，多项损失函数中的照度损失函数表示为：在一个实施例中，lr表示第四损失值，ne表示预测反射图像对应的反射分量，nf表示正常亮度图像对应的反射分量，e表示预测反射图像，f表示正常亮度图像，表示l1范数。
31.在一个实施例中，根据对应于无人机复杂动态低照度场景的权重以及多个损失值进行聚合计算，得到目标损失值，包括：根据对应于无人机复杂动态低照度场景的权重以及
多个损失值，利用预设第一计算公式计算目标损失值。其中，第一计算公式为：在一个实施例中，l表示目标损失值，ld表示损失值中的第一损失值，λd表示多项损失函数中p阶welsh损失函数对应的权重，lc表示损失值中的第二损失值，λc表示多项损失函数中重建损失函数对应的权重，ls表示损失值中的第三损失值，λs表示多项损失函数中平滑损失函数对应的权重，lr表示损失值中的第四损失值，λr表示多项损失函数中照度损失函数对应的权重。
32.在一个实施例中，可以采用预设的反向传播算法根据目标损失值对动态全彩图像增强框架中的图像增强网络进行调整，从而得到全彩图像增强模型。
33.在一个实施例中，利用多个不同的损失进行损失计算，使得最后得到的损失值更加准确，从而利用损失值调整的全彩图像增强模型也更加精确，在进行后续处理时的速率更快。
34.s3、获取无人机机载采集的原始动态低照度图像，利用全彩图像增强模型对原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像。
35.在一个实施例中，无人机机载采集的原始动态低照度图像为原始复杂动态低照度图像。
36.在一个实施例中，利用全彩图像增强模型对原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像，包括：将原始动态低照度图像进行网格化裁剪，得到局部子图；利用全彩图像增强模型中的像素注意力模块对原始动态低照度图像以及局部子图进行卷积及残差式蓝图可分离卷积处理，得到全局纹理特征图及局部纹理特征图；利用全彩图像增强模型中的通道注意力模块对全局纹理特征图及局部纹理特征图进行池化、卷积及拼接处理，得到融合特征图；利用全彩图像增强模型中的强化彩感知注意力模块对融合特征图进行对比度分析及平均池化处理，得到池化融合特征图；对池化融合特征图进行两层卷积处理并利用预设的激活函数对池化融合特征图进行激活，得到注意力分数；根据注意力分数进行分量计算，得到照度分量及反射分量；根据照度分量及反射分量对原始动态低照度图像进行图像增强，得到符合人眼视觉特性的高清全彩目标图像。
37.在一个实施例中，局部子图的数量取决于输入的原始动态低照度图像的大小，即横（纵）向数量等于图像宽（高）度除以预设的合理阈值，然后取整。
38.在一个实施例中，像素注意力模块（pixel attention module, pam）如图2所示，其中，conv表示1
×
1卷积操作，rbsconv表示残差式蓝图可分离卷积操作，通过输入原始动态低照度图像及局部子图进入像素注意力模块，先进行第一层1
×
1卷积操作，得到卷积原始动态低照度图像及卷积局部子图，再进行异或运算后，进行残差式可分离卷积操作再进行一次1
×
1卷积操作，最后经过卷积运算得到全局纹理特征图及局部纹理特征图。
39.在一个实施例中，像素注意力模块表示为：在一个实施例中，e表示全局纹理特征图及局部纹理特征图的集合，t表示原始动态低照度图像及局部子图的集合，rbsconv表示残差式蓝图可分离卷积，conv表示1
×
1卷
积。
40.在一个实施例中，残差式蓝图可分离卷积模块如图3所示，其中，conv表示1
×
1卷积操作，dwconv表示深度可分离卷积，将卷积原始动态低照度图像及卷积局部子图输入残差式蓝图可分离卷积模块，进行两个1
×
1卷积操作后再进行深度可分离卷积操作，得到全局纹理特征图及局部纹理特征图，例如，对于任一m维输入的卷积原始动态低照度图像及卷积局部子图u，经残差式蓝图可分离卷积映射为n维输出张量e，可以将其公式化表示：在一个实施例中，e表示全局纹理特征图及局部纹理特征图，ui表示第i个网格操作的卷积原始动态低照度图像及卷积局部子图，m表示卷积原始动态低照度图像及卷积局部子图的维度，n表示全局纹理特征图及局部纹理特征图的维度，w表示预设的卷积核，b表示网格操作，a表示深度操作，表示对第i个网格操作的1
×
1逐点卷积核，表示一组沿深度方向操作的卷积核，如果是全局分支，则i为1，*表示卷积操作。
41.在一个实施例中，通道注意力模块（channel attention module, cam）如图4所示，其中，maxpool表示最大池化，avgpool表示平均池化，cat表示拼接操作，conv表示1
×
1卷积，通过对输入全局纹理特征图及局部纹理特征图进行池化、卷积、拼接处理，从而得到融合特征图，例如，全局纹理特征图为f1、局部纹理特征图为f2以及融合特征图为f3。
42.在一个实施例中，通道注意力模块表示为：在一个实施例中，f1表示全局纹理特征图，f2表示局部纹理特征图，f3表示融合特征图，f
max
表示f1进行最大池化后的最大池化特征，f
avg
表示f2进行平均池化后的平均池化特征，maxpool表示通道维度上的最大池化，avgpool表示通道维度上的平均池化，cat表示沿通道方向的拼接操作，conv表示1
×
1卷积。
43.在一个实施例中，强化彩感知注意力模块（enhanced color-aware attention module, ecam）如图5所示，其中，contrast表示对比特征图信息的操作，avgpooling表示平均池化，conv表示1
×
1卷积，gelu表示gelu激活函数，sigmoid表示sigmoid激活函数，先将对融合特征图进行对比度分析及平均池化处理，得到池化融合特征图，再对池化融合特征图进行两层卷积处理并利用预设的激活函数对池化融合特征图进行激活，得到注意力分数。
44.在一个实施例中，强化彩感知注意力模块表示为：在一个实施例中，contrast表示池化融合特征图，j表示融合特征图的高度，o表示
transformer, mfpformer）可以实现充分对像素与通道维度特征进行局部特征长程依赖关系的进一步提取，从而有效整合图像全局信息，以实现低照度图像的精确全彩增强效果，防止无人机低照度复杂动态图像全彩增强失真。
54.在一个实施例中，渐进式特征提取模块（progressive feature extraction module, pfem），可以有效在像素与通道维度上自适应修正并提取特征及其内在互补信息，以更好地表征无人机低照度复杂动态环境下具有位置随机分布、尺寸形状多变等特性的关键兴趣区域，实现对关键兴趣区域特征进行“粗到精”的自适应增强。
55.在一个实施例中，级联特征增强模块（cascaded feature enhancement module, cfem）采用自上而下与自下而上的多层双向特征融合策略，以实现对跟踪目标特征提取与增强。
56.在一个实施例中，图7中（a）表示特征提纯模块（feature refinement block, frb），其中，rbsconv表示残差式蓝图可分离卷积，gelu表示gelu激活函数；图7中（b）表示多元特征提纯注意力模块（multi feature purification transformer，mfpformer），其中，conv表示1
×
1卷积，q，k，v表示像素特征中的类别，softmax表示归一化操作，norm表示正则化操作，ecam表示强化彩感知注意力模块。
57.在一个实施例中，多元特征提纯注意力模块的第一结构表示为：在一个实施例中，m表示全连接特征，y0表示卷积像素特征，q，k，v分别表示卷积像素特征中的类别，y1表示卷积通道特征，frb表示特征提纯块，softmax表示归一化操作，norm表示正则化操作。
58.在一个实施例中，多元特征提纯注意力模块的第二结构表示为：在一个实施例中，p表示目标全连接特征，m表示全连接特征，ecam表示强化彩感知注意力模块，norm表示正则化操作。
59.在一个实施例中，多元特征提纯注意力模块的第一结构指的是对卷积像素特征及卷积通道特征进行全连接处理，得到全连接特征；多元特征提纯注意力模块的第二结构指的是对全连接特征进行强化彩信息，得到目标全连接特征。
60.在一个实施例中，如图8表示级联特征增强模块（cascaded feature enhancement module, cfem），其中，cat表示通道维度上拼接操作，rbsconv表示残差式蓝图可分离卷积，conv表示1
×
1卷积，提取目标全连接特征不同尺度的三层特征，将三层特征输入到级联特征增强网络中，利用自上而下和自下而上的特征融合策略对目标图像可以从多个尺度进行特征增强，同时采用残差式蓝图可分离卷积操作减少目标信息的损失，从而得到鲁棒目标所对应的搜索区域目标特征，例如，目标全连接特征可以分为：第一层目标全连接特征p1、第二层目标全连接特征p2、第三层目标全连接特征p3，将p1、p2、p3输入到级联特征增强模块中，进行一系列卷积、拼接等处理，最后输出鲁棒目标所对应的搜索区域目标特征。
61.在一个实施例中，级联特征增强模块表示为：
在一个实施例中，g表示鲁棒目标所对应的搜索区域目标特征，r表示目标图像，p1表示目标全连接特征的第一层目标全连接特征、p2表示目标全连接特征的第二层目标全连接特征、p3表示目标全连接特征的第三层目标全连接特征，b、o表示不同尺度，resize表示调整尺寸操作，cat表示通道维度上拼接操作，rbsconv表示残差式蓝图可分离卷积，conv表示1
×
1卷积。
62.在一个实施例中，r表示目标图像，在进行残差式蓝图可分离卷积、拼接、卷积操作之后的r都会进行更新，在后续操作中利用更新后的目标图像r进行处理。
63.s5、将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置。
64.在一个实施例中，最终所得到的无人机目标跟踪位置为高精度无人机目标跟踪位置。
65.在一个实施例中，将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置，包括：构建位置回归框架，位置回归框架包括分类回归模块；利用分类回归模块对包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行浅层分类卷积处理，得到分类值；根据分类值，将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行深层回归卷积处理，得到无人机目标跟踪位置。
66.在一个实施例中，分类回归模块指的是有效强化对无人机低照度复杂动态图像全彩增强后的图像进行鲁棒目标所对应的搜索区域目标特征融合与提取，并基于强化特征进行快速分类回归，实现低照度复杂动态环境下的无人机跟踪目标准确定位。
67.在一个实施例中，分类回归模块中包含分类分支及回归分支，分类分支指的是经过浅层分类卷积处理，在多个预设的离散值中选择最合适的值作为分类值，回归分支指的是根据分类值，到跟踪目标后对目标的大小和长宽进行预测，从而确定无人机目标跟踪位置。
68.在一个实施例中，如图9表示基于反射图的目标跟踪结构图，其中，经过图像增强后得到的目标图像作为反射图进行特征提取，得到鲁棒目标所对应的搜索区域目标特征即图中的融合特征进入分类回归模块进行分类、回归处理，得到无人机目标跟踪位置实现无人机目标跟踪。
69.在一个实施例中，将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行深层回归卷积处理，得到无人机目标跟踪位置。
70.具体的，本实施例利用预设第三计算公式计算无人机目标跟踪位置，第三计算公式为：
在一个实施例中，h表示无人机目标跟踪位置，g表示鲁棒目标所对应的搜索区域目标特征，crm和cfem分别表示分类回归模块和级联特征增强模块。
71.在一个实施例中，图10为基于双分支渐进式特征增强的无人机低照度目标跟踪方法的原理示意图，其中，输入图像包括原始动态低照度图像以及经过网格化裁剪得到的局部图像，将原始动态低照度图像的全局分支与局部图像的局部分支经过渐进式特征提取pfeb，残差式蓝图可分离卷积rbsconv等一系列处理得到反射图和照度图，将反射图进行级联特征增强模块cfem以及分类回归模块crm处理得到无人机目标跟踪位置。
72.在一个实施例中，基于双分支渐进式特征增强的无人机低照度目标跟踪方法可将得到的目标跟踪结果服务于快速人-无人机交互、通信数据优化、实时响应操作、智能分析应用、隐私保护与数据安全等方面，确保尽可能地减少与云平台通信次数和通信量，从而降低等待时间与计算成本；由于无人机低照度目标跟踪任务被部署到图像数据采集端，可有效降低主干网络的拥塞，缓解带宽占用，达到较低时延，提升处理效率，加快响应请求，能够进一步提升无人机低照度复杂动态环境下的目标跟踪质量；特别地，基于双分支渐进式特征增强的无人机低照度目标跟踪方法边缘部署后的速度可达到实时处理速度，其跟踪精度与成功率均符合工业级应用要求。
73.本发明一实施例提供的基于双分支渐进式特征增强的无人机低照度目标跟踪装置可以包括目标图像增强框架生成模块、图像增强模块、特征提取模块及位置回归模块。本发明所述模块也可以称之为单元，是指一种能够被处理器所执行，如门锁系统中的处理器，并且能够完成固定功能的一系列计算机程序段，其可存储在存储器中，亦可被处理器直接运行。
74.在本实施例中，关于各模块/单元的功能如下：动态全彩图像增强框架生成模块，用于通过强耦合全局-局部双分支，构建适用于无人机机载的动态全彩图像增强框架；全彩图像增强模型生成模块，用于根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型；图像增强模块，用于获取无人机机载采集的原始动态低照度图像，利用全彩图像增强模型对原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像；目标特征生成模块，用于在高清全彩目标图像中获取预设的无人机目标的搜索区域，对无人机目标的搜索区域进行级联特征增强与提取，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征；位置回归模块，用于将包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置。
75.详细地，在一个实施例中基于双分支渐进式特征增强的无人机低照度目标跟踪装置中的各模块在使用时采用与附图中的基于双分支渐进式特征增强的无人机低照度目标跟踪方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
76.基于上述本发明实施例提供的技术方案，通过强耦合全局-局部双高效分支，构建即插即用型无人机机载适用的低照度复杂动态全彩图像增强框架；设计面向全彩图像增强任务的多项损失函数，根据无人机低照度复杂动态场景设置权重，对所提图像增强框架进行像素级别的引导训练，得到强鲁棒全彩图像增强模型；获取无人机机载采集的原始低照
度复杂动态图像，利用所得全彩图像增强模型对原始无人机低照度复杂动态图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩图像；在高清全彩图像中获取无人机目标与搜索区域，对该目标与搜索区域进行新型渐进式级联特征增强与提取，得到包含不同尺度信息的鲁棒目标与搜索区域目标特征；将所得目标与搜索区域目标特征进行位置回归与分类，得到高精度无人机目标跟踪位置。本发明可以有效部署在工业级无人机边缘视觉相机，实现像素级低照度复杂动态图像的高清全彩增强，同时高效解决无人机进行低照度目标跟踪时无法得到准确目标位置的问题。
77.本发明一实施例提供的实现基于双分支渐进式特征增强的无人机低照度目标跟踪方法的电子设备，其中电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在存储器11中并可在处理器10上运行的计算机程序，如基于双分支渐进式特征提取与融合无人机目标跟踪程序。
78.其中，处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（central processing unit，cpu）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器10是所述电子设备的控制核心（control unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行基于双分支渐进式特征提取与融合无人机目标跟踪程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
79.所述存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：sd或dx存储器等）、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（smart media card，smc）、安全数字（secure digital，sd）卡、闪存卡（flash card）等。进一步地，存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于用户画像的产品推荐程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
80.所述通信总线12可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
81.通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，网络接口可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
82.在一个实施例中，电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
83.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
84.本发明还提供一种计算机可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器所执行时，可以实现上述任一实施例的基于双分支渐进式特征增强的无人机低照度目标跟踪方法。需要说明的是，计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）。
85.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
86.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
87.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
88.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
89.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
90.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
91.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
92.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

技术特征：

1.一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，包括：通过强耦合全局-局部双分支，构建适用于无人机机载的动态全彩图像增强框架；根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的所述动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型；获取所述无人机机载采集的原始动态低照度图像，利用所述全彩图像增强模型对所述原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像；在所述高清全彩目标图像中获取预设的无人机目标的搜索区域，对所述无人机目标的搜索区域进行级联特征增强与提取，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征；将所述包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置。2.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述动态全彩图像增强框架包括像素注意力模块、通道注意力模块、强化彩感知注意力模块、残差式蓝图可分离卷积模块。3.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述多项损失函数包括p阶welsh损失函数、重建损失函数、平滑损失函数、照度损失函数。4.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述根据预设的多项损失函数以及对应于无人机复杂动态低照度场景的权重，对预构建的所述动态全彩图像增强框架进行像素级别的引导训练，得到全彩图像增强模型，包括：构建图像样本集，所述图像样本集中包括训练低照度图像以及对应的正常亮度图像；将所述训练低照度图像输入动态全彩图像增强框架中的图像增强网络，得到预测反射图像；利用所述多项损失函数对所述预测反射图像以及所述正常亮度图像进行多损失值计算，得到多个损失值；根据对应于无人机复杂动态低照度场景的权重以及所述多个损失值进行聚合计算，得到目标损失值；根据所述目标损失值对预构建的所述动态全彩图像增强框架中的图像增强网络进行调整，得到全彩图像增强模型。5.如权利要求4所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述多项损失函数对所述预测反射图像以及所述正常亮度图像进行多损失值计算，得到多个损失值，包括：利用所述多项损失函数中的p阶welsh损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第一损失值；利用所述多项损失函数中的重建损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第二损失值；利用所述多项损失函数中的平滑损失函数对所述预测反射图像以及所述正常亮度图
像进行损失计算，得到第三损失值；利用所述多项损失函数中的照度损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第四损失值。6.如权利要求4所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述根据对应于无人机复杂动态低照度场景的权重以及所述多个损失值进行聚合计算，得到目标损失值，包括：根据对应于无人机复杂动态低照度场景的权重以及所述多个损失值，利用预设第一计算公式计算目标损失值，所述第一计算公式为：其中，l表示所述目标损失值，l
d
表示所述损失值中的第一损失值，λ
d
表示所述多项损失函数中p阶welsh损失函数对应的权重，l
c
表示所述损失值中的第二损失值，λ
c
表示所述多项损失函数中重建损失函数对应的权重，l
s
表示所述损失值中的第三损失值，λ
s
表示所述多项损失函数中平滑损失函数对应的权重，l
r
表示所述损失值中的第四损失值，λ
r
表示所述多项损失函数中照度损失函数对应的权重。7.如权利要求5所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述多项损失函数中的p阶welsh损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第一损失值，包括：将所述预测反射图像以及所述正常亮度图像代入所述多项损失函数中的p阶welsh损失函数，求解得到第一损失值，所述多项损失函数中的p阶welsh损失函数表示为：其中，l
d
表示所述第一损失值，n
e
表示所述预测反射图像对应的反射分量，i
f
表示所述正常亮度图像对应的照度分量，e表示所述预测反射图像，f表示所述正常亮度图像，g表示预设的通道数，p表示p阶welsh损失函数的阶数，exp表示以自然对数为底的指数函数，表示逐元素乘法。8.如权利要求5所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述多项损失函数中的重建损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第二损失值，包括：将所述预测反射图像以及所述正常亮度图像代入所述多项损失函数中的重建损失函数，求解得到第二损失值，所述多项损失函数中的重建损失函数表示为：其中，l
c
表示所述第二损失值，n
e
表示所述预测反射图像对应的反射分量，i
f
表示所述正常亮度图像对应的照度分量，e表示所述预测反射图像，f表示所述正常亮度图像，表示逐元素乘法，表示l1范数。9.如权利要求5所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述多项损失函数中的平滑损失函数对所述预测反射图像以及所述正
常亮度图像进行损失计算，得到第三损失值，包括：将所述图像样本集代入所述多项损失函数中的平滑损失函数，求解得到第三损失值，所述多项损失函数中的平滑损失函数表示为：其中，l
s
表示所述第三损失值，i表示所述图像样本集对应的照度分量，和分别表示水平和垂直方向的梯度算子，表示l2范数。10.如权利要求5所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述多项损失函数中的照度损失函数对所述预测反射图像以及所述正常亮度图像进行损失计算，得到第四损失值，包括：将所述预测反射图像以及所述正常亮度图像代入所述多项损失函数中的照度损失函数，求解得到第四损失值，所述多项损失函数中的照度损失函数表示为：其中，l
r
表示所述第四损失值，n
e
表示所述预测反射图像对应的反射分量，n
f
表示所述正常亮度图像对应的反射分量，e表示所述预测反射图像，f表示所述正常亮度图像，表示l1范数。11.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述利用所述全彩图像增强模型对所述原始动态低照度图像进行像素级全彩图像增强，得到符合人眼视觉特性的高清全彩目标图像，包括：将所述原始动态低照度图像进行网格化裁剪，得到局部子图；利用所述全彩图像增强模型中的像素注意力模块对所述原始动态低照度图像以及所述局部子图进行卷积及残差式蓝图可分离卷积处理，得到全局纹理特征图及局部纹理特征图；利用所述全彩图像增强模型中的通道注意力模块对所述全局纹理特征图及所述局部纹理特征图进行池化、卷积及拼接处理，得到融合特征图；利用所述全彩图像增强模型中的强化彩感知注意力模块对所述融合特征图进行对比度分析及平均池化处理，得到池化融合特征图；对所述池化融合特征图进行两层卷积处理并利用预设的激活函数对所述池化融合特征图进行激活，得到注意力分数；根据所述注意力分数进行分量计算，得到照度分量及反射分量；根据所述照度分量及所述反射分量对所述原始动态低照度图像进行图像增强，得到符合人眼视觉特性的高清全彩目标图像。12.如权利要求11所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述像素注意力模块表示为：其中，e表示所述全局纹理特征图及所述局部纹理特征图的集合，t表示所述原始动态
低照度图像及所述局部子图的集合，rbsconv表示残差式蓝图可分离卷积，conv表示1
×
1卷积。13.如权利要求11所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述通道注意力模块表示为：其中，f1表示所述全局纹理特征图，f2表示所述局部纹理特征图，f3表示所述融合特征图，f
max
表示所述f1进行最大池化后的最大池化特征，f
avg
表示所述f2进行平均池化后的平均池化特征，maxpool表示通道维度上的最大池化，avgpool表示通道维度上的平均池化，cat表示沿通道方向的拼接操作，conv表示1
×
1卷积。14.如权利要求11所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述强化彩感知注意力模块表示为：其中，contrast表示所述池化融合特征图，j表示所述融合特征图的高度，o表示所述融合特征图的宽度，x表示所述融合特征图，所述融合特征图，a、b表示预设的计算参数。15.如权利要求11所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述对所述池化融合特征图进行两层卷积处理并利用预设的激活函数对所述池化融合特征图进行激活，得到注意力分数，包括：利用预设第二计算公式计算注意力分数，所述第二计算公式为：其中，contrast表示所述池化融合特征图，w
eca
表示所述注意力分数，avgpooling表示平均池化，contrast表示对比特征图信息的操作，sigmoid表示sigmoid激活函数，gelu表示 gelu激活函数，conv表示1
×
1卷积，cat表示沿通道方向的拼接操作。16.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述对所述无人机目标的搜索区域进行级联特征增强与提取，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征，包括：构建特征提取框架，所述特征提取框架包括特征提纯模块、多元特征提纯注意力模块、渐进式特征提取模块、级联特征增强模块；利用所述特征提纯模块对所述无人机目标的搜索区域进行残差式蓝图可分离卷积处理，得到卷积像素特征及卷积通道特征；利用所述多元特征提纯注意力模块对所述卷积像素特征及所述卷积通道特征进行全连接处理，得到全连接特征；
利用所述多元特征提纯注意力模块对所述全连接特征进行强化彩信息，得到目标全连接特征；利用所述级联特征增强模块对所述目标全连接特征进行尺寸调整，得到包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征。17.如权利要求16所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述多元特征提纯注意力模块的第一结构表示为：其中，m表示所述全连接特征，y0表示所述卷积像素特征，q，k，v分别表示所述卷积像素特征中的类别，y1表示所述卷积通道特征，frb表示特征提纯块，softmax表示归一化操作，norm表示正则化操作。18.如权利要求16所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述多元特征提纯注意力模块的第二结构表示为：其中，p表示所述目标全连接特征，m表示所述全连接特征，ecam表示强化彩感知注意力模块，norm表示正则化操作。19.如权利要求16所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述级联特征增强模块表示为：其中，g表示所述鲁棒目标所对应的搜索区域目标特征，r表示所述目标图像，p1表示所述目标全连接特征的第一层目标全连接特征、p2表示所述目标全连接特征的第二层目标全连接特征、p3表示所述目标全连接特征的第三层目标全连接特征，b、o表示不同尺度，resize表示调整尺寸操作，cat表示通道维度上拼接操作，rbsconv表示残差式蓝图可分离卷积，conv表示1
×
1卷积。20.如权利要求1所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述将所述包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行位置回归与分类，得到无人机目标跟踪位置，包括：构建位置回归框架，所述位置回归框架包括分类回归模块；利用所述分类回归模块对所述包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行浅层分类卷积处理，得到分类值；
根据所述分类值，将所述包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行深层回归卷积处理，得到无人机目标跟踪位置。21.如权利要求20所述的基于双分支渐进式特征增强的无人机低照度目标跟踪方法，其特征在于，所述将所述包含不同尺度信息的鲁棒目标所对应的搜索区域目标特征进行深层回归卷积处理，得到无人机目标跟踪位置，包括：利用预设第三计算公式计算无人机目标跟踪位置，所述第三计算公式为：其中，h表示所述无人机目标跟踪位置，g表示所述鲁棒目标所对应的搜索区域目标特征，crm和cfem分别表示分类回归模块和级联特征增强模块。

技术总结

本发明提供了一种基于双分支渐进式特征增强的无人机低照度目标跟踪方法，包括：通过强耦合全局-局部双分支构建动态全彩图像增强框架；根据多项损失函数及权重对动态全彩图像增强框架进行引导训练，得到全彩图像增强模型；获取原始动态低照度图像，利用全彩图像增强模型对原始动态低照度图像进行像素级全彩图像增强，得到高清全彩目标图像；获取无人机目标的搜索区域进行级联特征增强与提取，得到目标特征；将目标特征进行位置回归与分类，得到无人机目标跟踪位置。本发明可以有效部署在工业级无人机边缘视觉相机，实现像素级低照度复杂动态图像的高清全彩增强，同时高效解决无人机进行低照度目标跟踪时无法得到准确的目标位置的问题。标位置的问题。标位置的问题。