路面形貌测量方法、装置、设备及存储介质与流程

阅读：评论：0

1.本发明涉及道路工程测量技术领域，尤其涉及一种路面形貌测量方法、装置、设备及存储介质。

背景技术：

2.路面三维形貌同路面抗滑和轮胎-路面噪声等功能息息相关，测量路面三维形貌是为了更好评价其抗滑和降噪等功能特性，目前常用的路面形貌测量方法为环形形貌测试法和激光构造深度法，但上述方法由于测试分辨率有限，只能有限测点的形貌信息，测试结果为不连续的二维指标，无法反映整个路面待测区域形貌的形状构造特性，准确性不高。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

4.本发明的主要目的在于提供了一种路面形貌测量方法、装置、设备及存储介质，旨在解决现有技术测试分辨率有限，只能有限测点的形貌信息，测试结果为不连续的二维指标，无法反映整个路面待测区域形貌的形状构造特性，准确性不高的技术问题。
5.为实现上述目的，本发明提供了一种路面形貌测量方法，所述路面形貌测量方法包括以下步骤：
6.获取目标区域的可见光图像与近红外光图像；
7.基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像；
8.通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像；
9.对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。
10.可选地，所述基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像的步骤，包括：
11.对所述可见光图像和所述近红外光图像进行曲波分解和奇异值分解，获得曲波分解层和奇异值分解层，所述曲波分解层包括可见光图像曲波分解层以及近红外光图像曲波分解层；
12.对处于同一频率的所述可见光图像曲波分解层以及所述近红外光图像曲波分解层进行融合，获得曲波融合图像；
13.基于所述奇异值分解层以及所述曲波融合图像获得奇异值特征增强的第一融合图像。
14.可选地，所述奇异值分解层包括可见光图像奇异值分解层以及近红外光图像奇异值分解层，所述基于所述奇异值分解层以及所述曲波融合图像获得奇异值特征增强的第一融合图像的步骤，包括：
15.基于所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值对所述奇异值分解层进行优化，获得优化后的奇异值分解层；
16.根据所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值确定所述奇异值分解层各层的融合权重；
17.通过所述融合权重结合所述曲波融合图像以及所述优化后的奇异值分解层对所述可见光图像对与所述近红外光图像对进行图像融合，获得第一融合图像。
18.可选地，所述基于所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值对所述奇异值分解层进行优化，获得优化后的奇异值分解层的步骤，包括：
19.对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较；
20.过滤能量值低的可见光图像奇异值分解层或近红外光图像奇异值分解层，获得优化后的奇异值分解层。
21.可选地，所述根据所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值确定所述奇异值分解层各层的融合权重的步骤，包括：
22.对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较；
23.在所述可见光图像奇异值分解层对应的能量值大于所述近红外光图像奇异值分解层对应的能量值时，基于所述可见光图像奇异值分解层对应的能量值通过第一预设权重公式确定融合权重；
24.其中，所述第一预设权重公式包括：
[0025][0026]
其中，wk为融合权重，eak为可见光图像奇异值分解层对应的能量值，ebk为近红外光图像奇异值分解层对应的能量值。
[0027]
可选地，所述对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较的步骤之后，还包括：
[0028]
在所述可见光图像奇异值分解层对应的能量值低于所述近红外光图像奇异值分解层对应的能量值时，基于所述近红外光图像奇异值分解层对应的能量值通过第二预设权重公式确定融合权重；
[0029]
其中，所述第二预设权重公式包括：
[0030][0031]
其中，wk为融合权重，eak为可见光图像奇异值分解层对应的能量值，ebk为近红外光图像奇异值分解层对应的能量值。
[0032]
可选地，所述通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像的步骤包括：
[0033]
投影预设频率的可见结构光至所述目标区域，并通过所述可见结构光相移预设步长扫描所述目标区域，获得可见光相移图像；
[0034]
基于所述可见光相移图像确定光强分布函数，并根据所述光强分布函数确定初始调制信息图像；
[0035]
对所述初始调制信息图像进行滤波，获得目标调制信息图像。
[0036]
此外，为实现上述目的，本发明还提出一种路面形貌测量装置，所述路面形貌测量装置包括：
[0037]
图像获取模块，用于获取目标区域的可见光图像与近红外光图像；
[0038]
图像融合模块，用于基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像；
[0039]
区域扫描模块，用于通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像；
[0040]
视觉测量模块，用于对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。
[0041]
此外，为实现上述目的，本发明还提出一种路面形貌测量设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的路面形貌测量程序，所述路面形貌测量程序配置为实现如上文所述的路面形貌测量方法的步骤。
[0042]
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有路面形貌测量程序，所述路面形貌测量程序被处理器执行时实现如上文所述的路面形貌测量方法的步骤。
[0043]
本发明通过获取目标区域的可见光图像与近红外光图像；基于可见光图像与近红外光图像进行图像融合，获得第一融合图像；通过预设频率的可见结构光扫描目标区域，获得目标调制信息图像；对目标调制信息图像与第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，获得目标区域的三维形貌图。由于本发明通过可见光图像与近红外光图像进行图像融合获得的第一融合图像与通过预设频率的可见结构光扫描获得的目标调制信息图像进行融合，然后根据融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，避免了测试分辨率有限，只能有限测点的形貌信息，测试结果为不连续的二维指标，无法反映整个路面待测区域形貌的形状构造特性的问题，实现了对目标区域的三维形貌在复杂环境下鲁棒视觉测量，有效提高了测量精度。
附图说明
[0044]
图1为本发明实施例方案涉及的硬件运行环境的路面形貌测量设备的结构示意图；
[0045]
图2为本发明路面形貌测量方法第一实施例的流程示意图；
[0046]
图3为本发明路面形貌测量方法第一实施例中可见光图像对示意图；
[0047]
图4为本发明路面形貌测量方法第一实施例中近红外光图像对示意图；
[0048]
图5为本发明路面形貌测量方法第一实施例中第一融合图像示意图；
[0049]
图6为本发明路面形貌测量方法第一实施例中三维形貌图的示意图；
[0050]
图7为本发明路面形貌测量方法第一实施例中测量设备示意图；
[0051]
图8为本发明路面形貌测量方法第二实施例的流程示意图；
[0052]
图9为本发明路面形貌测量方法第三实施例的流程示意图；
[0053]
图10为本发明路面形貌测量方法第三实施例中可见光相移图像示意图；
[0054]
图11为本发明路面形貌测量方法第三实施例中光强分布函数示意图；
[0055]
图12为本发明路面形貌测量方法第三实施例中初始调制图像示意图；
[0056]
图13为本发明路面形貌测量方法第三实施例中第二融合图像示意图；
[0057]
图14为本发明路面形貌测量方法第三实施例中对第二融合图像进行处理后的图像示意图；
[0058]
图15为本发明路面形貌测量装置第一实施例的结构框图。
[0059]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0060]
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0061]
参照图1，图1为本发明实施例方案涉及的硬件运行环境的路面形貌测量设备结构示意图。
[0062]
如图1所示，该路面形貌测量设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0063]
本领域技术人员可以理解，图1中示出的结构并不构成对路面形貌测量设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0064]
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及路面形貌测量程序。
[0065]
在图1所示的路面形貌测量设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明路面形貌测量设备中的处理器1001、存储器1005可以设置在路面形貌测量设备中，所述路面形貌测量设备通过处理器1001调用存储器1005中存储的路面形貌测量程序，并执行本发明实施例提供的路面形貌测量方法。
[0066]
本发明实施例提供了一种路面形貌测量方法，参照图2，图2为本发明路面形貌测量方法第一实施例的流程示意图。
[0067]
本实施例中，所述路面形貌测量方法包括以下步骤：
[0068]
步骤s10：获取目标区域的可见光图像与近红外光图像。
[0069]
需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，还可以是实现相同或相似功能的其他电子设备。以下以上述路面形貌测量设备(简称测量设备)对本实施例和下述各实施例进行说明。
[0070]
可理解的是，目标区域可为待测量的路面区域。
[0071]
需要说明的是，可见光图像可为通过双目摄像头对上述目标区域进行可见光拍摄获得的左、右幅图像对，
[0072]
为了便于理解，参考图3，图3为本发明路面形貌测量方法第一实施例中可见光图像对示意图，图中，左边的图像即可为通过双目摄像头拍摄获得的左幅可见光图像，右边的图像可为通过双目摄像头拍摄获得的右幅可见光图像。
[0073]
需要说明的是，近红外光图像可为通过双目摄像头对上述目标区域进行近红外光拍摄获得的左、右幅图像对。
[0074]
为了便于理解，参考图4进行说明，但并不对本方案进行限定。图4为本发明路面形貌测量方法第一实施例中近红外光图像对示意图，图中，左边的图像即可为通过双目摄像头拍摄获得的左幅近红外光图像，右边的图像可为通过双目摄像头拍摄获得的右幅近红外光图像。
[0075]
在具体实现中，测量设备可调节补强光源通过双通道双目摄像头对目标区域进行拍摄，获得左、右幅的可见光图像对以及近红外光图像对。
[0076]
步骤s20：基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像。
[0077]
在具体实现中，测量设备可通过多尺度变换的特征信息增强融合算法对上述可见光图像与上述近红外光图像进行图像融合，完成图像第一阶段融合，该第一阶段融合获得图像即可为第一融合图像，以增强区域特征，上述特征信息融合算法如基于奇异值特征增强的多尺度曲波分解融合算法。
[0078]
为了便于理解，参考图5进行说明，但并不对本方案进行限定，图5为本发明路面形貌测量方法第一实施例中第一融合图像示意图，图中，左边的图像为上述左边的可见光图像与左边的近红外光图像融合获得的图像，相应地，右边的图像为上述右边的可见光图像与右边的近红外光图像融合获得的图像。
[0079]
步骤s30：通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像。
[0080]
需要说明的是，预设频率可由技术人员根据需求所使得，如可为三种频率的正弦结构光。
[0081]
可理解的是，可见结构光可为通过条纹结构光投影模组所投射出的可见光。
[0082]
需要说明的是，目标调制信息图像可为经过上述预设频率的可见结构光对目标区域投影后所获得的结构光调制信息矩阵，也可以是灰度调制图，也可以是解包绝对相位，本实施例对此不加以限制。
[0083]
在具体实现中，测量设备可通过条纹结构光投影模组，使用多种预设频率的可见正弦结构光正向投影上述目标区域，基于三频n步相移法确定上述目标区域对应的目标调
制信息图像，以增强像素点特征的识别与匹配。
[0084]
步骤s40：对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。
[0085]
在具体实现中，测量设备可基于上述第一图像融合对应的多尺度变换的特征信息增强融合算法对上述目标调制信息图像与上述第一融合图像进行图像再次融合，完成图像第二阶段融合，即上述目标调制信息图像与第一阶段融合获得的第一融合图像进行融合，上述第二阶段融合获得的图像即可为第二融合图像，然后根据相机的标定参数，对该第二融合图像依次开展极线校正、去背景、semiglobal立体匹配、视差求解、三维重构等操作，最终完成对上述目标区域三位形貌的视觉测量，获得目标区域的三维形貌图，从而实现了路面三维形貌的快速、准确、稳定以及高分辨率地提取。
[0086]
为了便于理解，参考图6进行说明，但并不对本方案进行限定，图6为本发明路面形貌测量方法第一实施例中三维形貌图的示意图，图中，x(pixel)表示x轴的像素点坐标、y(pixel)为y轴的像素点坐标、z(mm)表示图形在z轴上的高度，单位为毫米，通过图中的z轴上的坐标值即可推测目标区域的路面形貌，可精确测量出目标区域的三维路面形貌，从而更好地评价目标区域路面的抗滑和降噪等功能特性。
[0087]
本实施例通过获取目标区域的可见光图像与近红外光图像；基于可见光图像与近红外光图像进行图像融合，获得第一融合图像；通过预设频率的可见结构光扫描目标区域，获得目标调制信息图像；对目标调制信息图像与第一融合图像进行图像融合，并基于图像融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，获得目标区域的三维形貌图。由于本实施例通过可见光图像与近红外光图像进行图像融合获得的第一融合图像与通过预设频率的可见结构光扫描获得的目标调制信息图像进行融合，然后根据融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，避免了测试分辨率有限，只能有限测点的形貌信息，测试结果为不连续的二维指标，无法反映整个路面待测区域形貌的形状构造特性的问题，实现了对目标区域的三维形貌测量，有效提高了测量精度。
[0088]
为了便于理解，参考图7进行说明，但并不对本方案进行限定。图7为本发明路面形貌测量方法第一实施例中测量设备示意图，图中，测量设备包括：车辆悬架支撑系统10、补强光源20、带导轨挡板30、条纹结构光投影模组40、双通道双目拍摄模组50、电源60以及一体化控制装置70。
[0089]
如图7所示，车辆悬架支撑系统10的底板为铁质材料，开有一个预设面积(如300mm
×
300mm)的测量窗口，所述车辆悬架支撑系统10为四轮独立式悬挂，配备4个有刷电机，功率可为100w，也可根据需求进行设定，本方案对此不加以限制，四个轮胎连接轴上部设置有弹簧减震装置，具备减震功能。
[0090]
需要说明的是，上述车辆悬架支撑系统10底板上装配有一个pmw信号接收机接收信号，配备的远程遥控器采用多通道无线通信模块发出信号，以实现远程遥控的功能。
[0091]
可理解的是，上述补强光源20由可见光灯带和近红外光灯带两种光源组成，其中近红外光灯带发光波长为780nm～1100nm，所述补强光源20安装在所述测量窗口周边，环绕布置，以形成无影灯补强效果。
[0092]
需要说明的是，带导轨挡板30为铁质材料，底端通过螺丝固定在车辆悬架支撑系
统10的底板上，挡板内侧固定有四组导轨，通过导轨实现可移动滑块与挡板间的连接，带导轨挡板30是固定可移动滑块的载体，而可移动滑块又是固定条纹结构光投影模组40和双通道双目拍摄模组50的载体。
[0093]
可理解的是，条纹结构光投影模组40为一个微型可见光投影仪，通过螺丝钉固定在铝制薄板上，所述铝制薄板通过紧固螺丝固定在回形钢条上，所述回形钢条的尾端通过螺丝固定在所述带导轨挡板30的导轨横梁上，所述导轨横梁两端以滑轮的形式连接在所述带导轨挡板30上，便于调节条纹结构光投影模组40投射结构光的入射高度及方向。
[0094]
需要说明的是，双通道双目拍摄模组50由两个全局快门(彩+黑白nir)相机组成，相机发光棱镜后端各装有一枚独立的感光芯片，以同时拍摄彩的可见光图像和黑白的近红外光图像，两个摄像头侧壁固定有旋转台，所述旋转台底部通过滑轮固定于导轨横梁上，所述导轨横梁端部通过滑轮与所述带导轨挡板30连接，以实现三个自由度的移动。
[0095]
需要说明的是，电源由磷酸铁锂电池和正弦逆变器组成，通过pe塑胶固定框条固定在所述车辆悬架支撑系统的底板上。
[0096]
可理解的是，一体化控制装置70主要由控制面板、一体机、功能控制按钮等部分组成。所述控制面板为一个工业级触摸显示屏，所述功能控制按钮主要用于实现所述补强光源20、所述条纹结构光投影模组40、所述双通道双目拍摄模组50的调节控制。
[0097]
参考图8，图8为本发明路面形貌测量方法第二实施例的流程示意图。
[0098]
基于上述第一实施例，在本实施例中，所述步骤s20包括：
[0099]
步骤s201：对所述可见光图像和所述近红外光图像进行曲波分解和奇异值分解，获得曲波分解层和奇异值分解层，所述曲波分解层包括可见光图像曲波分解层以及近红外光图像曲波分解层。
[0100]
需要说明的是，在对可见光图像和近红外光图像进行融合时，若图像的区域特征不够明显，则会影响路面形貌测量的精度，故而提出本实施例，以增强图像的区域特征，提高路面形貌测量的精度。
[0101]
可理解的是，曲波分解层可为根据频率划分的分解层，也即，曲波分解层中处于同一分解层的频率保持一致，处于不同分解层的频率不一致，从而划分出了高频特征信息和低频特征信息。
[0102]
在具体实现中，测量设备可对上述可见光图像和上述近红外光图像进行曲波分解，获得可见光图像曲波分解层和近红外光图像曲波分解层，可见光图像曲波分解层和近红外光图像曲波分解层各层均按频率划分，也即处于同一频率的为一层。
[0103]
应理解的是，上述曲波分解可参考如下曲波分解公式：
[0104][0105]
其中，ck(i，j)为曲波分解的第k个分解层，(xo，yo)为对应的空间域内的点；z(x，y)是(x，y)对应的频域分解层。
[0106]
需要说明的是，测量设备可通过奇异值分解公式对上述可见光图像和上述近红外光图像进行奇异值分解，可获得空域下的奇异值特征信息，该空域下的奇异值特征信息即可为上述奇异值分解层，相应地，通过该分解可获得可见光图像奇异值分解层以及近红外光图像奇异值分解层。
[0107]
应理解的是，上述奇异值分解公式如下：
[0108]ak
(i，j)＝s
avt
，bk(i，j)＝s
bvt
，k＝{1，2，
…
，n}
[0109]
其中，ak(i，j)为可见光图像对应的奇异值矩阵，bk(i，j)为近红外光图像对应的奇异值矩阵，sa为可见光图像分解对角阵，sb为近红外光图像分解对角阵，v
t
为分解正交矩阵，n为设定的分解层总数。
[0110]
步骤s202：对处于同一频率的所述可见光图像曲波分解层以及所述近红外光图像曲波分解层进行融合，获得曲波融合图像。
[0111]
需要说明的是，曲波融合图像可为结合了相同频率的可见光图像曲波分解层与近红外光图像曲波分解层的图像。
[0112]
在具体实现中，测量设备可将可见光图像曲波分解层中和近红外光图像曲波分解层中频率相同的分解层进行融合，从而结合了相同频率的可见光图像曲波分解层与近红外光图像曲波分解层，从而分解出了频域的高、低频率特征信息。
[0113]
步骤s203：基于所述奇异值分解层以及所述曲波融合图像获得奇异值特征增强的第一融合图像。
[0114]
在具体实现中，测量设备可对上述奇异值分解层进行优化，获得特征信息加强的奇异值分解层，也即优化后的奇异值分解层，然后结合上述优化后的奇异值分解层与上述曲波融合图像，以增强上述曲波融合图像中的细部特征信息，从而获得了奇异值特征增强的第一融合图像，并增强了区域特征，提高了路面形貌测量的精度。
[0115]
进一步地，为了提高可见光图像与近红外光图像融合的精度，本实施例中，所述步骤s204包括：
[0116]
步骤s2041：基于所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值对所述奇异值分解层进行优化，获得优化后的奇异值分解层。
[0117]
在具体实现中，测量设备可确定上述奇异值分解层中各层的能力值，也即上述可见光图像奇异值分解层各层对应的能量值以及上述近红外光图像奇异值分解层各层对应的能量值对上述奇异值分解层各层进行优化，获得奇异值特征明显的分解层，也即优化后的奇异值分解层。
[0118]
进一步地，为了提高奇异值优化的精度，本实施例中，所述步骤s2041包括：
[0119]
步骤s20411：对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较。
[0120]
在具体实现中，测量设备可对可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较，判断上述可见光图像奇异值分解层各层对应的能量值是否存在大于上述近红外光图像奇异值分解层各层对应的能量值，以过滤奇异值分解层中能量较小的分解层。
[0121]
步骤s20412：过滤能量值低的可见光图像奇异值分解层或近红外光图像奇异值分解层，获得优化后的奇异值分解层。
[0122]
在具体实现中，测量设备在判断出上述可见光图像奇异值分解层中存在能量值是否大于上述近红外光图像奇异值分解层对应的能量值时，便过滤低于上述可见光图像奇异值分解层对应能量值的近红外光图像奇异值分解层，以保留上述奇异值分解层对应能量值
大于近红外光图像奇异值分解层对应能量值的可见光图像奇异值分解层，也即优化后的奇异值分解层。
[0123]
应理解的是，在判断出上述近红外光图像奇异值分解层中存在能量值是否大于上述可见光图像奇异值分解层对应的能量值时，便过滤低于上述近红外光图像奇异值分解层对应能量值的可见光图像奇异值分解层，以保留上奇异值分解层对应能量值大于可见光图像奇异值分解层对应能量值的近红外光图像奇异值分解层。
[0124]
需要说明的是，测量设备可判断上述奇异值分解层中每一层的可见光图像奇异值分解层的能量值以及近红外光图像奇异值分解层的能量值，可按如下公式确定优化后的奇异值分解层：
[0125][0126]
其中，fk为优化后的奇异值分解层，eak为可见光图像奇异值分解层对应的能量值，ebk为近红外光图像奇异值分解层对应的能量值。
[0127]
可理解的是，通过上述公式便可优化每一层奇异值分解层，获得能量值大的奇异值分解层，优化后的奇异值分解层便可精确反映空域奇异值特征信息。
[0128]
步骤s2042：根据所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值确定所述奇异值分解层各层的融合权重。
[0129]
需要说明的是，融合权重可为反映可见光奇异值分解层和近红外光奇异值分解层占比多少的权重，也即反映奇异值特征信息中可见光和近红外光的占比。
[0130]
在具体实现中，测量设备可根据上述可见光图像奇异值分解层各层对应的能量值以及上述近红外光图像奇异值分解层各层对应的能量值大小为各层奇异值分解层分配融合权重，以使融合后的图像更为精确的反映特征信息。
[0131]
进一步地，为了提高融合权重确定的精度，本实施例中，所述步骤s2042包括：
[0132]
步骤s20421：对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较。
[0133]
在具体实现中，测量设备可依次判断第一层奇异值分解层至最后一层奇异值分解层中上述可见光图像奇异值分解层各层对应的能量值以及上述近红外光图像奇异值分解层各层对应的能量值大小。
[0134]
步骤s20422：在所述可见光图像奇异值分解层对应的能量值大于所述近红外光图像奇异值分解层对应的能量值时，基于所述可见光图像奇异值分解层对应的能量值通过第一预设权重公式确定融合权重。
[0135]
在具体实现中，测量设备在判断出上述奇异值分解层中其中一层的可见光图像奇异值分解层对应的能量值大于所述近红外光图像奇异值分解层对应的能量值时，便可通过第一预设权重公式确定可见光图像奇异值分解层占比较大的融合权重。
[0136]
其中，所述第一预设权重公式包括：
[0137]
[0138]
其中，wk为融合权重，eak为可见光图像奇异值分解层对应的能量值，ebk为近红外光图像奇异值分解层对应的能量值。
[0139]
相应地，本实施例中，所述步骤s20421之后，还包括：
[0140]
步骤s20422'：在所述可见光图像奇异值分解层对应的能量值低于所述近红外光图像奇异值分解层对应的能量值时，基于所述近红外光图像奇异值分解层对应的能量值通过第二预设权重公式确定融合权重。
[0141]
在具体实现中，测量设备在判断出上述奇异值分解层中其中一层的可见光图像奇异值分解层对应的能量值低于所述近红外光图像奇异值分解层对应的能量值时，便可通过第二预设权重公式确定近红外光图像奇异值分解层占比较大的融合权重。
[0142]
其中，所述第二预设权重公式包括：
[0143][0144]
其中，wk为融合权重，eak为可见光图像奇异值分解层对应的能量值，ebk为近红外光图像奇异值分解层对应的能量值。
[0145]
应理解的是，通过上述第一预设权重公式以及上述第二预设权重公式即可为奇异值分解层根据能量值大小分配相应的融合权重，使该融合权重更为精确地反映奇异值特征信息。
[0146]
步骤s2043：通过所述融合权重结合所述曲波分解层以及所述优化后的奇异值分解层对所述可见光图像对与所述近红外光图像对进行图像融合，获得第一融合图像。
[0147]
在具体实现中，测量设备可根据上述由奇异值分解层能量值大小分配的融合权重对上述曲波分解层以及上述优化后的奇异值分解层基于融合公式进行结合，该融合公式为：
[0148][0149]
其中，f(i，j)为第一融合图像，wk为融合权重，fk为优化后的奇异值分解层，ck(i，j)为曲波分解的第k个分解层。
[0150]
应理解的是，通过上述融合过程，即可获得基于奇异值特征增强的多尺度曲波分融合图像，该图像即为上述第一融合图像，可有效增强区域特性，提高路面项目测量的精确性。
[0151]
参考图9，图9为本发明路面形貌测量方法第三实施例的流程示意图。
[0152]
基于上述各实施例，提出本发明路面形貌测量方法第四实施例。
[0153]
在本实施例中，所述步骤s30可具体包括以下步骤：
[0154]
步骤s301：投影预设频率的可见结构光至所述目标区域，并通过所述可见结构光相移预设步长扫描所述目标区域，获得可见光相移图像。
[0155]
需要说明的是，在进行路面形貌测量过程中，存在像素点特征识别与匹配不准确的问题，故而提出本实施例，以增强像素点特征的识别与匹配，进而提高路面形貌测量的准确性。
[0156]
可理解的是，可见光相移图像可为上述可见结构光相移后，通过上述双通道双目
拍摄模组拍摄获取的相移图像对。
[0157]
在具体实现中，测量设备可调整上述条纹结构光投影模组，使用多种频率的可见结构光正向投影在上述目标区域，可见结构光相移n步扫描目标待测区域，其中，n为预先设置的数目，n≥3，每次相移步长为2π/n，然后再次使用上述双通道双目拍摄模组获取相移图像对，即上述可见光相移图像。
[0158]
为了便于理解，参考图10，但并不对本方案进行限定。图10为本发明路面形貌测量方法第三实施例中可见光相移图像示意图，图中，左边图像为双通道双目拍摄模组拍摄的左幅可见光相移图像，右边图像为双通道双目拍摄模组拍摄的右幅可见光相移图像，左边图像与右边图像即为可见光相移图像对。
[0159]
步骤s302：基于所述可见光相移图像确定光强分布函数，并根据所述光强分布函数确定初始调制信息图像。
[0160]
需要说明的是，光强分布函数可为确定上述可见光相移图像相对光强分布的函数。
[0161]
可理解的是，初始调制信息图像可为由上述光强分布函数求取的结构光调制信息矩阵。
[0162]
在具体实现中，测量设备可根据上述可见光相移图像，也即可见光相移图像对采用n步相移法获取上述光强分布函数，为了便于理解，参考图11，但并不对本方案进行限定。图11为本发明路面形貌测量方法第三实施例中光强分布函数示意图，图中，左边图像为上述左幅可见光相移图像对应的光强分布函数，右边图像为上述右幅可见光相移图像对应的光强分布函数。
[0163]
应理解的是，测量设备在获取上述光强分布函数后，可根据该光强分布函数进一步求取结构光调制信息矩阵，也即上述初始调制图像，从而增强了像素点特征的识别与匹配，进而提高了路面形貌测量的准确性。
[0164]
为了便于理解，参考图12进行说明，但并不对本方案进行限定。图12为本发明路面形貌测量方法第三实施例中初始调制图像示意图，图中，左边图像为根据光强分布函数确定的左幅初始调制图像，右边图像为根据光强分布函数确定的右幅初始调制图像。
[0165]
步骤s303：对所述初始调制信息图像进行滤波，获得目标调制信息图像。
[0166]
在具体实现中，测量设备可对上述初始调制图像进行滤波处理，以进行后续的多尺度变换的特征信息融合，完成图像第二阶段融合。
[0167]
应理解的是，在对上述目标调制信息图像与上述第一融合图像进行融合时，采用的多尺度变换的特征信息融合可与上述可见光图像与近红外光图像融合的方式保持一致，本实施例不再赘述。
[0168]
为了便于理解，参考图13进行说明，但并不对本方案进行限定。图13为本发明路面形貌测量方法第三实施例中第二融合图像示意图，图中，左边为左幅目标调制信息图像与左幅的第一融合图像进行融合获得的左幅第二融合图像，相应地，右边为左幅目标调制信息图像与右幅的第一融合图像进行融合获得的右幅第二融合图像。
[0169]
为了便于理解，参考图14进行说明，但并不对本方案进行限定。图14为本发明路面形貌测量方法第三实施例中对第二融合图像进行处理后的图像示意图，图中，左边图像即可为对上述图13中左幅的第二融合图像进行上述开展极线校正、去背景、semiglobal立体
匹配、视差求解、三维重构等操作后的左幅图像，相应地，右边图像即可为对上述图13中右幅的第二融合图像进行上述开展极线校正、去背景、semiglobal立体匹配、视差求解、三维重构等操作后的右幅图像。
[0170]
需要说明的是，基于上述第二融合图像，也即图14中的图像即可提取出上述图6所示的目标区域的三维形貌图，实现对目标区域三维形貌的视觉测量。
[0171]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有路面形貌测量程序，所述路面形貌测量程序被处理器执行时实现如上文所述的路面形貌测量方法的步骤。
[0172]
参照图15，图15为本发明路面形貌测量装置第一实施例的结构框图。
[0173]
如图15所示，本发明实施例提出的路面形貌测量装置包括：
[0174]
图像获取模块501，用于获取目标区域的可见光图像与近红外光图像。
[0175]
图像融合模块502，用于基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像。
[0176]
区域扫描模块503，用于通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像。
[0177]
视觉测量模块504，用于对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。
[0178]
本实施例通过获取目标区域的可见光图像与近红外光图像；基于可见光图像与近红外光图像进行图像融合，获得第一融合图像；通过预设频率的可见结构光扫描目标区域，获得目标调制信息图像；对目标调制信息图像与第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，获得目标区域的三维形貌图。由于本实施例通过可见光图像与近红外光图像进行图像融合获得的第一融合图像与通过预设频率的可见结构光扫描获得的目标调制信息图像进行融合，然后根据融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，避免了测试分辨率有限，只能有限测点的形貌信息，测试结果为不连续的二维指标，无法反映整个路面待测区域形貌的形状构造特性的问题，实现了对目标区域的三维形貌在复杂环境下鲁棒视觉测量，有效提高了测量精度。
[0179]
本发明路面形貌测量装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0180]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0181]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0182]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0183]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：

1.一种路面形貌测量方法，其特征在于，所述路面形貌测量方法包括以下步骤：获取目标区域的可见光图像与近红外光图像；基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像；通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像；对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。2.如权利要求1所述的路面形貌测量方法，其特征在于，所述基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像的步骤，包括：对所述可见光图像和所述近红外光图像进行曲波分解和奇异值分解，获得曲波分解层和奇异值分解层，所述曲波分解层包括可见光图像曲波分解层以及近红外光图像曲波分解层；对处于同一频率的所述可见光图像曲波分解层以及所述近红外光图像曲波分解层进行融合，获得曲波融合图像；基于所述奇异值分解层以及所述曲波融合图像获得奇异值特征增强的第一融合图像。3.如权利要求2所述的路面形貌测量方法，其特征在于，所述奇异值分解层包括可见光图像奇异值分解层以及近红外光图像奇异值分解层，所述基于所述奇异值分解层以及所述曲波融合图像获得奇异值特征增强的第一融合图像的步骤，包括：基于所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值对所述奇异值分解层进行优化，获得优化后的奇异值分解层；根据所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值确定所述奇异值分解层各层的融合权重；通过所述融合权重结合所述曲波融合图像以及所述优化后的奇异值分解层，获得奇异值特征增强的第一融合图像。4.如权利要求3所述的路面形貌测量方法，其特征在于，所述基于所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值对所述奇异值分解层进行优化，获得优化后的奇异值分解层的步骤，包括：对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较；过滤能量值低的可见光图像奇异值分解层或近红外光图像奇异值分解层，获得优化后的奇异值分解层。5.如权利要求3所述的路面形貌测量方法，其特征在于，所述根据所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值确定所述奇异值分解层各层的融合权重的步骤，包括：对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较；在所述可见光图像奇异值分解层对应的能量值大于所述近红外光图像奇异值分解层对应的能量值时，基于所述可见光图像奇异值分解层对应的能量值通过第一预设权重公式确定融合权重；
其中，所述第一预设权重公式包括：其中，w
k
为融合权重，ea
k
为可见光图像奇异值分解层对应的能量值，eb
k
为近红外光图像奇异值分解层对应的能量值。6.如权利要求5所述的路面形貌测量方法，其特征在于，所述对所述可见光图像奇异值分解层各层对应的能量值以及所述近红外光图像奇异值分解层各层对应的能量值进行比较的步骤之后，还包括：在所述可见光图像奇异值分解层对应的能量值低于所述近红外光图像奇异值分解层对应的能量值时，基于所述近红外光图像奇异值分解层对应的能量值通过第二预设权重公式确定融合权重；其中，所述第二预设权重公式包括：其中，w
k
为融合权重，ea
k
为可见光图像奇异值分解层对应的能量值，eb
k
为近红外光图像奇异值分解层对应的能量值。7.如权利要求1至6任一项所述的路面形貌测量方法，其特征在于，所述通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像的步骤包括：投影预设频率的可见结构光至所述目标区域，并通过所述可见结构光相移预设步长扫描所述目标区域，获得可见光相移图像；基于所述可见光相移图像确定光强分布函数，并根据所述光强分布函数确定初始调制信息图像；对所述初始调制信息图像进行滤波，获得目标调制信息图像。8.一种路面形貌测量装置，其特征在于，所述路面形貌测量装置包括：图像获取模块，用于获取目标区域的可见光图像与近红外光图像；图像融合模块，用于基于所述可见光图像与所述近红外光图像进行图像融合，获得第一融合图像；区域扫描模块，用于通过预设频率的可见结构光扫描所述目标区域，获得目标调制信息图像；视觉测量模块，用于对所述目标调制信息图像与所述第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对所述目标区域进行三维形貌的视觉测量，获得所述目标区域的三维形貌图。9.一种路面形貌测量设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的路面形貌测量程序，所述路面形貌测量程序配置为实现如权利要求1至7中任一项所述的路面形貌测量方法的步骤。10.一种存储介质，其特征在于，所述存储介质上存储有路面形貌测量程序，所述路面
形貌测量程序被处理器执行时实现如权利要求1至7任一项所述的路面形貌测量方法的步骤。

技术总结

本发明公开了一种路面形貌测量方法、装置、设备及存储介质，该方法包括：获取目标区域的可见光图像与近红外光图像；基于可见光图像与近红外光图像进行图像融合，获得第一融合图像；通过预设频率的可见结构光扫描目标区域，获得目标调制信息图像；对目标调制信息图像与第一融合图像进行图像再次融合，并基于图像再次融合获得的第二融合图像对目标区域进行三维形貌的视觉测量，获得目标区域的三维形貌图。本发明通过可见光图像与近红外光图像进行图像融合获得的图像与结构光扫描获得的调制信息图像进行再次融合，然后根据融合获得的图像对目标区域进行三维形貌的视觉测量，实现了三维形貌在复杂环境下的鲁棒视觉测量，有效提高了测量精度。高了测量精度。高了测量精度。