一种基于yolov5的隧道衬砌
裂缝检测方法及设备
技术领域
1.本技术涉及裂缝检测技术领域,尤其涉及一种基于yolov5的隧道衬砌裂缝检测方法及设备。
背景技术:
2.随着隧道逐步趋向智能化、电气化,对隧道自动检测技术的需求也越来越大,后期运行维护任务也随之加重,逐步形成任务重、要求高的隧道运维巡检工作格局。在隧道的建设和运营过程中,由于施工、温度、载荷、山体变形等各种因素的影响而引起的裂缝、渗水等病害会产生极大的安全隐患。其中,裂缝是隧道衬砌最常见的病害形式,若不能及时发现并进行维护,裂缝进一步蔓延和扩大,破坏隧道结构,可能会造成重大的人员伤亡和经济损失,所以对隧道裂缝的检测是隧道检测工作的重中之重。
3.在现有的隧道检测过程中,目前多数仍然采用传统的人工检测法,需要投入较多的人力和时间,且危险性较大,同时,通过现有裂缝识别模型容易受到裂缝
图像中杂质特征的影响,不利于对裂缝图像的检测。
技术实现要素:
4.本技术实施例提供了一种基于yolov5的隧道衬砌裂缝检测方法及设备,用于解决如下技术问题:现有的隧道衬砌裂缝检测过程中,裂缝图像杂质较多且数据采集工作大,难以有效的对裂缝特征进行提取分析,难以保证裂缝检测的准确性。
5.本技术实施例采用下述技术方案:一方面,本技术实施例提供了一种基于yolov5的隧道衬砌裂缝检测方法,包括:对预设若干裂缝图像对应的病害数据集进行标签标注,得到
所述病害数据集的标注文件;根据预设pytorch深度学习框架,将所述标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型;通过所述改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标;通过所述评价指标,对所述衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像;通过预设形态学算法,将所述目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到所述目标图像的目标裂缝连通域;将所述目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征。
6.本技术实施例通过采集车搭载的图像收集系统对隧道内衬砌情况实现实时检测,代替了耗时长、效率低的人工检测过程,通过对于图像拟合出map值较高的函数表达式进行训练,能够准确的识别和定位裂缝
区域,判断衬砌表面是否为裂缝病害,实现高精度的自动化检测,对检测后的裂缝图像进行背景杂质的去除,运用一系列形态学算法提取裂缝连通域,实现图像的去噪,保留了裂缝的真实基本特征。
7.在一种可行的实施方式中,对预设若干裂缝图像对应的病害数据集进行标签标注,得到所述病害数据集的标注文件,具体包括:对所述若干裂缝图像的裂缝亮度进行拟合
分析,得到有关裂缝亮度的拟合函数;通过对所述拟合函数的表达式训练,将所述若干裂缝图像进行训练集与测试集的划分;将所述训练集中的裂缝图像进行数据压缩与分割后,得到所述病害数据集;其中,所述病害数据集包括:裂缝数据集以及渗水数据集;通过图像标注工具labelimg,将所述裂缝数据集以及渗水数据集进行标签标注,得到所述标注文件;其中,所述标注文件为所述裂缝数据集以及渗水数据集中与每张图像对应的txt文件;并通过预设目标框,识别所述每张图像中所有目标特征,将生成所述每张图像的类别标签信息以及标注框位置信息存储到所述标注文件中。
8.在一种可行的实施方式中,根据预设pytorch深度学习框架,将所述标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型,具体包括:获取所述标注文件的类别标签信息以及对应的标注框位置信息;其中,所述标注框位置信息包括:图像中心点横纵标信息、图像中心点纵坐标信息、目标框的长度信息以及宽度信息;基于所述类别标签信息,将所述标注框位置信息进行归一化处理,得到标签文件;将所述标签文件以及对应的每张裂缝图像输入到基于pytorch深度学习框架的yolov5网络模型中,并进行有关裂缝图像检测的训练与测试,得到所述改进后的yolov5网络模型。
9.在一种可行的实施方式中,通过所述改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标,具体包括:将所述衬砌裂缝图像输入到所述改进后的yolov5网络模型中;通过所述改进后的yolov5网络模型,将所述衬砌裂缝图像进行有关图像预测框的计算,得到若干预测框;根据预设分类标准,将所述若干预测框进行分类判断,得到分类判断结果;其中,所述分类判断结果包括:tp预测框、fp预测框、fn预测框以及tn预测框;根据所述分类判断结果中每个类别预测框的分布情况,对所述每个类别预测框进行裂缝图像识别计算,确定出所述每个类别预测框的评价指标。
10.在一种可行的实施方式中,通过所述评价指标,对所述衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像,具体包括:根据,得到裂缝目标比值;其中,(ii)为有关衬砌裂缝图像数据集的第i个样本,cj为所述评价指标中每个类别预测框中裂缝目标的精确率,tp为tp预测框,fp为fp预测框;根据,得到所述衬砌裂缝图像中cj的精确率平均值;其中,n为有关衬砌裂缝图像数据集中包含n张图像;根据,得到所有类别预测框中apcj精确率平均值的均值map;其中,m为所有类别预测框的数量,ap为所述衬砌裂缝图像的精确率平均值;通过所述精确率平均值的均值map,对所述衬砌裂缝图像检测是否包含衬砌裂缝,确定出所述均包含衬砌裂缝的目标图像。
11.本技术实施例通过确定出均包含衬砌裂缝的目标图像,有利于准确识别出隧道衬砌裂缝和渗水在严重情况下会导致一些事故,提前对危险问题进行检测并解决,提高隧道的安全性。
12.在一种可行的实施方式中,通过预设形态学算法,将所述目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到所述目标图像的目标裂缝连通域,具体包括:对所述目标图像中的裂缝特征进行开运算处理;其中,所述开运算处理为对所述裂缝特征先进行腐蚀处理再进行膨胀处理;具体包括:将所述裂缝特征中的毛刺区域进行光滑处理,并根
据所述开运算处理,改变与所述裂缝特征对应裂缝连通域的面积,得到预处理连通域;在得到所述预处理连通域之后,将所述目标图像中的裂缝特征进行闭运算处理,以将所述预处理连通域进行空洞区域填补处理,得到所述目标图像的目标裂缝连通域;其中,所述闭运算处理为对所述裂缝特征先进行膨胀处理再进行腐蚀处理。
13.本技术实施例通过将腐蚀和膨胀进行结合处理后,并利用结合形成的开、闭运算,够消除裂缝图像上的突出毛刺,使整体轮廓变得光滑,同时最小程度改变裂缝连通域的面积,有效地消除了裂缝图像中孤立的细小噪声,同时,够填充图像中裂缝区域的空洞,使连通域更加完整光滑。
14.在一种可行的实施方式中,将所述目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征,具体包括:对所述目标裂缝连通域对应的连通域图像进行像素标记,得到标记区域;遍历所述标记区域,并将同一个标记区域确定为同一连通域;将若干所述同一连通域进行面积计算,确定出与同一连通域面积相对应的最小外接矩形;将所述最小外接矩形中的裂缝特征进行特征的提取,得到所述真实裂缝特征。
15.在一种可行的实施方式中,对所述目标裂缝连通域对应的连通域图像进行像素标记,得到标记区域,具体包括:对所述连通域图像的目标点邻域区域进行灰度值的遍历判断;其中,所述目标点邻域区域包括:左侧区域、左上区域、正上区域以及右上区域,目标点的大小为像素3*3的区域;若所述目标点邻域区域的像素灰度值均为0,则将所述连通域图像的最左上角标记为一个新的裂缝连通域起点;若所述目标点的左侧区域以及左上区域的像素灰度值为1,则标记所述目标点中左侧区域与左上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域;若所述目标点的左侧区域以及右上区域的像素灰度值为1,则标记所述目标点中左侧区域与右上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域;若所述目标点的正上区域的像素灰度值为1,则按照左侧区域、左上区域、正上区域以及右上区域顺序,将所述目标点标记为目标点邻域区域中的任意一个区域。
16.在一种可行的实施方式中,所述最小外接矩形的长度为a,宽度为b,所述同一连通域面积为s;若满足t小于s/ab且s大于ts,则将所述同一连通域进行保留处理;若不满足t小于s/ab且s大于ts,则将所述同一连通域确定为所述连通域图像的背景;其中,所述t为预设置的连通域图像像素占比。
17.另一方面,本技术实施例还提供了一种基于yolov5的隧道衬砌裂缝检测设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行上述任一实施例所述的一种基于yolov5的隧道衬砌裂缝检测方法。
18.本技术实施例提供了一种基于yolov5的隧道衬砌裂缝检测方法、设备及介质,通过采集车搭载的图像收集系统对隧道内衬砌情况实现实时检测,代替了耗时长、效率低的人工检测过程,通过对于图像拟合出map值较高的函数表达式进行训练,能够准确的识别和定位裂缝区域,判断衬砌表面是否为裂缝病害,实现高精度的自动化检测,对检测后的裂缝图像进行背景杂质的去除,运用一系列形态学算法提取裂缝连通域,实现图像的去噪,保留了裂缝的真实基本特征。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:图1为本技术实施例提供的一种基于yolov5的隧道衬砌裂缝检测方法流程图;图2为本技术实施例提供的一种真实的裂缝特征示意图;图3为本技术实施例提供的一种基于yolov5的隧道衬砌裂缝检测设备的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本技术中的技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
21.本技术实施例提供了一种基于yolov5的隧道衬砌裂缝检测方法,如图1所示,基于yolov5的隧道衬砌裂缝检测方法具体包括步骤s101-s106:s101、对预设若干裂缝图像对应的病害数据集进行标签标注,得到病害数据集的标注文件。
22.具体地,对若干裂缝图像的裂缝亮度进行拟合分析,得到有关裂缝亮度的拟合函数。通过对拟合函数的表达式训练,将若干裂缝图像进行训练集与测试集的划分。将训练集中的裂缝图像进行数据压缩与分割后,得到病害数据集。其中,病害数据集包括:裂缝数据集以及渗水数据集。
23.在一个实施例中,首先对大量现有的裂缝图像进行统计分析,利用裂缝的不同亮度拟合出函数表达式:(a、b、c、d均为代求系数),通过该拟合函数表达式与yolov5网络模型进行结合训练使用,并对yolov5网络模型的训练前的裂缝数据集以及渗水数据集进行图像的分割与压缩。
24.进一步地,通过图像标注工具labelimg,将裂缝数据集以及渗水数据集进行标签标注,得到标注文件。其中,标注文件为裂缝数据集以及渗水数据集中与每张图像对应的txt文件。并通过预设目标框,识别每张图像中所有目标特征,将生成每张图像的类别标签信息以及标注框位置信息存储到标注文件中。
25.在一个实施中,对裂缝和渗水数据集使用labelimg进行标签标注,分别标注为crack和water percolation,每一张图像在标注后会形成对应的txt文件,文件中包含了该图像中所有目标特征的类别标签信息和标注框位置信息,其中,txt文件和图像文件的名称是一一对应的。打开具体的标注文件,将会看到txt文件中每一行表示一个目标特征。
26.s102、根据预设pytorch深度学习框架,将标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型。
27.具体地,获取标注文件的类别标签信息以及对应的标注框位置信息;其中,标注框
位置信息包括:图像中心点横纵标信息、图像中心点纵坐标信息、目标框的长度信息以及宽度信息。
28.进一步地,基于类别标签信息,将标注框位置信息进行归一化处理,得到标签文件。将标签文件以及对应的每张裂缝图像输入到基于pytorch深度学习框架的yolov5网络模型中,并进行有关裂缝图像检测的训练与测试,得到改进后的yolov5网络模型。
29.作为一种可行的实施方式,将标签文件中类别标签信息,以及标注框位置信息中的图像中心点横纵标信息、图像中心点纵坐标信息、目标框的长度信息以及宽度信息与标签文件以及对应的每张裂缝图像都输入到于pytorch深度学习框架的yolov5网络模型中,通过预设检测代码进行有关裂缝图像检测的训练与测试,最终得到改进后的yolov5网络模型。
30.s103、通过改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标。
31.具体地,将衬砌裂缝图像输入到改进后的yolov5网络模型中。通过改进后的yolov5网络模型,将衬砌裂缝图像进行有关图像预测框的计算,得到若干预测框。
32.进一步地,根据预设分类标准,将若干预测框进行分类判断,得到分类判断结果。其中,分类判断结果包括:tp预测框、fp预测框、fn预测框以及tn预测框。
33.进一步地,根据分类判断结果中每个类别预测框的分布情况,对每个类别预测框进行裂缝图像识别计算,确定出每个类别预测框的评价指标。
34.在一个实施例中,首先将安装有采集摄像头和采集卡的采集车于隧道内行驶,实现隧道衬砌表面裂缝的图像收集,得到衬砌裂缝图像,然后将衬砌裂缝图像输入到改进后的yolov5网络模型中,模型在对输入图像进行计算后输出若干个预测框,这些预测框按照其分类判断结果可以分成tp预测框、fp预测框、fn预测框、tn预测框四个类别,根据上述四类样本的分布情况,预测框判断是否正确计算与裂缝图像相应的评价指标,最终可得到每个类别预测框的评价指标,评价指标用来对裂缝目标检测的效果进行综合评估,为有关衬砌裂缝的精确率识别提供判断依据。
35.s104、通过评价指标,对衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像。
36.具体地,根据,得到裂缝目标比值;其中,(ii)为有关衬砌裂缝图像数据集的第i个样本,cj为评价指标中每个类别预测框中裂缝目标的精确率,tp为tp预测框,fp为fp预测框。
37.进一步地,根据,得到衬砌裂缝图像中cj的精确率平均值;其中,n为有关衬砌裂缝图像数据集中包含n张图像。
38.进一步地,根据,得到所有类别预测框中apcj精确率平均值的均值map;其中,m为所有类别预测框的数量,ap为衬砌裂缝图像的精确率平均值。
39.进一步地,通过精确率平均值的均值map,对衬砌裂缝图像检测是否包含衬砌裂缝,确定出均包含衬砌裂缝的目标图像。
40.在一个实施例中,通过以上步骤得到的精确率平均值的均值map(mean averageprecision),来实现对每张衬砌裂缝图像中裂缝图像存在的精确率判断,从而准确识别出隧道衬砌裂缝和渗水问题所对应的图像信息,得到需要注意的均包含衬砌裂缝的目标图像。
41.s105、通过预设形态学算法,将目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到目标图像的目标裂缝连通域。
42.具体地,对目标图像中的裂缝特征进行开运算处理。其中,开运算处理为对裂缝特征先进行腐蚀处理再进行膨胀处理。具体包括:将裂缝特征中的毛刺区域进行光滑处理,并根据开运算处理,改变与裂缝特征对应裂缝连通域的面积,得到预处理连通域。
43.在得到预处理连通域之后,将目标图像中的裂缝特征进行闭运算处理,以将预处理连通域进行空洞区域填补处理,得到目标图像的目标裂缝连通域;其中,闭运算处理为对裂缝特征先进行膨胀处理再进行腐蚀处理。
44.在一个实施例中,单一的腐蚀和膨胀操作不能在去噪的同时连接裂缝断裂处,腐蚀会令裂缝区域减小甚至消失,膨胀会让细小噪声变大甚至与裂缝融合,因此,需要将两种操作进行结合形成开、闭运算。开运算为先腐蚀后膨胀的过程,表达式为dst=open(src,element)=dilate(erode(src,element)),能够消除裂缝特征区域上的突出毛刺,使整体轮廓变得光滑,同时最小程度改变裂缝连通域的面积,得到预处理后的连通域,能够有效地消除图像中孤立的细小噪声。闭运算为先膨胀后腐蚀的过程,其表达式为dst=close(src,element)=erode(dilate(src,element)),能够填充图像中裂缝特征区域的空洞区域,使目标裂缝连通域变得完整光滑。
45.s106、将目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征。
46.具体地,对目标裂缝连通域对应的连通域图像进行像素标记,得到标记区域。其中,对连通域图像的目标点邻域区域进行灰度值的遍历判断。其中,目标点邻域区域包括:左侧区域、左上区域、正上区域以及右上区域,目标点的大小为像素3*3的区域。
47.若目标点邻域区域的像素灰度值均为0,则将连通域图像的最左上角标记为一个新的裂缝连通域起点。
48.若目标点的左侧区域以及左上区域的像素灰度值为1,则标记目标点中左侧区域与左上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域。
49.若目标点的左侧区域以及右上区域的像素灰度值为1,则标记目标点中左侧区域与右上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域。
50.若目标点的正上区域的像素灰度值为1,则按照左侧区域、左上区域、正上区域以及右上区域顺序,将目标点标记为目标点邻域区域中的任意一个区域。
51.作为一种可行的实施方式,形态学运算放大裂缝特征后,噪声也同时得到了放大,因此下一步需要将噪声进行过滤。首先从目标裂缝连通域对应的连通域图像的最左上角开始,判断目标点3*3邻域中左侧、左上、上方、右上四个区域点的灰度是否为1,若都为0,则将该目标点标记为一个新的连通域的起点。若该点中左侧、左上像素灰度值为1,则标记该目标点为左侧、左上两像素标记值较小的一个,并将左侧、左上两像素中的原有大标记修改为
小标记。若该目标点中左上、右上像素灰度值为1,则标记该目标点为左上、右上像素中较小的标记点,并将左上、右上两像素中的原有的大标记修改为小标记。若上述三种情况都不满足,则按照左侧、左上、上方、右上的顺序,将该目标点标记为这四个点中的一个。然后让3*3的目标点邻域区域沿着图像向右、向下遍历,将同一标记的标记区域确定为一个连通域。
52.进一步地,遍历标记区域,并将同一个标记区域确定为同一连通域。将若干同一连通域进行面积计算,确定出与同一连通域面积相对应的最小外接矩形。图2为本技术实施例提供的一种真实的裂缝特征示意图,如图2所示,经过上述操作后,去除了裂缝图像的噪声,最后将最小外接矩形中的裂缝特征进行特征的提取,得到了如图2所示的真实裂缝特征。其中,最小外接矩形的长度为a,宽度为b,同一连通域面积为s;若满足t小于s/ab且s大于ts,则将同一连通域进行保留处理。若不满足t小于s/ab且s大于ts,则将同一连通域确定为连通域图像的背景。t为预设置的连通域图像像素占比。
53.另外,本技术实施例还提供了一种基于yolov5的隧道衬砌裂缝检测设备,如图3所示,基于yolov5的隧道衬砌裂缝检测设备300具体包括:至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有能够被至少一个处理器301执行的指令,以使至少一个处理器301能够执行:对预设若干裂缝图像对应的病害数据集进行标签标注,得到病害数据集的标注文件;根据预设pytorch深度学习框架,将标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型;通过改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标;通过评价指标,对衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像;通过预设形态学算法,将目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到目标图像的目标裂缝连通域;将目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征。
54.本技术实施例通过采集车搭载的图像收集系统对隧道内衬砌情况实现实时检测,代替了耗时长、效率低的人工检测过程,通过对于图像拟合出map值较高的函数表达式进行训练,能够准确的识别和定位裂缝区域,判断衬砌表面是否为裂缝病害,实现高精度的自动化检测,对检测后的裂缝图像进行背景杂质的去除,运用一系列形态学算法提取裂缝连通域,实现图像的去噪,保留了裂缝的真实基本特征。
55.本技术中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
56.上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的
或者可能是有利的。
57.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术的实施例可以有各种更改和变化。凡在本技术实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,所述方法包括:对预设若干裂缝图像对应的病害数据集进行标签标注,得到所述病害数据集的标注文件;根据预设pytorch深度学习框架,将所述标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型;通过所述改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标;通过所述评价指标,对所述衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像;通过预设形态学算法,将所述目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到所述目标图像的目标裂缝连通域;将所述目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征。2.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,对预设若干裂缝图像对应的病害数据集进行标签标注,得到所述病害数据集的标注文件,具体包括:对所述若干裂缝图像的裂缝亮度进行拟合分析,得到有关裂缝亮度的拟合函数;通过对所述拟合函数的表达式训练,将所述若干裂缝图像进行训练集与测试集的划分;将所述训练集中的裂缝图像进行数据压缩与分割后,得到所述病害数据集;其中,所述病害数据集包括:裂缝数据集以及渗水数据集;通过图像标注工具labelimg,将所述裂缝数据集以及渗水数据集进行标签标注,得到所述标注文件;其中,所述标注文件为所述裂缝数据集以及渗水数据集中与每张图像对应的txt文件;并通过预设目标框,识别所述每张图像中所有目标特征,将生成所述每张图像的类别标签信息以及标注框位置信息存储到所述标注文件中。3.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,根据预设pytorch深度学习框架,将所述标注文件以及对应的裂缝图像进行yolov5网络模型的目标检测训练,得到改进后的yolov5网络模型,具体包括:获取所述标注文件的类别标签信息以及对应的标注框位置信息;其中,所述标注框位置信息包括:图像中心点横纵标信息、图像中心点纵坐标信息、目标框的长度信息以及宽度信息;基于所述类别标签信息,将所述标注框位置信息进行归一化处理,得到标签文件;将所述标签文件以及对应的每张裂缝图像输入到基于pytorch深度学习框架的yolov5网络模型中,并进行有关裂缝图像检测的训练与测试,得到所述改进后的yolov5网络模型。4.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,通过所述改进后的yolov5网络模型,将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标,具体包括:将所述衬砌裂缝图像输入到所述改进后的yolov5网络模型中;通过所述改进后的yolov5网络模型,将所述衬砌裂缝图像进行有关图像预测框的计算,得到若干预测框;
根据预设分类标准,将所述若干预测框进行分类判断,得到分类判断结果;其中,所述分类判断结果包括:tp预测框、fp预测框、fn预测框以及tn预测框;根据所述分类判断结果中每个类别预测框的分布情况,对所述每个类别预测框进行裂缝图像识别计算,确定出所述每个类别预测框的评价指标。5.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,通过所述评价指标,对所述衬砌裂缝图像进行有关衬砌裂缝的精确率识别,得到均包含衬砌裂缝的目标图像,具体包括:根据,得到裂缝目标比值;其中,(ii)为有关衬砌裂缝图像数据集的第i个样本,cj为所述评价指标中每个类别预测框中裂缝目标的精确率,tp为tp预测框,fp为fp预测框;根据,得到所述衬砌裂缝图像中cj的精确率平均值;其中,n为有关衬砌裂缝图像数据集中包含n张图像;根据,得到所有类别预测框中apcj精确率平均值的均值map;其中,m为所有类别预测框的数量,ap为所述衬砌裂缝图像的精确率平均值;通过所述精确率平均值的均值map,对所述衬砌裂缝图像检测是否包含衬砌裂缝,确定出所述均包含衬砌裂缝的目标图像。6.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,通过预设形态学算法,将所述目标图像中的裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到所述目标图像的目标裂缝连通域,具体包括:对所述目标图像中的裂缝特征进行开运算处理;其中,所述开运算处理为对所述裂缝特征先进行腐蚀处理再进行膨胀处理;具体包括:将所述裂缝特征中的毛刺区域进行光滑处理,并根据所述开运算处理,改变与所述裂缝特征对应裂缝连通域的面积,得到预处理连通域;在得到所述预处理连通域之后,将所述目标图像中的裂缝特征进行闭运算处理,以将所述预处理连通域进行空洞区域填补处理,得到所述目标图像的目标裂缝连通域;其中,所述闭运算处理为对所述裂缝特征先进行膨胀处理再进行腐蚀处理。7.根据权利要求1所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,将所述目标裂缝连通域进行图像噪声过滤,得到真实裂缝特征,具体包括:对所述目标裂缝连通域对应的连通域图像进行像素标记,得到标记区域;遍历所述标记区域,并将同一个标记区域确定为同一连通域;将若干所述同一连通域进行面积计算,确定出与同一连通域面积相对应的最小外接矩形;将所述最小外接矩形中的裂缝特征进行特征的提取,得到所述真实裂缝特征。8.根据权利要求7所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,对所述目标裂缝连通域对应的连通域图像进行像素标记,得到标记区域,具体包括:对所述连通域图像的目标点邻域区域进行灰度值的遍历判断;其中,所述目标点邻域区域包括:左侧区域、左上区域、正上区域以及右上区域,目标点的大小为像素3*3的区域;
若所述目标点邻域区域的像素灰度值均为0,则将所述连通域图像的最左上角标记为一个新的裂缝连通域起点;若所述目标点的左侧区域以及左上区域的像素灰度值为1,则标记所述目标点中左侧区域与左上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域;若所述目标点的左侧区域以及右上区域的像素灰度值为1,则标记所述目标点中左侧区域与右上区域之间像素值较小的区域,并将左侧区域与左上区域中的像素区域确定为小标记区域;若所述目标点的正上区域的像素灰度值为1,则按照左侧区域、左上区域、正上区域以及右上区域顺序,将所述目标点标记为目标点邻域区域中的任意一个区域。9.根据权利要求7所述的一种基于yolov5的隧道衬砌裂缝检测方法,其特征在于,所述最小外接矩形的长度为a,宽度为b,所述同一连通域面积为s;若满足t小于s/ab且s大于ts,则将所述同一连通域进行保留处理;若不满足t小于s/ab且s大于ts,则将所述同一连通域确定为所述连通域图像的背景;其中,所述t为预设置的连通域图像像素占比。10.一种基于yolov5的隧道衬砌裂缝检测设备,其特征在于,所述设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行根据权利要求1-9任一项所述的一种基于yolov5的隧道衬砌裂缝检测方法。
技术总结
本发明公开了一种基于YOLOv5的隧道衬砌裂缝检测方法及设备,属于裂缝检测技术领域,用于解决现有的隧道衬砌裂缝检测过程中,裂缝图像杂质较多且数据采集工作大,难以有效的对裂缝特征进行提取分析,难以保证裂缝检测的准确性的技术问题。方法包括:对预设若干裂缝图像对应的病害数据集进行标签标注,得到病害数据集的标注文件;将标注文件以及对应的裂缝图像进行YOLOv5网络模型的训练,得到改进后的YOLOv5网络模型;将预采集的衬砌裂缝图像进行对应预测框分类判断,得到每个类别的评价指标;对衬砌裂缝图像进行衬砌裂缝的精确率识别,得到目标图像,将裂缝特征进行腐蚀膨胀相结合的开闭合运算,得到真实裂缝特征。得到真实裂缝特征。得到真实裂缝特征。
技术研发人员:
徐伟 任泳兆 宫小艺 张奕晨 谭兆轶 李若琛 王超
受保护的技术使用者:
山东科技大学
技术研发日:
2023.02.15
技术公布日:
2023/3/21