一、研究背景
钻锚位置(即利用钻杆打孔并拧入锚杆的位置)的自动识别与定位是提高锚杆钻机智能化程度的关键技术。顶板条件不同时,钻锚位置有所不同,在顶板条件较差的巷道需要使用钢带辅助锚杆进行支护,此时钻锚位置的确定就是对支护钢带上锚孔的准确识别与定位,若定位不准,钻头打在钢带或锚网上容易造成设备损坏,严重会造成安全事故,所以对支护钢带上锚孔的精准识别与定位非常重要。本文提出了一种基于改进YOLOv5s模型的煤矿巷道支护钢带锚孔智能识别与定位方法,采用改进YOLOv5s模型的目标检测方法识别煤矿井下锚孔,结合双目摄像头获得锚孔相对于相机的三维坐标。 二、研究内容
锚孔智能识别与定位算法流程如下图所示。首先,通过网络公开的DIV2K数据集训练用于图像超分辨率重构(SR)的生成对抗网络(SRGAN),得到SRGAN模型,将原始锚孔数据集输入SRGAN模型对锚孔图像进行SR。然后,在YOLOv5s模型的Backbone区域中加入坐标
归元胶囊
打印机芯注意力(CA)模块,得到CA−YOLOv5s模型,利用重构后的锚孔数据集训练CA−YOLOv5s模型得到SR−CA−YOLOv5s模型。最后,在实验室模拟巷道中,利用SR−CA−YOLOv5s模型对钢带锚孔图像进行识别,利用双目摄像头获取锚孔中心到摄像头的深度值,通过坐标转换公式得到锚孔相对于摄像头的三维坐标。
三、实验结果
(1)采用精确率、召回率和平均精度均值(mAP)作为模型精度的评价指标,衡量模型的检测能力和实际应用能力,SR−CA−YOLOv5s模型的精确率、召回率、mAP分别为96.6%,97.0%,96.8%,与YOLOv5s模型相比,精确率、召回率、mAP分别提高了2.7%,4.2%,3.1%。
(2)SR−CA−YOLOv5s模型的mAP较YOLOv5s模型提高了3.1%,尽管FPS降低了18.5帧/s,但是FPS依然达166.7帧/s,说明利用添加CA模块的YOLOv5s网络训练经过SR后的数据集能在不影响检测实时性前提下进一步提升了检测精度。
(3)与YOLOv5s相比,SR−CA−YOLOv5s模型能成功检测出锚孔,这是因为在YOLOv5s
网络中融入SR和CA模块增强了目标物体在图像中所占的像素比,提高了图像清晰度,且增大了模型训练时对锚孔特征的关注度,在一定程度上可避免由于图像模糊而出现漏检的问题。
四、实际应用效果验证
为验证模型的实际应用效果,将模型部署NVIDIA Jetson Xavier NX边缘计算设备上进行测试,采用Eye-in-Hand的手眼构型方式将摄像头和光源固定在机械臂上,为了模仿煤矿井下真实环境,在模拟巷道中喷洒水雾,测试在不同光照条件下利用双目摄像头检测锚孔的实际情况,实验硬件部署如下图所示。测试结果见表1。纠偏机
pvb边角料
实验装配
表1锚孔识别与定位结果
测试结果表明,SR−CA−YOLOv5s模型能够在不同光照条件下准确检测出锚孔并获得锚孔相对于摄像头的三维坐标,坐标误差在6 mm以内,且检测FPS满足实时性要求。pvc面膜