基于AI和机器视觉双驱动的超载超限车辆预警追踪系统

阅读：评论：0

基于ai和机器视觉双驱动的超载超限车辆预警追踪系统
技术领域
1.本发明属于交通基础设施运维技术领域，具体涉及一种基于ai和机器视觉双驱动的超载超限车辆预警追踪系统和方法。

背景技术：

2.近年来，随着经济的发展和科技的进步，现代交通运输业取得了快速的发展，与此同时，交通检查、超载超限治理和计重收费工作也不断深入，这使得汽车载重测量系统得到了越来越广泛的应用。汽车载重测量系统的应用旨在解决汽车超载问题，以及由此引发的道路破环、交通事故频发、运输市场恶化等现象。
3.随着交通运输朝着信息化、智能化方向快速发展，目前汽车荷载测量的方式主要有两大类，即分离式测量与车载式测量。其中，分离式的方法包括：汽车衡、动态桥梁称重等，汽车衡铺设传感器获取汽车轴重信号，通过计算得出车辆重量。但汽车衡测量设备需破坏道路原有结构、安装困难。动态桥梁称重通过桥梁影响线的变化计算车辆重量，超重车辆或对桥梁结构产生破坏，增加桥梁安全隐患。车载式的方法包括：图像识别、激光测距、应变传感设备等，基于图像识别的方法需对车辆钢板弹簧侧面设置标志物，同时需在车辆底部加装图像采集传感设备，其信号传输困难且相机工作条件较为严苛。激光测距通过测量钢板弹簧形变量计算车辆荷载量，精度较高但成本也较高，对安装条件有一定要求。应变传感设备通过车桥或车桥受荷载量影响而产生应变力变化进而测量车辆荷载，需要安装传感器在车辆车架、车桥等部位，在车辆连接部分有相应改动，对车辆安全性能有一定影响，且传感装置在长期车辆振动下易导致传感单元损坏。
4.因此，如何在车辆荷载测量过程中避免对道路交通设施或车辆的破坏、快速准确地测量车辆荷载、降低测量的技术难度和成本，成为了本领域的技术人员急需解决的问题。

技术实现要素：

5.解决的技术问题：本发明提供了一种基于ai和机器视觉双驱动的超载超限车辆预警追踪系统和方法，能够通过机器视觉的方法，在不破坏道路交通设施或车辆原有结构的情况下，实现对车辆荷载的非接触式动态、连续、快速测量。
6.技术方案：
7.一种基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，所述超载超限车辆预警追踪系统包括非接触式车辆称重子系统和车辆追踪子系统；
8.所述非接触式车辆称重子系统包括热成像采集组件、轮胎型号识别模块、变形参数计算单元、载荷预测模型和温度修正模块；
9.所述轮胎型号识别模块用于识别得到车辆每个轮胎的型号，根据识别到的型号查询获得轮胎的断面尺寸信息和胎压信息；所述热成像采集组件位于车道两侧，用于拍摄车辆单轴轮胎侧面的红外热像图，得到相应的温度矩阵数据；所述变形参数计算单元根据车辆单轴轮胎的温度矩阵数据计算得到轮胎的力学变形参数；所述载荷预测模型基于
xgboost模型训练得到，根据轮胎的力学变形参数和轮胎的断面尺寸尺寸、胎压信息，计算得到预估轮胎载荷f
1i
；所述温度修正模块用于对车辆轴距l、车辆轴数n、每个轮胎的温度ti进行检测，结合轮胎温度ti对预估轮胎荷载f
1i
进行温度修正，得到温度修正后的轮胎荷载f
2i
＝f
1i
×
α
t
，将温度修正后的轮胎荷载f
2i
、车辆轴数n打包成轮胎荷载信息发送至车辆追踪子系统；i＝1，2，...，n；f
1i
、 f
2i
和ti分别是第i个轮胎的预估轮胎载荷、修正后的轮胎载荷和温度；温度修正因子α
t
的值由统计回归得出；
10.所述车辆追踪子系统包括视频采集模块、车辆追踪模块、速度检测模块、速度修正模块、总载荷计算模块；所述视频采集模块架设在车道正上方，用于实时拍摄车道区域视频；所述车辆追踪模块基于yolox-deepsort模型训练得到，用于对视频采集模块采集到的视频图像进行处理，对视频图像中的目标车辆进行识别追踪，将追踪到的位置信息发送至速度检测模块，由速度检测模块计算得到车辆速度v，将计算得到的车辆速度v标注在视频图像中的目标车辆上；所述速度修正模块结合车辆速度v对温度修正后的轮胎载荷f
2i
进行速度修正，得到最终的单轴轮胎载荷fi＝f
2i
×
βv；所述总载荷计算模块根据单轴轮胎载荷fi计算得到目标车辆的整体载荷q；速度修正因子βv的值由统计回归得出。
11.进一步地，所述车辆追踪子系统包括预警模块；所述预警模块根据目标车辆的车辆轴距 l和车辆轴数n，查询得到目标车辆的载荷阈值，比较目标车辆的整体载荷q和载荷阈值，判断目标车辆是否超载超限。
12.进一步地，所述轮胎型号识别模块包括光学图像采集组件、ocr文字识别模型、轮胎信息查询模块；
13.所述光学图像采集组件位于车道两侧，用于拍摄车辆轮胎的光学图像，由ocr文字识别模型识别得到轮胎对应的字符信息；所述轮胎信息查询模块根据轮胎对应的字符信息获取轮胎型号，以及轮胎型号对应的断面尺寸和胎压信息。
14.进一步地，所述变形参数计算单元基于opencv图像处理算法对像素温度矩阵数据进行处理，通过图像迭代的几何拟合和区域生长算法检测得到目标样本轮胎的力学变形参数；所述力学变形参数包括：轮胎最大像素半径r、轮胎最大像素面积s1、轮毂像素半径r、轮胎与地面接触像素长度1、轮胎圆心到地面的像素距离h、轮胎变形后的等效像素面积s2、轮胎变形前后的图像像素面积差δs，以及轮胎与地面接触分割线像素长度l；
15.所述变形参数计算单元检测得到目标样本轮胎的力学变形参数的过程包括以下步骤：
16.s11，根据像素温度矩阵数据生成与温度线性相关的温度图像；采用sobel边缘检测算子计算温度图像的像素梯度幅值，在温度图像中温差大于预设温差阈值的像素点周围进行图像分割；
17.s12，将分割后图像的前5％的梯度幅值进行保留，并取出梯度幅值最大的点，进行颜标记；从图像下方向上依次选取经过颜标记的像素点，将选取的像素点作为用于第一次拟合轮胎外轮廓的种子点，所选取的种子点均为轮胎与空气交界面上的像素点；
18.s13，采用步骤s12选取的种子点，利用区域生长算法对种子点进行区域生长到与种子点相邻的点作为新的种子点，进行轮胎外轮廓的第二次拟合；
19.s14，保留步骤s12和步骤s13中所选取的种子点，以第二次拟合的轮胎外轮廓为基准，自上而下的到轮胎上半部分的梯度幅值最大像素点，进行第三次轮胎外轮廓拟合；
20.s15，以步骤s14中所拟合的轮胎外轮廓为基准，向轮胎中心寻梯度幅值最大的像素点，以此点作为拟合轮毂外轮廓的种子点，拟合得到轮毂外轮廓；
21.s16，重复迭代以拟合得到符合预设误差标准的轮胎外轮廓与轮毂外轮廓；
22.s17，由轮胎圆心左下45度与右下45度的夹角范围内到轮胎与地面交界处的像素梯度幅值点，以查到的像素梯度幅值点为基准绘制轮胎与地面分割线，得到轮胎变形后轮胎与地面的交界面；
23.s18，自下而上的对轮胎与地面交界面的图像像素进行端点处理，计算相邻两个像素点的 y坐标差值，当任一像素点与其相邻的像素点的y坐标差值大于预设坐标差值阈值时，判断该像素点为轮胎与地面接触的端点，得到轮胎与地面的真实接触像素长度。
24.进一步地，所述变形参数计算单元采用比例因子α对获取的轮胎的力学变形参数进行修正：
[0025][0026]
式中，rim为轮毂半径；r为拟合得到的轮毂像素半径。
[0027]
进一步地，所述载荷预测模型的训练过程包括：
[0028]
s1，利用热成像采集组件拍摄一定量不同轮胎断面尺寸、不同胎压、不同载荷、不同温度的样本轮胎在正常工作状态下的侧面热成像图像，生成样本轮胎集；
[0029]
s2，从样本轮胎集中的每个侧面热成像图像中提取像素温度矩阵数据以获得每个样本轮胎的表面温度信息；采用变形参数计算单元对每个样本轮胎的像素温度矩阵数据进行处理，得到样本轮胎的力学变形参数；
[0030]
s3，将每个样本轮胎的力学变形参数与相应的轮胎尺寸、气压信息作为一组训练样本，生成训练样本集；
[0031]
s4，基于xgboost模型构建得到载荷预测模型，采用步骤s3中的训练样本集对载荷预测模型进行训练；训练完成的载荷预测模型用于对导入的待检测轮胎的力学变形参数及轮胎尺寸、气压信息进行处理，计算得到待检测轮胎的预估轮胎荷载。
[0032]
进一步地，所述非接触式车辆称重子系统包括模型更新装置；所述模型更新装置用于将新的样本数据导入载荷预测模型，对载荷预测模型进行更新。
[0033]
进一步地，所述车辆追踪模块基于yolox-deepsort模型训练得到，提取车轮预测框的矩形下部中点的像素点位置作为目标车辆与路面的接触点位置，通过视频采集模块的拍摄角度、焦距、视频采集模块的位置和接触点位置计算目标车辆的实际位置；
[0034]
所述速度检测模块在追踪过程中记录目标车辆胎离开预设的虚拟检测区的时间戳，利用车辆轴距l和目标车辆离开虚拟检测区的时间差计算目标车辆的平均速度，作为目标车辆在虚拟检测区的车辆速度v。
[0035]
一种基于ai和机器视觉双驱动的超载超限车辆预警追踪方法，其特征在于，所述超载超限车辆预警追踪方法基于前述的超载超限车辆预警追踪系统执行；所述超载超限车辆预警追踪方法包括以下步骤：
[0036]
识别进入检测区的车辆的每个轮胎的型号，根据识别到的型号查询获得轮胎的断面尺寸信息和胎压信息；
[0037]
采集车辆单轴轮胎侧面红外热像图，得到相应的温度矩阵数据；根据车辆单轴轮
胎的温度矩阵数据计算得到轮胎的力学变形参数；
[0038]
根据轮胎的力学变形参数和轮胎的断面尺寸尺寸、胎压信息，计算得到预估轮胎载荷f
1i
；结合轮胎温度ti对预估轮胎荷载f
1i
进行温度修正，得到温度修正后的轮胎荷载f
2i
＝f
1i
×
α
t
；
[0039]
实时拍摄车道区域视频，对视频采集模块采集到的视频图像进行处理，对视频图像中的目标车辆进行识别追踪，将追踪到的位置信息发送至速度检测模块，由速度检测模块计算得到车辆速度v，将计算得到的车辆速度v标注在视频图像中的目标车辆上；
[0040]
结合车辆速度v对温度修正后的轮胎载荷f
2i
进行速度修正，得到最终的单轴轮胎载荷fi＝f
2i
×
βv；根据单轴轮胎载荷fi计算得到目标车辆的整体载荷q。
[0041]
进一步地，所述超载超限车辆预警追踪方法还包括：
[0042]
根据目标车辆的车辆轴距l和车辆轴数n，查询得到目标车辆的载荷阈值，比较目标车辆的整体载荷q和载荷阈值，判断目标车辆是否超载超限。
[0043]
有益效果：
[0044]
(1)本发明的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，采用的图像测量的方法，较其他方法而言，布置极为方便，采用非接触的方式，不对车辆结构构成任何潜在破坏，不在车身增添任何标志性识别物；同样，该方法对道路主体结构也无任何破坏性改建；采用本方法的检测设备具有较好的移动性，无需将相机固定于车身某一结构，减少了车身传感单元数据传输的困难，减弱了路况环境的影响，且对采集设备的维护极为方便。
[0045]
(2)本发明的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，拍摄车辆轮廓，只需要在车道外安装高速热成像摄像仪，设备架设方便，所需摄像机数量少，可根据本发明的精度与实际需求更换摄像头，合理实现需求利益最大化。新架设的摄像机仅需进行简单的畸变矫正，便可快速的完成车辆测重，其可移动能力、复现能力强。
[0046]
(3)本发明的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，将车轮荷载预测与深度学习领域的视觉追踪算法相结合，实现了车辆荷载的实时追踪，对桥梁运维的前期工作具有重要指导意义，解决了传统方法只能通过假定车辆荷载来计算桥梁响应的问题。本发明对车辆荷载的实时获取与追踪方法为桥梁长期运维下车辆荷载的统计提供了高效经济的方法。
[0047]
(4)本发明的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，将高速热成像仪用于拍摄车辆轮胎，通过切换热成像仪的拍摄模式(普通摄像模式与热成像模式)可实现在昼间或夜间对车辆荷载的检测，且能实现同时对多部车辆荷载的动态、连续检测。与传统方法相比，本发明对车辆荷载的检测效率更高、检测时段更宽泛，同时本发明受车辆行驶速度、光线等外界条件影响很小，对于推进桥梁智能化、无人化运维管理具有重要意义。
附图说明
[0048]
图1为本发明优选实施例的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统原理图。
[0049]
图2为本发明优选实施例的高速热成像仪(热成像采集组件)与摄像机(视频采集模块) 协同布置示意图。
[0050]
图3为本发明优选实施例的高速热成像仪(热成像采集组件)与摄像机(视频采集
模块) 协同布置的一种实现方式示意图(布置在桥梁上)。
[0051]
图4为本发明优选实施例的高速热成像仪(热成像采集组件)的应用示意图(夜间模式下)。
[0052]
图5为本发明优选实施例的预警原理流程图。
[0053]
图中的附图标记为：1.热成像采集组件；2.视频采集模块；3.数据处理设备(超载超限车辆预警追踪系统的相关程序载体)；4.对目标车辆打上的标签；5.高速热成像仪下轮胎变形轮廓区域；6.夜间用高速热成像仪拍摄的轮胎图像区域；7.高速热成像仪下轮胎温度显示区域。
具体实施方式
[0054]
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
[0055]
图1为本发明优选实施例的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统原理图。参见图1，本实施例公开了一种基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，所述超载超限车辆预警追踪系统包括非接触式车辆称重子系统和车辆追踪子系统。
[0056]
所述非接触式车辆称重子系统包括热成像采集组件1、轮胎型号识别模块、变形参数计算单元、载荷预测模型和温度修正模块。
[0057]
所述轮胎型号识别模块用于识别得到车辆每个轮胎的型号，根据识别到的型号查询获得轮胎的断面尺寸信息和胎压信息；所述热成像采集组件位于车道两侧，用于拍摄车辆单轴轮胎侧面的红外热像图，得到相应的温度矩阵数据；所述变形参数计算单元根据车辆单轴轮胎的温度矩阵数据计算得到轮胎的力学变形参数；所述载荷预测模型基于xgboost模型训练得到，根据轮胎的力学变形参数和轮胎的断面尺寸尺寸、胎压信息，计算得到预估轮胎载荷f
1i
；所述温度修正模块用于对车辆轴距l、车辆轴数n、每个轮胎的温度ti进行检测，结合轮胎温度ti对预估轮胎荷载f
1i
进行温度修正，得到温度修正后的轮胎荷载f
2i
＝f
1i
×
α
t
，将温度修正后的轮胎荷载f
2i
、车辆轴数n打包成轮胎荷载信息发送至车辆追踪子系统；i＝1，2，...，n；f
1i
、 f
2i
和ti分别是第i个轮胎的预估轮胎载荷、修正后的轮胎载荷和温度；温度修正因子α
t
的值由统计回归得出。
[0058]
所述车辆追踪子系统包括视频采集模块2、车辆追踪模块、速度检测模块、速度修正模块、总载荷计算模块；所述视频采集模块架设在车道正上方，用于实时拍摄车道区域视频；所述车辆追踪模块基于yolox-deepsort模型训练得到，用于对视频采集模块采集到的视频图像进行处理，对视频图像中的目标车辆进行识别追踪，将追踪到的位置信息发送至速度检测模块，由速度检测模块计算得到车辆速度v，将计算得到的车辆速度v标注在视频图像中的目标车辆上；所述速度修正模块结合车辆速度v对温度修正后的轮胎载荷f
2i
进行速度修正，得到最终的单轴轮胎载荷fi＝f
2i
×
βv；所述总载荷计算模块根据单轴轮胎载荷fi计算得到目标车辆的整体载荷q；速度修正因子βv的值由统计回归得出。
[0059]
在本实施例中，除了热成像采集组件1、视频采集模块2和光学图像采集组件之外，各模块均为软件程序，加载在数据处理设备3中。图2和图3是两种系统部署方式示意图，分别对应收费站和桥梁。
[0060]
(一)非接触式车辆称重子系统(系统a)
[0061]
所述轮胎型号识别模块包括光学图像采集组件、ocr文字识别模型、轮胎信息查询模块；所述光学图像采集组件位于车道两侧，用于拍摄车辆轮胎的光学图像，由ocr文字识别模型识别得到轮胎对应的字符信息；所述轮胎信息查询模块根据轮胎对应的字符信息获取轮胎型号，以及轮胎型号对应的断面尺寸和胎压信息。
[0062]
参见图4，采用位于车道两侧的高速热成像仪记录车辆的单轴轮胎的温度信息，根据车辆单轴轮胎的温度矩阵数据计算得到单轴轮胎的力学变形参数；基于xgboost模型训练得到的载荷预测模型；将计算得到的轮胎的力学变形参数、轮胎的尺寸、胎压信息均导入载荷预测模型，计算得到每个轮胎的载荷f
1i
。高速热成像仪的分布数量与车辆载荷计算精度需求相关，可以只分布在车道一侧，也可以分布在车道两侧。如果车辆载荷计算精度要求高，则分布在车道两侧，针对每个轮胎进行载荷预估；如果车辆载荷计算精度要求低，可以只分布在车道一侧，根据车道一侧的载荷计算结果推算另一侧的轮胎载荷。
[0063]
在本实施案例中，热成像采集组件1可以为分辨率高于或等于640*480的高分辨率高帧频热成像设备，在本实施例中采用了k26he25高速高帧率红外热成像采集组件。所述光学图像采集组件采用nikon d5600单反相机。
[0064]
所述变形参数计算单元基于opencv图像处理算法对像素温度矩阵数据进行处理，通过图像迭代的几何拟合和区域生长算法检测得到目标样本轮胎的力学变形参数；所述力学变形参数包括：轮胎最大像素半径r、轮胎最大像素面积s1、轮毂像素半径r、轮胎与地面接触像素长度1、轮胎圆心到地面的像素距离h、轮胎变形后的等效像素面积s2、轮胎变形前后的图像像素面积差δs，以及轮胎与地面接触分割线像素长度l。优选的，还可以采用sg-net算法对轮胎图片进行图像分割，将轮胎与背景分离，到轮胎与地面接触点，再进行相关变形参数的计算和统计。
[0065]
在本实施案例中，当车辆缓慢经过时，高速热成像仪提取对目标车辆一侧的轮胎进行热成像捕捉，获得原始csv温度数据文件，将csv温度数据文件每个像素点对应的温度信息进行提取，按照线性关系重新绘制出温度图像。再采用sobel算子对温度图像进行边缘检测，计算图像中的温度梯度幅值，到梯度幅值最大的点，将梯度幅值前5％的像素点进行保留，进行颜标记。
[0066]
根据先验知识，轮胎下半部分与空气的接触面处梯度幅值最大点可以最接近表现出轮胎的边缘轮廓，由图像下方向上方依次选取轮胎与空气交界面处的边缘检测点为拟合轮胎外轮廓圆的种子点。利用第一次选取的种子点进行轮胎外轮廓拟合，并对第一次选取的种子点进行区域生长操作，进进行第二次种子点的选取，继续拟合轮胎外轮廓。从轮胎上半部分，自上而下的进行第三次种子点的选取，进一步对轮胎外轮廓进行拟合。以轮胎外轮廓为边界，向圆心处依次寻温度梯度幅值点，以此点为轮毂的边缘像素点，进行轮毂外轮廓拟合。由轮胎圆心左下与右下45度范围内到轮胎与地面交界处的像素梯度幅值点，以此点为基准做轮胎与地面分割线，得到轮胎变形后轮胎与地面的交界面，自下而上的对轮胎与地面交界面的图像像素进行端点处理，计算相邻两个像素点的y坐标差值，当差值大于一定阈值时，判断该点为轮胎与地面接触的端点，得到轮胎与地面的真实接触像素长度，自此，完成基于热成像数据的轮胎与轮毂的外轮廓边缘分割，得到以下参数，轮胎最大像素半径r，轮胎最大像素面积s1，轮毂像素半径r，轮胎与地面接触像素长度l，轮胎圆心到地面的
像素距离h，轮胎变形后的等效像素面积s2，轮胎变形前后的图像像素面积差δs，轮胎与地面接触分割线像素长度l。根据热成像所捕捉的热学信息计算轮胎外表面平均温度，如图5 所示。
[0067]
利用光学采集组件采集轮胎的光学图像，进而调用ocr识别算法，其中，ocr识别算法采用基于深度学习的字符识别技术，通过迁移学习的方法训练psenet字符定位网络与 crnn字符识别网络，形成两阶段的字符识别方法，是被轮胎侧壁的标识符信息，获得胎尺寸信息(轮胎断面高度h、轮胎断面宽度b、轮毂半径rim)与气压信息atm。
[0068]
根据轮毂的尺寸信息，对热成像中所测的各类变形参数进行尺寸修正，采用比例因子α对获取的轮胎的力学变形参数进行修正：修正后的力学变形参数为：
[0069]rtrue
＝α
×r[0070]rtrue
＝α
×r[0071]s1true
＝α2×s[0072]
l
true
＝α
×
l
[0073]htrue
＝α
×h[0074]s2true
＝α2×
s2[0075]
δs
true
＝α2×
δs
[0076]
l
true
＝α
×
l
[0077]
式中，r
true
、r
true
、s
1true
、l
true
、h
true
、s
2true
、δs
true
和l
true
分别为修正后的轮毂像素半径、轮胎最大像素半径、轮胎最大像素面积、轮胎与地面接触像素长度、轮胎圆心到地面的像素距离、轮胎变形后的等效像素面积、轮胎变形前后的图像像素面积差和轮胎与地面接触分割线像素长度；r、s1、l、h、s2、δs和l分别为拟合得到的轮胎最大像素半径、轮胎最大像素面积、轮胎与地面接触像素长度、轮胎圆心到地面的像素距离、轮胎变形后的等效像素面积、轮胎变形前后的图像像素面积差和轮胎与地面接触分割线像素长度。具体地，当车辆缓慢经过时，热成像采集组件1捕捉并记录车身一侧的轮胎的外轮廓。这其中，对所述轮胎的轮毂区域、所述轮胎区域进行检测，得到所述轮胎的轮毂区域的像素点、所述轮胎区域的像素点；根据所述轮毂区域的像素点及轮毂直径，计算图像比例因子(轮毂区域不发生变形)；根据所述轮胎区域的像素点及所述图像比例因子，计算轮胎的变形量。
[0078]
根据室内试验所采集的数据集对xgboost模型进行训练得到载荷预测模型。将上述测得的12个力学特征输入至载荷预测模型中，得到单个轮胎的预测荷载，经过室外验证该方法的误差小于5％，预测效果良好。具体地，所述载荷预测模型的训练过程包括：
[0079]
s1，利用热成像采集组件1拍摄一定量不同轮胎断面尺寸、不同胎压、不同载荷、不同温度的样本轮胎在正常工作状态下的侧面热成像图像，生成样本轮胎集.
[0080]
s2，从样本轮胎集中的每个侧面热成像图像中提取像素温度矩阵数据以获得每个样本轮胎的表面温度信息；采用变形参数计算单元对每个样本轮胎的像素温度矩阵数据进行处理，得到样本轮胎的力学变形参数。
[0081]
s3，将每个样本轮胎的力学变形参数(12个力学特征)与相应的轮胎尺寸、气压信息作为一组训练样本，生成训练样本集。
[0082]
s4，基于xgboost模型构建得到载荷预测模型，采用步骤s3中的训练样本集对载荷预测模型进行训练；训练完成的载荷预测模型用于对导入的待检测轮胎的力学变形参数及轮胎尺寸、气压信息进行处理，计算得到待检测轮胎的预估轮胎荷载。
[0083]
在训练过程中，评价指标采用mse均方差，其在有限元训练结果中表现出良好的预测性能，通过机器学习可解释方法shap进行轮胎各变形参数之间的全局解释与局部解释，到预测轮胎模型的最重要参数，并舍弃冗余参数，在模型训练的过程中采用贝叶斯寻参方法进行 xgboost模型的优化寻参，以此获得最佳预测性能。
[0084]
进一步地，所述非接触式车辆称重子系统包括模型更新装置；所述模型更新装置用于将新的样本数据导入载荷预测模型，对载荷预测模型进行更新。
[0085]
若该实施方案在具备测量轮胎真实荷载的条件下，可通过第三方设备测得的轮胎荷载与本实施例所提出的12个力学特征相结合，构建用于更新模型的数据集，实现模型的自动化更新与自学习机制，提高载荷预测模型的通用能力。
[0086]
由于轮胎在汽车行驶过程中与地面存在摩擦生热现象，且在环境温度影响下，轮胎的温度存在变化，此种温度变化会使仅依靠轮胎变形参数预测出的轮胎承受荷载f
1i
与轮胎承受的真实荷载之间产生误差，因此本实施例针对此现象引入了温度修正系数α
t
对预测值加以修正使其更加准确。温度修正后的轮胎承受荷载f
2i
＝f
1i
×
α
t
，α
t
为温度修正系数。
[0087]
(二)车辆追踪子系统(系统b)
[0088]
首先通过布设在高处的摄像机2拍摄车辆行驶图像，经过相机标定后利用yolox-deepsort 网络检测车辆行驶速度v。具体地，所述车辆追踪模块基于yolox-deepsort模型训练得到，提取车轮预测框的矩形下部中点的像素点位置作为目标车辆与路面的接触点位置，通过视频采集模块的拍摄角度、焦距、视频采集模块的位置和接触点位置计算目标车辆的实际位置；所述速度检测模块在追踪过程中记录目标车辆胎离开预设的虚拟检测区的时间戳，利用车辆轴距l和目标车辆离开虚拟检测区的时间差计算目标车辆的平均速度，作为目标车辆在虚拟检测区的车辆速度v。
[0089]
处于行驶状态的汽车轮胎，其变形不仅与所承受的荷载、温度有关，还与汽车的行驶速度相关联，则汽车行驶速度越快，轮胎变形相对就越大。因此，为充分准确地预测轮胎承受荷载，本实施例还提出了速度修正系数βv，经过速度修正系数修正后得出更为准确的单轴轮胎承受荷载fi＝f2×
βv，βv为速度修正系数，通过对大量不同行驶速度下轮胎图像进行回归学习从而得出不同速度下的速度修正系数βv，最终实现速度修正。
[0090]
由于只在车辆一侧部署了热像仪，假设车辆一侧的车轴数量为n，相邻n个车轴的轮胎荷载组成速度标签为v的车辆整体荷载q，车辆整体荷载q计算方法如下式所示：
[0091]
参见图5，在预测得出系统检测范围内所有车辆的荷载后，通过对比预先设定的超载超限阈值，本系统还可对车辆是否超载超限做出实时快速判断与预警。本实施例可同时监测某一车辆的荷载是否超出阈值，也可监测一定范围内的车辆总荷载是否超出阈值；并且本实施例的预警是实时的、快速的，对桥梁等基础设施的安全运行具有重大意义。
[0092]
在本实施例中，本实施例还公开了一种基于ai和机器视觉双驱动的超载超限车辆预警追踪，包括以下步骤：
[0093]
步骤1、用高速热成像仪实地拍摄多种型号的轮胎在不同温度、胎压以及承受荷载
下的图像，用sg-net算法对所拍到的图像进行图像分割，将轮胎与周围背景分离开，得到轮胎变形后图像。用ocr文字识别算法识别轮胎上的文字信息，进而得到轮胎的胎压、尺寸等。对图像进行规格化处理后得到轮胎变形后的数据信息，将数据信息加载到xgboost机器学习预测模型中得到预测的轮胎承受荷载。用大量数据训练xgboost机器学习模型使其预测值准确率达到预期标准。
[0094]
步骤2、将步骤1中sg-net算法、ocr文字识别算法、xgboost机器学习预测模型以及高速热成像仪集成为非接触式车辆称重子系统(系统a)。
[0095]
步骤3、将高速热成像仪布置在桥梁、收费站等单行车道旁，拍摄行驶状态车辆轮胎图像，同时，记录车辆的车轴数、轮胎的温度；将图像、轮胎温度加载到所述诸算法以及机器学习预测模型中得到车辆单轴荷载。
[0096]
步骤4、搭建基于yolox-deepsort目标追踪算法的车辆追踪模型，将追踪模型与一台摄像机集成为车辆追踪子系统(系统b)。
[0097]
步骤5、将摄像机布置在桥梁、收费站等入口前道路上方的高架上，连续拍摄下方车辆图像，将图像加载到所述基于yolox-deepsort目标追踪算法的车辆追踪模型中得到车辆的行驶速度。
[0098]
步骤6、车辆追踪子系统(系统b)接收来自非接触式车辆称重子系统(系统a)的车辆单轴荷载以及车辆轴数，再结合步骤5中测得的车辆行驶速度，对车辆单轴荷载进行速度修正并考虑车辆轴数后得出最终的车辆单轴荷载。
[0099]
步骤7、将车辆追踪子系统(系统b)中的摄像机安装在收费站、桥梁等入口处车道上方的高架上，该摄像机捕捉下方车道上处于行驶状态的车辆图像并传递给车辆追踪子系统(系统b)中基于yolox-deepsort目标追踪算法模型，该模型对图像进行处理和计算后得出相应目标车辆的行驶速度并且给目标车辆设置标签。
[0100]
步骤8、车辆追踪子系统(系统b)接收来自系统a的车辆单轴荷载以及车辆轴数，车辆追踪子系统(系统b)综合车辆单轴荷载、车辆轴数和目标车辆行驶速度后计算得出车辆的整体荷载。
[0101]
步骤9、车辆追踪子系统(系统b)不断检测目标车辆的行驶速度、接收非接触式车辆称重子系统(系统a)传递的车辆荷载信息，从而实现对目标车辆荷载的动态实时追踪。
[0102]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，在不脱离本发明原理前提下的若干改进和润饰，都应视为本技术的保护范围。

技术特征：

1.一种基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述超载超限车辆预警追踪系统包括非接触式车辆称重子系统和车辆追踪子系统；所述非接触式车辆称重子系统包括热成像采集组件、轮胎型号识别模块、变形参数计算单元、载荷预测模型和温度修正模块；所述轮胎型号识别模块用于识别得到车辆每个轮胎的型号，根据识别到的型号查询获得轮胎的断面尺寸信息和胎压信息；所述热成像采集组件位于车道两侧，用于拍摄车辆单轴轮胎侧面的红外热像图，得到相应的温度矩阵数据；所述变形参数计算单元根据车辆单轴轮胎的温度矩阵数据计算得到轮胎的力学变形参数；所述载荷预测模型基于xgboost模型训练得到，根据轮胎的力学变形参数和轮胎的断面尺寸尺寸、胎压信息，计算得到预估轮胎载荷f
1i
；所述温度修正模块用于对车辆轴距l、车辆轴数n、每个轮胎的温度t
i
进行检测，结合轮胎温度ti对预估轮胎荷载f
1i
进行温度修正，得到温度修正后的轮胎荷载f
2i
＝f
1i
×
a
t
，将温度修正后的轮胎荷载f
2i
、车辆轴数n打包成轮胎荷载信息发送至车辆追踪子系统；i＝1，2，...，n；f
1i
、f
2i
和t
i
分别是第i个轮胎的预估轮胎载荷、修正后的轮胎载荷和温度；温度修正因子a
t
的值由统计回归得出；所述车辆追踪子系统包括视频采集模块、车辆追踪模块、速度检测模块、速度修正模块、总载荷计算模块；所述视频采集模块架设在车道正上方，用于实时拍摄车道区域视频；所述车辆追踪模块基于yolox-deepsort模型训练得到，用于对视频采集模块采集到的视频图像进行处理，对视频图像中的目标车辆进行识别追踪，将追踪到的位置信息发送至速度检测模块，由速度检测模块计算得到车辆速度v，将计算得到的车辆速度v标注在视频图像中的目标车辆上；所述速度修正模块结合车辆速度v对温度修正后的轮胎载荷f
2i
进行速度修正，得到最终的单轴轮胎载荷f
i
＝f
2i
×
β
v
；所述总载荷计算模块根据单轴轮胎载荷fi计算得到目标车辆的整体载荷q；速度修正因子β
v
的值由统计回归得出。2.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述车辆追踪子系统包括预警模块；所述预警模块根据目标车辆的车辆轴距l和车辆轴数n，查询得到目标车辆的载荷阈值，比较目标车辆的整体载荷q和载荷阈值，判断目标车辆是否超载超限。3.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述轮胎型号识别模块包括光学图像采集组件、ocr文字识别模型、轮胎信息查询模块；所述光学图像采集组件位于车道两侧，用于拍摄车辆轮胎的光学图像，由ocr文字识别模型识别得到轮胎对应的字符信息；所述轮胎信息查询模块根据轮胎对应的字符信息获取轮胎型号，以及轮胎型号对应的断面尺寸和胎压信息。4.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述变形参数计算单元基于opencv图像处理算法对像素温度矩阵数据进行处理，通过图像迭代的几何拟合和区域生长算法检测得到目标样本轮胎的力学变形参数；所述力学变形参数包括：轮胎最大像素半径r、轮胎最大像素面积s1、轮毂像素半径r、轮胎与地面接触像素长度1、轮胎圆心到地面的像素距离h、轮胎变形后的等效像素面积s2、轮胎变形前后的图像像素面积差δs，以及轮胎与地面接触分割线像素长度l；所述变形参数计算单元检测得到目标样本轮胎的力学变形参数的过程包括以下步骤：
s11，根据像素温度矩阵数据生成与温度线性相关的温度图像；采用sobel边缘检测算子计算温度图像的像素梯度幅值，在温度图像中温差大于预设温差阈值的像素点周围进行图像分割；s12，将分割后图像的前5％的梯度幅值进行保留，并取出梯度幅值最大的点，进行颜标记；从图像下方向上依次选取经过颜标记的像素点，将选取的像素点作为用于第一次拟合轮胎外轮廓的种子点，所选取的种子点均为轮胎与空气交界面上的像素点；s13，采用步骤s12选取的种子点，利用区域生长算法对种子点进行区域生长到与种子点相邻的点作为新的种子点，进行轮胎外轮廓的第二次拟合；s14，保留步骤s12和步骤s13中所选取的种子点，以第二次拟合的轮胎外轮廓为基准，自上而下的到轮胎上半部分的梯度幅值最大像素点，进行第三次轮胎外轮廓拟合；s15，以步骤s14中所拟合的轮胎外轮廓为基准，向轮胎中心寻梯度幅值最大的像素点，以此点作为拟合轮毂外轮廓的种子点，拟合得到轮毂外轮廓；s16，重复迭代以拟合得到符合预设误差标准的轮胎外轮廓与轮毂外轮廓；s17，由轮胎圆心左下45度与右下45度的夹角范围内到轮胎与地面交界处的像素梯度幅值点，以查到的像素梯度幅值点为基准绘制轮胎与地面分割线，得到轮胎变形后轮胎与地面的交界面；s18，自下而上的对轮胎与地面交界面的图像像素进行端点处理，计算相邻两个像素点的y坐标差值，当任一像素点与其相邻的像素点的y坐标差值大于预设坐标差值阈值时，判断该像素点为轮胎与地面接触的端点，得到轮胎与地面的真实接触像素长度。5.根据权利要求4所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述变形参数计算单元采用比例因子α对获取的轮胎的力学变形参数进行修正：式中，rim为轮毂半径；r为拟合得到的轮毂像素半径。6.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述载荷预测模型的训练过程包括：s1，利用热成像采集组件拍摄一定量不同轮胎断面尺寸、不同胎压、不同载荷、不同温度的样本轮胎在正常工作状态下的侧面热成像图像，生成样本轮胎集；s2，从样本轮胎集中的每个侧面热成像图像中提取像素温度矩阵数据以获得每个样本轮胎的表面温度信息；采用变形参数计算单元对每个样本轮胎的像素温度矩阵数据进行处理，得到样本轮胎的力学变形参数；s3，将每个样本轮胎的力学变形参数与相应的轮胎尺寸、气压信息作为一组训练样本，生成训练样本集；s4，基于xgboost模型构建得到载荷预测模型，采用步骤s3中的训练样本集对载荷预测模型进行训练；训练完成的载荷预测模型用于对导入的待检测轮胎的力学变形参数及轮胎尺寸、气压信息进行处理，计算得到待检测轮胎的预估轮胎荷载。7.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述非接触式车辆称重子系统包括模型更新装置；所述模型更新装置用于将新的样本数据导入载荷预测模型，对载荷预测模型进行更新。
8.根据权利要求1所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪系统，其特征在于，所述车辆追踪模块基于yolox-deepsort模型训练得到，提取车轮预测框的矩形下部中点的像素点位置作为目标车辆与路面的接触点位置，通过视频采集模块的拍摄角度、焦距、视频采集模块的位置和接触点位置计算目标车辆的实际位置；所述速度检测模块在追踪过程中记录目标车辆胎离开预设的虚拟检测区的时间戳，利用车辆轴距l和目标车辆离开虚拟检测区的时间差计算目标车辆的平均速度，作为目标车辆在虚拟检测区的车辆速度v。9.一种基于ai和机器视觉双驱动的超载超限车辆预警追踪方法，其特征在于，所述超载超限车辆预警追踪方法基于权利要求1-8任一项中所述的超载超限车辆预警追踪系统执行；所述超载超限车辆预警追踪方法包括以下步骤：识别进入检测区的车辆的每个轮胎的型号，根据识别到的型号查询获得轮胎的断面尺寸信息和胎压信息；采集车辆单轴轮胎侧面红外热像图，得到相应的温度矩阵数据；根据车辆单轴轮胎的温度矩阵数据计算得到轮胎的力学变形参数；根据轮胎的力学变形参数和轮胎的断面尺寸尺寸、胎压信息，计算得到预估轮胎载荷f
1i
；结合轮胎温度t
i
对预估轮胎荷载f
1i
进行温度修正，得到温度修正后的轮胎荷载f
2i
＝f
1i
×
α
t
；实时拍摄车道区域视频，对视频采集模块采集到的视频图像进行处理，对视频图像中的目标车辆进行识别追踪，将追踪到的位置信息发送至速度检测模块，由速度检测模块计算得到车辆速度v，将计算得到的车辆速度v标注在视频图像中的目标车辆上；结合车辆速度v对温度修正后的轮胎载荷f
2i
进行速度修正，得到最终的单轴轮胎载荷f
i
＝f
2i
×
β
v
；根据单轴轮胎载荷f
i
计算得到目标车辆的整体载荷q。10.根据权利要求9所述的基于ai和机器视觉双驱动的超载超限车辆预警追踪方法，其特征在于，所述超载超限车辆预警追踪方法还包括：根据目标车辆的车辆轴距l和车辆轴数n，查询得到目标车辆的载荷阈值，比较目标车辆的整体载荷q和载荷阈值，判断目标车辆是否超载超限。

技术总结

本发明公开了一种基于AI和机器视觉双驱动的超载超限车辆预警追踪系统，包括非接触式车辆称重子系统和车辆追踪子系统；所述非接触式车辆称重子系统包括热成像采集组件、轮胎型号识别模块、变形参数计算单元、载荷预测模型和温度修正模块；所述车辆追踪子系统包括视频采集模块、车辆追踪模块、速度检测模块、速度修正模块、总载荷计算模块。本发明能够通过机器视觉的方法，在不破坏道路交通设施或车辆原有结构的情况下，实现对车辆荷载的非接触式动态、连续、快速测量。快速测量。快速测量。