一种基于深度学习的车载式轨道扣件服役状态检测器

阅读：评论：0

1.本发明实施例涉及深度学习技术领域，尤其涉及一种基于深度学习的车载式轨道扣件服役状态检测方法、设备和系统。

背景技术：

2.由于在轨枕制造、运输和铺设过程中易造成预埋铁座损坏，进而导致轨道扣件在服役一段时间后出现松动、脱节、移位等问题；弹条安装时，不重视弹条安装标准间距；弹条扣压力不足；施工导致；弹条产生共振；或螺栓螺母结构的螺母预埋在道岔板混凝土内，受长期振动荷载作用，导致螺母松脱失效等原因造成扣件服役状态异常。在列车运行实际行驶过程中轨道扣件出现服役异常状态是存在一定风险性的，因此及时识别或检测出轨道扣件服役状态的异常是急需要解决的技术问题。
3.现有的技术中，一般是通过天窗期运用专门的轨道检测列车由专门的司机检测维修扣件故障或者通过人力驱动小型轨道扣件检测车去识别检测扣件并维修，这种方法效率低下且必须占用天窗期时间，大大降低了扣件检测效率和轨道交通运输效率。

技术实现要素：

4.本发明实施例提供一种基于深度学习的轨道扣件服役状态异常检测方法、装置和系统，以实现轨道扣件服役状态异常的自动化识别。
5.第一方面，本发明实施例提供了一种基于深度学习的轨道扣件服役状态异常检测方法，包括：mixup数据增强、mobilenetv2网络轻量化、spp结构、se注意力机制板块、panet结构。
6.第二方面，本发明实施例还提供了一套车载式轨道扣件服役状态检测装置，所述检测装置包括：工装构架、ccd高速摄像机、一个或多个处理器、存储器、视频传输线、司控室接口。
7.第三方面，本发明实施例还提供了一种基于深度学习的轨道扣件服役状态异常检测系统，包括多个电子设备和服务器：每个所述电子设备包括:一个或多个处理器；存储器,用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例所述的基于深度学习的轨道扣件服役状态异常识别方法；
附图说明
8.图1为本发明轨道扣件检测器的俯视图；
9.图2为本发明轨道扣件检测器的正视图。图中：1、光源补充器；2、ccd相机；3、固定底座；4、存储装置；5、连接杆；6、支撑座；7、底板；8、外接数据处理接口。为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐明本发明。
10.请参阅图1，本发明提供一种技术：一种轨道扣件检测技术，主体部分由ccd相机-2、光源补充器-1、固定底座-3存储装置-4以及连接杆-5。整个装置位于动车车头底部，通过与车头底部连接的螺母-3与车头底部固定，连接杆-5负责连接固定两侧对称分布的ccd相机-2、存储装置-4以及光源补充器-1。整个轨道扣件捕捉拍摄部分由ccd相机承担，两侧对称分布的ccd相机负责轨道两侧的扣件拍摄，夜间光源-2为在夜晚工作的装置提供光源，增加ccd相机拍摄扣件图片的清晰度以及准确性，减少设备失误，信号发生器与视频线连接，将拍摄的扣件图片传输。该设计实现了扣件捕捉拍摄自动化。
11.连接杆-5与两侧ccd相机-2通过焊接固定，光源补充器-1与ccd相机通过螺栓进行固定。
12.具体使用方式：当需要光源补充器-1进行辅助时，打开光源补充器-2，两侧ccd-3相机在动车运行图中开始捕捉拍摄两侧轨道扣件，存储装置-4将拍摄的图片传输。
13.图3为yolov4框架图
14.图4为扣件伤损类别图
15.图5为mixup数据增强过程
16.图6为轨道实况
17.图7为图像锐化
18.图8为深度可分离卷积与反向残差结构
19.图9为扣件定位网络结构图
20.图10为特征融合注意力模块消融结果
21.图11为特征融合注意力模块
22.图12为轨道扣件图像识别处理流程图
具体实施方式
23.1、为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明
‑‑
部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
24.2、在本发明的描述中,需要说明的是,术语“中心”“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
25.3、在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如，可以是固定连接,也可以是可拆卸连接,或一体地连接；可以是机械连接,也可以是电连接；可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
26.4、本发明实施例提供一种基于深度学习的轨道扣件服役状态异常检测方法,适用于在轨道列车运行时轨道扣件服役状态数据自动识别异常的情况，本实施例由车载式设备
执行。
27.5、车载式轨道扣件检测器的实现条件、方法和优势：融合深度学习算法及司控室主机接入技术，研发的一款车载式轨道扣件服役状态检测器，突破依赖人工或专用轨检车识别需占用“天窗”时间的局限，依靠技术革新实现轨道扣件服役状态常态化检测，变革检测模式，实现高精度、高效率、智能化扣件检测。为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐明本发明。
28.6、工装构架
29.本发明提供一种技术：一种轨道扣件检测技术，主体部分由ccd相机、光源补充器、信号发生器以及连接杆。整个装置位于动车车头底部，通过与车头底部连接的螺母与车头底部固定，连接杆负责连接固定两侧对称分布的ccd相机、信号发生器以及光源补充器。整个轨道扣件捕捉拍摄部分由ccd相机承担，两侧对称分布的ccd相机负责轨道两侧的扣件拍摄，光源补充器为在夜晚工作的装置提供光源，增加ccd相机拍摄扣件图片的清晰度以及准确性，减少设备失误，信号发生器与视频线连接，将拍摄的扣件图片传输。该设计实现了扣件捕捉拍摄自动化。
30.7、司控室主机接入技术
31.司控室采用串口通信的方式将采集到的数据传输到上位机中，通过串口转usb接口连接到上位机，线阵相机通过千兆网接口与上位机连接。对连接好的系统进行上电，打开数据采集上位机软件，对每个模块进行初始化。配置相机的参数，设置线阵相机的分辨率、曝光时间、行频以及触发方式等；设置串口通信的波特率、停止位、数据位等。设置好参数后，打开串口以及开启相机的抓取模式，系统处于采集状态。光电编码器与车轮同轴旋转光电编码器产生脉冲，触发系统进行同步采集。
32.8、检测器如何利用高速摄影机进行拍摄和作业
33.(1).对高速摄影机的硬性要求
34.帧率fps：高速拍摄的专业摄像机大约能达到2000～10000万帧/秒即使是子弹发射、核爆炸也能拍摄清晰。高速摄像机就是能够以很高的频率记录一个动态的图像，因为一个动态的图像是需要数个静止的连贯的图片按一定时间速度播放出来的，高速摄像机一般可以每秒1000～10000帧的速度记录。动车组的最高时速为每小时380公里，摄影机在高速运动中同时要将轨道扣件拍照，对摄影机的帧率有较高要求。
35.感光度ios：改变放大器增益：数码相机芯片(ccd/cmos)在接收到外部光信号后，首先会将光信号转化成电信号，电信号经放大器放大后再进行a/d转换得到相应的数字信号，通过软件在电脑上还原成图像。因此，提高放大器的增益可间接的提高相机的感光度。感光度对图像质量的影响主要在画质，低的感光度带来更细腻的成像质量，而高感光度的画质则是噪点比较大，成像质量较为粗糙。摄影机在跟随动车在轨道上高速运动同时捕捉扣件，为保证对扣件状态的正确识别，应采用感光度更低的摄影机。
36.(2).相机的选型工业上使用的相机的选择
37.一般分为面阵和线阵相机，面阵相机横向成像范围较小，难以达到扣件检测系统的要求。而且，轨道检测车的速度一直处在变化中，如果使用固定的频率进行拍摄扣件，会产生漏拍或者拍摄图像重复的情况，不仅检测不准而且大大降低了检测的效率。线阵相机横向分辨率高，能够保证拍摄到钢轨两边的扣件图像。根据线阵相机的工作原理，采用线扫
描的方式不会出现重复的扣件图像，使用相机的外触发模式，保证图片不会出现拉伸或压缩，能够大大提高采集和处理的效率以及节省存储空间，所以本发明选用线阵相机进行拍摄。在选择线阵相机时，需要考虑以下几个参数：分辨率线阵相机的分辨率主要取决于芯片本身的结构，包括像素个数、向远尺寸、像素密度等。拍摄的视场和图像的精度要求决定了相机的分辨率，计算公式如下：分辨率＝拍摄视野/精度要求潘。得路扣件两端距离为350mm，扣件两端轨枕预留150mm距离，设计精度为0.6mm，则相机所需要的分辨率至少需要8w像素，2k相机分辨率为30w。
[0038][0039]
因此，选择分辨率为2k的相机即可。
[0040]
(3).线扫描率相机的线扫描率即相机每秒扫了多少行数据，与系统的速度以及图像的精度有关。系统的运行速度为380km/h，图像的要求精度为0.6mm，则相机先扫描率为：
[0041]
相机的线扫描率选择180khz及以上。
[0042][0043]
高速摄像机技术具有实时目标捕获、图像快速记录、即时回放、图像直观清晰等突出优点。高速运动目标受到自然光或人工辅助照明灯光的照射产生反射光，或者运动目标本身发光，这些光的一部分透过高速成像系统的成像物镜。经物镜成像后，落在光电成像器件的像感面上，受驱动电路控制的光电器件，会对像感面上的目标像快速响应，即根据像感面上目标像光能量的分布，在各采样点即像素点产生响应大小的电荷包，把图像像素转换成数字信号，完成图像的光电转换。带有图像信息的各个电荷包被迅速转移到读出寄存器中。读出信号经信号处理后传输至电脑中，由电脑对图像进行读出显示和判读，并将结果输出
[0044]
9、利用视频线进行检测数据快速传导终端
[0045]
接口：目前我们常用的视频线接口有四种dp、hdmi、dvi、vga四种。hdmi接口是高清多媒体接口，最高数据传输速度5gbps，可以高品质的传输未经压缩的高清视频和多声道音频数据，hdmi接口的好处在于只需要一条hdmi线就可以同时传输影音信号，无需在信号传送前进行数/模或者模/数转换，可以保证最高质量的影音信号传送。
[0046]
绝缘层：绝缘层物理特性不同，syv是100％聚乙烯填充，介电常数ε＝2.2-2.4左右；而sywv也是聚乙烯填充，但充有80％的氮气气泡，聚乙烯只含有20％按照材料区分有syv及sywv两种，syv是实心聚乙烯电缆；sywv是高物理发泡电缆，物理发泡电缆传输性能优于聚乙烯。根据实际情况，应选择sywv材料的视频线
[0047]
芯线：线缆的核心就是线芯，线芯的质量决定了整条线的好坏；线芯需要采用标准的3+6/9规格纯铜线芯，这样才能提高传输距离降低衰减值，让显示器画面更逼真。芯线直径以75-5为例，由于-5电缆结构国家标准规定，绝缘层外径是4.8mm,不能改变，为了保证75ω的特性阻抗，而特性阻抗只与内外导体直径比和绝缘层的介电常数ε大小有关，大芯线细，小芯线粗；芯线直径：syv是0.75-0.8mm,sywv是1.0mm，这一区别，导致了芯线电阻的不同。
[0048]
绝缘层物理特性不同，芯线直径不同，两项根本区别，决定了两种电缆的传输特
性――传输衰减不同。高编电缆明显特点是：屏蔽层的直流电阻小，200khz以下的低频衰减少，对抑制低频干扰有利，从频率失真看，高编电缆反而严重。频率失真直接影响就是视频信号的各种频率成分的正常比例失真，直接影响到图像失真。
[0049]
网络同轴电缆内外由相互绝缘的同轴心导体构成的电缆：内导体为铜线，外导体为铜管或网。电磁场封闭在内外导体之间，故辐射损耗小，受外界干扰影响小。常用于传送多路电话和电视。视频同轴电缆英文简称syv，常有的有75.7、75.5、75.3、75.1等型号，特性阻抗都是75q，在低功率应用中，75欧姆是电缆的最优阻抗，是以非对称基带方式传输视频信号的主要介质。主要用于设备的支架连线、闭路电视、共用天线系统以及彩或单射频监视器的转送。
[0050]
10、yolov4模型架构
[0051]
作为one-stage的yolo网络主要由三个主要组件组成(如图3)：backbone-在不同图像细粒度上聚合并形成图像特征的卷积神经网络；neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；
[0052]
head：对图像特征进行预测，生成边界框和并预测类别。
[0053]
(1).mobilenetv2作为骨干网络backbone：该主干网络的作用在于丰富梯度的组合形式，减少计算量。并且yolov4的激活函数将leakeyrelu函数修改为mish函数，mish函数能够保持准确性，并且mish函数的梯度更加平滑，从而能够更加深入到神经网络中，最终能够更加泛化、准确化。mish函数具有光滑、非单调性、下有界、上无界的特点，具有良好的使用性能。mish函数的公式表达式为
[0054]
mish＝xtanh[ln(1+e
x
)]
[0055]
式中：x、h分别代表mish函数中点的横坐标与纵坐标。
[0056]
(2).spp(空间金字塔池化)作为neck的附加模块；spp-net全称spatial pyramid pooling networks；将不同尺寸的特征图进入全连接层。直接看下图，下图中对任意尺寸的特征图直接进行固定尺寸的池化，来得到固定数量的特征。如上图，以3个尺寸的池化为例，对特征图进行一个最大值池化，即一张特征图得取其最大值，得到1*d(d是特征图的维度)个特征；对特征图进行网格划分为2x2的网格，然后对每个网格进行最大值池化，那么得到4*d个特征；同样，对特征图进行网格划分为4x4个网格，对每个网格进行最大值池化，得到16*d个特征。接着将每个池化得到的特征合起来即得到固定长度的特征个数(特征图的维度是固定的)，接着就可以输入到全连接层中进行训练网络了。用到这里是为了增加感受野。panet作为neck的特征融合模块；yolov4使用panet(path aggregation network)代替fpn进行参数聚合以适用于不同level的目标检测,panet论文中融合的时候使用的方法是addition，yolov4算法将融合的方法由加法改为concatenation。
[0057]
(3).head板块利用获得到的特征进行预测，是一个解码的过程。该过程使用的是yolov4算法的检测头，以多标签任务，多尺度特征，锚点聚类为特点。计算loss是实际值与预测值之间的对比。对数据集中的每一个目标计算其中的真实框与预测框的交并比，计算回归的loss值。其次计算置信度的loss值，置信度的loss值由两部分组成:其一是实际存在的目标，预测结果中的置信度与1对比；其二是实际不存在的目标，预测结果中的置信度与0对比。最后计算预测种类的loss，计算的为实际存在的目标，真实与预测之间的差距。总loss值就是回归loss值、置信度loss值与预测种类loss值三者的和。
[0058]
yolov4中的ciou计算方法会使得目标检测的目标框回归变得稳定，它会将目标中的与锚点之间的距离、重叠度、尺度、惩罚项都考虑进去，而且不会出现训练发散等问题。loss公式为：
[0059][0060][0061][0062][0063]
式中:c为指能够将预测框和真实框同时包上的最小区域的对角线距离；ρ为指欧式距离；b、w、h是指预测框的中心坐标及宽、高；b
gt
、w
gt
、h
gt
是指真实框的中心坐标及宽、高。从而对不同的钢轨扣件进行无误分类：
[0064]
利用扣件检测在目标检测中具有其特殊性，以实现扣件检测的快速性、准确性、有效性为目的。采用基于改进yolov4算法的方法实现对轨道扣件的检测。将”轨检超级眼
‑‑
车载式轨道扣件服役状态检测器“采集的数据：
[0065]
进行筛选并建立数据集，并将此数据集输入到改进的yolov4网络中，经过算法的识别、分类、训练，得到训练模型最终将训练完成的模型输入到算法网络中对未知状态扣件进行预测分析。
[0066]
由此过程能够实现对轨道扣件各种服役状态的检测。
[0067]
11、传导至yolov4模型后的处理方式
[0068]
输入至yolov4模型的图片，首先将通过mixup数据增强板块，mixup板块起到将图像数据进行翻转、平移、旋转、裁剪等操作，更好地突出轨道扣件这部分，使其可以与已有的数据集中的数据进行比对，以提高模型的泛化能力；提升之后的泛化能力可以更好的作用于后续的标注框环节。
[0069]
再将数据增强过的图像输入至mobilenetv2板块，mobilenetv2板块起到将输入的图像以压缩表示的方法从低纬扩展到高纬，再使用轻量级深度卷积做过滤，最后用linear convolution将特征投回至低维表示，此过程对图像起到提取卷积层的作用。同时因为使用了压缩表示等方法，更好的降低了对高性能设备的依赖性，真正的实现了网络轻量化的目的。
[0070]
将已进行深度卷积提取出了卷积层的图像输入至spp模块，spp模块可以实现在其卷积层上提取特征，建立起特征层，再通过空间金字塔池化提取在特征层上固定大小特征向量；固定了的特征向量可以更好地为后续过程减负，同时起到一定程度上的提高数据的检测精度。
[0071]
图像接下来将进入se板块；该板块将对输入的固定大小了的特征层进行全局池化，将特征层变成1
×1×
通道数，起到一个压缩的作用；然后全连接层和激活函数，对1
×1×
通道数的特征图进行调整，变成每一个特征图的权重，然后与输入的特征进行相乘，该过
程起到了将识别物体的注意力机制仅限于轨道扣件上；这样也是起到了一个降低计算量，提升计算效率的效果。
[0072]
将通过了se模块的图片输往panet结构，图片的特征层将通过自底向上的路径增强，通过自适应池化将各个特征层的特层提取并融合在一起，利用准确的低层定位信号增强整个特征层次，最终以用于实现物体检测。最后将通过panet网络的输出值进行解码，通过yolov4head结构也就是利用两层卷积操作输出得到原始网络输出；再原始网络输出的基础上预测生成先验框，生成网格以及预测框，进而缩小先验框。已进行了解码过程的图像将进行最后的过程；通过非极大值抑制，即利用设置好的置信度以及阈值加上训练集中的数据进行iou计算，删除大于阈值的候选框，直至候选框删尽，输出带有真实框的图片。
[0073]
本实施例的技术效果是:采用该基于深度学习的检测模型得到轨道扣件服役状态的特征,通过将正常检测模型输出的特征与正常特征库比对,识别轨道扣件是否发生故障；如果发生故障,再将各故障检测模型输出的特征与对应故障种类的特征库进行比对,识别轨道扣件的故障种类(如图4)。通过这一方式，实现了轨道扣件故障的自动化识别,实现了对轨道扣件服役状态检测的全覆盖,提高了故障识别精度。此外，采用自编码器作为检测模型对运行数据编码,在降维的同时能够分析运行数据间的关系,保留运行数据中的关键信息。
[0074]
在上述实施例和下述实施例的基础上,本实施例对各检测模型的训练过程进行细化。下面对检测模型细化进行说明。
[0075]
针对yolov4深度学习算法的优化系统
[0076]
12、mixup数据增强
[0077]
mixup数据增强数据增强算法是邻域风险最小化原则的实现方式之一(如图5)，能够缓解erm原则所带来的问题。在vrm中通过先验知识来构建每个训练样本周围的领域区域，然后可从训练样本的领域分布中获取额外的模拟样本来扩充数据集。例如，对于图像分类来说，通过将一个图片的领域定义为其经过平移、旋转、翻转、裁剪等变化之后的集合。mixup通过对图像数据及其标签进行线性插值来扩充数据集，还可以利用进行变化的图像与数据集中的数据进行比对，用于更好地识别目标；并且可利用超参数α来控制线性插值的强度。标签平滑将训练样本所属类别的概率分配给每一个类别，将标签由原来极端的独热编码转化为较平滑的形式，以减少在计算损失函数时样本真实标签所占权重。
[0078]
(1).传统yolov4选择用cutmix的增强方式，cutmix的处理方式也比较简单，同样也是对一对图片做操作，简单讲就是随机生成一个裁剪框box,裁剪掉a图的相应位置，然后用b图片相应位置的roi放到a图中被裁剪的区域形成新的样本，ground truth标签会根据patch的面积按比例进行调整，计算损失时同样采用加权求和的方式进行求解。而经过我们改良后的yolov4选择使用mixup数据增强，既可以做到增大数据集的作用，在后续对轨道扣件检测还能起到一定的帮助作用，可以更好地提高检测精度。
[0079]
(2).yolov4的mosaic数据增强是参考cutmix数据增强，理论上类似。区别在于mosaic是一种将4张训练图像合并成一张进行训练的数据增强方法(而不是cutmix中的2张)。这增强了对正常背景(context)之外的对象的检测，丰富检测物体的背景。此外，每个小批包含一个大的变化图像(4倍)，因此，减少了估计均值和方差的时需要大mini-batch的要求，降低了训练成本，
[0080]
(3).yolov4的mosaic数据增强是参考cutmix数据增强，理论上类似。区别在于mosaic是一种将4张训练图像合并成一张进行训练的数据增强方法(而不是cutmix中的2张)。这增强了对正常
[0081]
背景(context)之外的对象的检测，丰富检测物体的背景。此外，每个小批包含一个大的变化图像(4倍)，因此，减少了估计均值和方差的时需要大mini-batch的要求，降低了训练成本。
[0082]
(4)n中的数据增强
[0083]
卷积神经网络需要优化提高深度学习模型泛化能力的最好办法是使用更多的数据进行训.当然，在实践中，拥有的数据量是有限的。解决这一问题的一种方法是创建假数据并添加到训练集中。数据增强对对象识别这一类问题特别有效。因为图像是高维的并包括各种巨大的变化因素，其中有许多可以轻易地模拟。即使模型已经使用了卷积和池化技术对部分评议保持不变，沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。
[0084]
通常有下面这些数据增强方法:
[0085]
(1).颜的数据增强:彩的饱和度、对比度和亮度等方面。
[0086]
(2).pca jittering，首先按照rgb三个颜通道计算均值和标准差，对网络的输入数据进行规范化，在整个训练集上计算协方差矩阵，进行特征分解，得到特征向量和特征值，用来做pca jittering。
[0087]
(3).在图像进行裁剪和缩放时，可以使用随机的图像差值方式。
[0088]
(4).crop sampling，就是怎么从原始图像中进行缩放裁剪获得网络的输入。比较常用的有二种方法:一种是使用scale jittering，vgg和res net模型的训练都用了这种方法；另一种是尺度和长宽比增强变换，最早是google提出训练它们的inception网络的。针对样本数较少和样本相似度较高等问题，文中采用如下预处理方法:
[0089]
(1).对数据进行镜面对称增强数据集:分为左右和上下对称，这样将会使数据集数量翻两番。
[0090]
(2).对于刮痕这一个系列的数据集，因为它的主要语义只占全部图像的10％左右，且大部分集中在中部区域，所以为了突出特征，进行了背景分割。
[0091]
(3).对通过变换的图像进行pca处理:首先根据rgb三对样本阵元进行如下标准化，变换通道计算均值和标准差，对网络的输入数据进行规范化。
[0092]
随后在整个训练集上计算协方差矩阵。
[0093][0094]
解相关矩阵r的特征方程|r－λip|＝0得到p个特征根，确定主成分的每个λj，j＝1，2，
…
，m，解方程组rb＝λjb得到单位特征向量b0j，j＝1，2，
…
，m，将标准化后的指标变量变换为主成分。
[0095][0096]
将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的pca保留的特征个数取出映射矩阵的前n行或者前n列作为最终的映射矩阵，用映射矩阵对
原始数据进行映射，达到数据降维的目的。
[0097]
(4).图像锐化：图像锐化在原理上和图像增强相同，都是利用灰度跳跃，图像锐化主要是对图像边缘的检测，利用边缘处的灰度跳跃对边缘进行锐化(如图7)，从而突显出图像的边缘信息。而直方图灰度修正是包括直方图均衡化和直方图规定化，其中直方图均衡化是将原始图像中的灰度值均匀分布在更多的灰度级上，使得图像整体对比度加大。
[0098]
13、mobilenetv2网络轻量化网络轻量化
[0099]
(1).轻量化网络模型
[0100]
squeezenet轻量化网络网络借鉴了inception网络的设计思想，通过fire module基本模块实现squeezenet网络的构建。fire mod-ule中主要包含了squeeze层和expand层，其中squeeze层采用1*1的卷积核来减少参数量，ex-pand层则采用1*1和3*3卷积核分别得到对应特征图后进行拼接，由此得到fire module的输出。利用卷积层fire module和池化层构建的squeezenet模型大小只有4.8mb，却在imagenet上达到了相比alexnet略优的57.5％的top-1分类精度。该结构中采用通道数减半的两层squeeze层对输入进行处理，然后通过3*1和1*3搭配的低秩卷积核进行卷积，之后利用一个卷积层实现数据维度匹配。此外，squeezenext借鉴resnet网络结构思想实现了shortcut连接，并通过硬件实验指导网络设计，其参数量相比squeezenet有了明显降低，但却实现了高达69.8％的top-1分类精度。
[0101]
(2).mobilenet v1与mobilenet v2
[0102]
mobilenetv2神经网络是轻量化卷积神经网络中的表现较为优秀的网络，模型重新定义卷积方式并创新性的提出倒残差模块，在保障准确率的同时有效降低网络计算量和参数存储空间，且已经在人脸识别图像分类等方面取得了优秀的成果。mobilenet v1轻量化网络使用了深度可分离卷积结构代替传统卷积结构(如图8)，将传统卷积结构中n个dk
′
dk
′
c卷积核分解为c个dk
′
dk
′
1和n个1
′1′
c卷积核叠加的形式，其结构图如图所示，通过该方法可使卷积操作运算量降低为原有的1/8～1/9。于此同时，通过引入时间因子α和分辨率因子ρ进一步降低模型参数量，最终mobilenet v1参数量约为4.2m，且在imagenet数据集上实现了70.6％的top-1分类精度。mobilenet v2轻量化网络最大的特点是引入了反向残差和线性瓶颈结构(如图8)，其不同于常规残差结构“压缩—卷积—扩张”过程，而是采用“扩张—卷积—压缩”的反向式操作，充分利用深度可分离卷积可有效降低中间卷积运算计算量的优势来保证算法性能，且通过去掉relu来避免信息损失。mobilenetv2的参数量约为6.9m，其在imagenet数据集上实现了74.7％的top-1分类精度。
[0103]
(3).shufflenet v1与shufflenet v2
[0104]
shuf-flenet v1对常规残差结构进行了改进，将与输入特征图相连的第一个1
′
1卷积层替换为分组卷积，并利用channel shuffle操作对分组卷积各组输出结果进行信息交互，以此实现在降低运算量的情况下保证网络性能，shufflenet v1最终在imagenet数据集上实现了73.7％的top-1分类精度。最终shufflenet v2在imagenet数据集上实现了74.9％的top-1分类精度。
[0105]
1.轻量化目标检测算法
[0106]
为了满足嵌入式系统等资源受限平台的使用需求，研究人员基于r-cnn、yolo、ssd等原始算法，结合各种轻量化网络模型，通过采用巧妙的融合策略与算法改进，提出了一系列兼具目标检测精度和实时性的轻量化目标检测算法，其中最具代表性的仍是以r-cnn、
yolo、ssd系列为代表的轻量化目标检测算法。基于卷积神经网络的扣件目标检测算法以其优异的性能已成为当前扣件目标检测任务的主要解决方案。
[0107]
mobilenetv2板块起到将输入的图像以压缩表示的方法从低纬扩展到高纬，再使用轻量级深度卷积做过滤，最后用linear convolution将特征投回至低维表示，此过程对图像起到提取卷积层的作用。同时因为使用了压缩表示等方法，更好的降低了对高性能设备的依赖性，真正的实现了网络轻量化的目
[0108]
14、se模块注意力增强
[0109]
(1)、在解码器端的注意力机制：能够根据模型目标有效的聚焦编码器的输出结果，当其作为解码器的输入时提升效果，改善以往编码器输出是单一定长张量，无法存储过多信息的情况。
[0110]
在编码器端的注意力机制：主要解决表征问题，相当于特征提取过程，得到输入的注意力表示。
[0111]
(2)、注意力机制实现步骤：
[0112]
第一步：根据注意力计算规则，对q，k，v进行相应的计算；第二步：根据第一步采用的计算方法，如果是拼接方法，则需要将q与第二步的计算结果再进行拼接，如果是转置点积一般是自注意力，q与v相同，则不需要进行与q的拼接；第三步：最后为了使整个attention机制按照指定尺寸输出，使用线性层作用在第二步的结果上做个线性变换，得到最终对q的注意力表示。
[0113]
基于特征融合注意力机制的扣件定位算法：在扣件缺陷检测系统中，扣件区域定位是实现扣件缺陷类型识别的必要先行步骤，高精度的扣件区域定位可有效减少冗余背景信息对扣件缺陷分类准确率的影响。基于计算机视觉的扣件区域定位方法作为一种高效的非接触式方法，与物理方法相比具有更高的经济效益，同时可以避免对轨道产生不良影响。
[0114]
针对上述现有方法存在的问题，结合扣件单一尺度小目标的特性，使用了一种基于特征融合注意力机制扣件定位算法，具体包括：
[0115]
(1).采用了一种基于中心点检测的目标检测框架作为扣件定位网络的主体框架，该框架通过将扣件视为一个中心点而非目标框来实现定位，因此无需依赖nms算法过滤重叠框的操作，一定程度上可以提高定位速度；
[0116]
(2).采用了一种轻量的沙漏结构网络作为特征提取网络，通过先下采样再上采样的操作提取到语义丰富的高分辨特征，使扣件边框预测网络能够在大分辨率特征上实现精准的预测，且轻量的结构可以大幅提升定位速度。同时设计了一种特征融合注意力模块，通过引入跳跃连接和混合注意力模块融合下采样和上采样层中具有相同分辨率的特征，辅助上采样层提取到更多利于定位的空间细节信息，进一步改善网络提取特征的能力，使其在高分辨率特征上实现更加精准的预测；
[0117]
(3).采用了一种基于先验知识的缺失扣件匹配后处理算法来定位缺失扣件。
[0118]
15、特征融合注意力机制扣件定位网络
[0119]
基于特征融合注意力机制扣件定位网络结构分为以下特征(如图9)：
[0120]
提取和扣件边框预测两个部分，特征提取部分是本章所设计的一种轻量的沙漏结构网络。
[0121]
边框预测部分采用了同centernet一样的设计，该网络可以实现端到端的优化。
[0122]
16、特征融合注意力模块消融
[0123]
验证特征融合注意力模块(如表10)在提高扣件定位精度上的有效性
[0124]
17、图像描述生成
[0125]
图像描述生成是输入一幅图像，输出这幅图像对应的描述。图像描述生成也是采用“编码-解码”的方式进行。编码器为一个卷积网络，提取图像的高层特征，表示为一个编码向量；解码器为一个循环神经网络语言模型，初始输入为编码向量，生成图像的描述文本。在图像描述生成的任务中，同样存在编码容量瓶颈以及长距离依赖这两个问题，因此也可以利用注意力机制来有效地选择信息。在生成描述的每一个单词时，循环神经网络的输入除了前一个词的信息，还有利用注意力机制来选择一些来自于图像的相关信息。
[0126]
18、图像分类
[0127]
图像分类指的是根据某种算法判定输入的图像的类别，一般的图像分类步骤包括：图像预处理、图像特征提取和图像类别判定。卷积神经网络模仿了生物的视知觉机制，解决了传统人工提取特征的繁琐工程，实现了从数据中自动地提取特征。
[0128]
19、不同作用域的注意力模型
[0129]
按注意力作用在特征图上的维度可以分为：通道域注意力、空间域注意力、卷积域注意力和混合域注意力。前两种cnn注意力模型主要关注了特征图上的某一个维度，学习这一维度上的元素之间的关系。通道域注意力模型捕获了通道间的不同特征表示之间的关系，学习了通道上的注意力权重，然后依据注意力权重判断通道上特征的重要程度，从而关注更具代表性的特征，提高网络分类性能。压缩激活网络通过向cnn基础网络中加入一个se模块，利用cnn中的通道依赖性建模通道间的相互依赖关系，自适应的校准通道的特征响应。输入的特征图c
×h×
w经过一个全局平均池化和两层全连接后由sigmoid激活函数激活，输出一个1
×1×
c范围在[0,1]的通道权重，最后与特征图相乘实现增强重要特征，削弱不重要的特征，使特征提取具有更强的指向性。与通道域注意力模型相似，空间域注意力模型学习了特征图空间像素之间的关系，区别在于通道域注意力模型更关注特征的不同表示，而空间域注意力模型更关注空间像素之间的长距离依赖，强化空间上的关键信息(如图11)。如non-local通过对通道域进行压缩获取特征图的空间特征，然后对空间特征进行softmax归一化得到空间域权重，最后与原特征图相乘得具有空间域注意力的特征图。空间转换网络引入空间注意力，基于图像信息去学习一个空间变换矩阵，经过空间变换后生成的图像局部重要信息可以更好地被卷积框提取出来，从而使网络更关注这个图像局部信息。空间转换机制设计了定位网络、网格生成器和采样器三个部分。定位网络将图片信息转换为空间转换参数，网格生成器根据空间转换参数学习构建一个采样网格，最后由采样器基于特征图和采样网格生成新特征图。
[0130]
20、数据传输方式，判断损坏扣件位置的识别判断系统
[0131]
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案。

技术特征：

1.一种基于深度学习的车载式轨道扣件服役状态检测器，其特征在于，包括：轨道车辆与工装构架的连接方式、通过高速摄影识别技术对轨道扣件服役状态的数据获取装置、将获取数据传输至检测系统的传输装置、获取数据后承载深度学习模型检测的处理系统、将检测系统启动与输入结合并接入司控室的接入装置。2.根据权利要求1所述的装置，其特征在于，能够满足连接在轨道列车头部下方，其装置包含连架杆、夜视光源、ccd高速摄影相机、数据处理装置。连架杆处于装置总体中心，用于连接左右两侧对称的两组装置；连架杆右侧连接检测数据处理装置外壳，内含数据处理硬件芯片以及数据传输线路，外壳通过焊接技术连接固定；外壳前方固定有连接固定ccd相机的表面保护装置，内部存在ccd相机并且固定好后预留相机拍摄孔和相机固定卡槽，相机孔朝下对应轨道单侧轨道左方扣件；数据处理装置外壳右侧为连接轨道列车车底螺栓，呈对称分布四处；连接装置右侧为夜视光源，可根据不同类型光源调整固定底座或卡槽。3.根据权利要求1所述的装置，其特征在于，把图像像素转换成数字信号的高速摄影装置，满足超过轨道高速列车运行速度的帧率，例如列车速度为380km/h，轨道扣件分布为1920个/km，检测速度应超过3.38个/s。4.根据权利要求1所述的装置，其特征在于，能够将数据处理装置与整个设备启停控制器接入至司控室主机，随时控制装置开启和关闭，能够从司控室接收数据处理结果并传导至任意连接机器内。5.根据权利要求1所述的装置，其特征在于，能够利用传输线路将数据传输至总处理系统，一端连接ccd高速相机直接获取数字信号数据，并通过视频线等传输线路传导至数据处理装置的内部进行数据预处理和对比。6.一种电子设备，其特征在于，包括：一个或多个处理器；存储器,用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的基于深度学习的轨道扣件服役状态异常识别方法。7.一种基于深度学习算法的扣件服役状态故障识别系统，其特征在于，包括：mixup数据增强、mobilenetv2网络轻量化、spp结构、se注意力机制板块、panet结构。8.根据权利要求7所述结构，其特征在于，能将输入的图像数据通过mixup数据增强，将采集到的图像数据进行翻转、平移、旋转、裁剪，提升数据的多样性，以实现增加训练的数据量，提高模型的泛化能力；同时，在检测数据时，由于mixup数据增强的作用，使得图像数据可以更好地体现被检测的特征，以便实现更加精准的检测。9.根据权利要求7所述结构，其特征在于，能够通过低纬压缩表示的方法从低纬扩展到高纬，使用轻量级深度卷积做过滤，最后用linear convolution将特征投回低维表示，此过程可实现对设备性能的低要求，以达到网络轻量化的目的。10.根据权利要求7所述结构，其特征在于，能够在进行了深度卷积的卷积层上提取特征，再通过空间金字塔池化以实现提取固定大小特征，最后输出固定大小的特征向量。11.根据权利要求7所述结构，其特征在于，先对输入的特征图进行全局池化，将特征图变成1
×1×
通道数，然后全连接层和激活函数，对1
×1×
通道数的特征图进行调整，变成每一个特征图的权重，然后与输入的特征进行相乘。12.根据权利要求7所述结构，其特征在于，通过自底向上的路径增强，利用准确的低层定位信号增强整个特征层次，从而缩短了低层与顶层特征之间的信息路径。

技术总结

本发明实施例公开了一种基于深度学习的轨道扣件服役状态异常识别方法、设备和系统。其中，装置包括：利用工装构架将设备固定于轨道列车底部；通过高速摄影识别技术获取轨道扣件服役状态数据；利用视频线将所述服役状态数据传输至基于深度学习的检测系统；连接控制线路使其达到司控室可以控制启停和接收检测结果；方法包括:获取轨道扣件服役状态数据；将所述运行数据分别输入至多个故障检测模型和一正常检测模型中，所述多个故障检测模型和所述正常检测模型为基于深度学习的自编码器,所述多个故障检测模型分别用于编码得到轨道扣件不同故障种类和不同故障种类组合的特征，所述正常检测模型用于编码得到轨道扣件正常的特征；如果所述正常检测模型的输岀特征与正常特征库中的特征不匹配,将所述多个故障检测模型输岀的特征分别与对应故障种类或组合的特征库进行比对；根据比对结果识别轨道扣件的故障。本实施例員实现轨道扣件故障的自动化识别，提高识别精度。提高识别精度。提高识别精度。