铝材出料辅助转运设备及转运控制方法与流程

阅读：评论：0

1.本技术涉及铝材转运技术领域，且更为具体地，涉及一种铝材出料辅助转运设备及转运控制方法。

背景技术：

2.铝材由铝和其它合金元素制造的制品。通常是先加工成铸造品、锻造品以及箔、板、带、管、棒、型材等后，再经冷弯、锯切、钻孔、拼装、上等工序而制成。主要金属元素是铝，在加上一些合金元素，提高铝材的性能，铝材生产过程中需要对铝材进行转运。
3.现有的铝材转运时需要进行固定，现有转运装置的固定机构需要通过人工固定和拆卸，比较麻烦，且由于是人工固定，固定的力度不变，且为了防止铝材变形，一般固定力度不会太大，当出现滑落的趋势时，不能自动增加固定力度，使得铝材掉落，造成铝材和地面的损伤，甚至可能造成机器的损伤和人员伤亡。
4.因此，期待一种具有转运稳定检测功能的铝材生产用出料转运装置，以在检测到有掉落风险时产生警示信号。

技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种铝材出料辅助转运设备及转运控制方法，其从由监控摄像头采集的转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，并计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，然后，使用卷积神经网络模型对所述第一重心数据的序列、所述第二重心数据的序列和所述重心差值的序列进行适当编码，并通过分类器进行解码以得到用于表示是否产生存在掉落风险的预警提示的分类结果，通过这样的方式，能够准确的在铝材存在掉落风险时进行预警，以避免所述铝材在转运过程中掉落，保证所述铝材的正常转运和加工。
6.根据本技术的一个方面，提供了一种铝材出料辅助转运设备，其包括：转运监控视频采集模块，用于获取由监控摄像头采集的转运监控视频；重心数据提取模块，用于从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；重心差异模块，用于计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；重心变化特征提取模块，用于将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；绝对重心特征提取模块，用于将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；第一转移模块，用于计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；第二转移模块，用于计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；特征校正模块，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第
一转移矩阵和校正后第二转移矩阵；信息融合模块，用于融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及转运风险提示模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
7.根据本技术的另一方面，提供了一种铝材出料辅助转运控制方法，其包括：获取由监控摄像头采集的转运监控视频；从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
8.与现有技术相比，本技术提供的一种铝材出料辅助转运设备及转运控制方法，其从由监控摄像头采集的转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，并计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，然后，使用卷积神经网络模型对所述第一重心数据的序列、所述第二重心数据的序列和所述重心差值的序列进行适当编码，并通过分类器进行解码以得到用于表示是否产生存在掉落风险的预警提示的分类结果，通过这样的方式，能够准确的在铝材存在掉落风险时进行预警，以避免所述铝材在转运过程中掉落，保证所述铝材的正常转运和加工。
附图说明
9.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
10.图1图示了根据本技术实施例的铝材出料辅助转运设备的应用场景图。
11.图2图示了根据本技术实施例的铝材出料辅助转运设备的框图示意图。
12.图3图示了根据本技术实施例的铝材出料辅助转运设备中重心变化特征提取模块的框图。
13.图4图示了根据本技术实施例的铝材出料辅助转运设备中绝对重心特征提取模块的框图。
14.图5图示了根据本技术实施例的铝材出料辅助转运控制方法的流程图。
15.图6图示了根据本技术实施例的铝材出料辅助转运控制方法的系统架构的示意
图。
具体实施方式
16.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
17.场景概述如上所述，本技术发明人考虑到在对于铝材进行转运时，固定装置由于为了防止铝材变形而对于铝材的固定力度不会太大，这就很容易会导致铝材的掉落，因此就需要在铝材的生产出料转运时对于铝材转运的稳定性进行实时监测以防止铝材掉落。本技术发明人还发现在铝材的转运过程中，当发生铝材的位置偏移从而导致其有掉落风险时，所述铝材在时间维度上的运动特征或所述转运机构在时间维度上的运动特征会发生变化，并且所述铝材和所述转运机构的相对位置关系也会发生变化。因此，在本技术的技术方案中，期望通过综合所述铝材和所述转运机构的相对运动信息特征、所述转运机构的绝对运动信息特征和所述铝材的绝对运行信息特征来进行所述铝材的转运稳定性判断，以保证所述铝材的安全转运。
18.具体地，在本技术的技术方案中，首先，考虑到所述铝材和所述转运机构的运动状态特征都可以通过监控视频来进行提取，因此通过监控摄像头采集铝材转运的监控视频。应可以理解，对于所述铝材转运的监控视频来说，为了更好地表征所述铝材和所述转运机构中的固定机构的运动特征，选择各自的重心为参考点来进行数据的运动特征挖掘。也就是，具体地，进一步从所述转运监控视频中分别提取所述固定机构和所述铝材在各个时间点上的重心数据，以得到固定机构的第一重心数据的序列和铝材的第二重心数据的序列，这里，所述固定机构用于固定所述铝材。
19.然后，为了描述在所述监控视频的预定时间段内的所述固定机构和所述铝材的相对位置运行关系的动态特征信息，首先，进一步计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列。
20.应可以理解，由于所述固定机构和所述铝材在所述监控视频的预定时间段内具有着动态性的运动规律，因此，为了能够充分地提取出在时间维度上的所述固定机构的绝对运动隐含关联特征、所述铝材的绝对运动隐含关联特征以及所述铝材和所述固定机构的相对运动隐含关联特征，进一步使用包含一维卷积层的时序编码器来对于所述重心差值的序列、所述第一重心数据的序列和所述第二重心数据的序列分别进行编码，从而能够分别提取出所述固定机构、所述铝材的运动特征在时序维度上的动态变化特征，以及所述铝材和所述固定机构的相对运动特征在时序维度上的动态变化特征，以得到第一特征向量、第二特征向量和第三特征向量。
21.进一步地，考虑到由于所述固定机构的绝对运动特征和所述铝材的绝对运行特征都与所述铝材和固定机构的相对运动特征之间存在着关联关系，例如当所述铝材和固定机构的相对运动特征发生变化时，那么所述固定机构的绝对运动特征或所述铝材的绝对运行特征也会发生变化，因此若仅通过简单的加和的方式进行特征的融合，那么就会使得融合后的特征在高维特征空间中的特征分布流形变得非常复杂和不规则。因此，进一步计算所
述第一特征向量相对于所述第二特征向量的第一转移矩阵，并计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵。
22.特别地，在本技术的技术方案中，由于所述第一特征向量作为重心差值序列的时序关联特征，所述第一特征向量相对于所述第二特征向量的第一转移矩阵和所述第一特征向量相对于所述第三特征向量的第二转移矩阵会被约束在特征分布上的不同方向，也就是，所述第一转移矩阵和所述第二转移矩阵存在各向异性，这体现为所述第一转移矩阵和所述第二转移矩阵的高维特征表达分别驻留在整个高维特征空间的一个狭窄子集中，导致在融合所述第一转移矩阵和所述第二转移矩阵进行分类时，融合后的特征表达的缺乏连续性会造成分类问题的解空间退化，从而影响分类效果。
23.因此，优选地在融合所述第一转移矩阵和所述第二转移矩阵之前，首先对其进行同向优化，具体为：其中和分别是所述第一转移矩阵和所述第二转移矩阵，和分别是其位置的特征值，且为超参数，具体可以设置为所述第一转移矩阵和所述第二转移矩阵之间的距离。
24.这里，通过所述第一转移矩阵和所述第二转移矩阵基于对比搜索空间进行同向优化，可以将优化后的所述第一转移矩阵和所述第二转移矩阵映射到各向同性且有区分度的表示空间，这将改进了融合后的特征表达的连续性，从而抑制分类问题的解空间退化，提高了分类效果。这样，能够提高对于所述铝材存在掉落风险预警的准确性，以避免所述铝材在转运过程中掉落，保证所述铝材的正常转运和加工。
25.然后，在得到校正后的第一转移矩阵和第二转移矩阵后，进一步融合所述校正后第一转移矩阵和所述校正后第二转移矩阵来进行分类，以得到用于表示是否产生存在掉落风险的预警提示的分类结果。
26.基于此，本技术提供了一种铝材出料辅助转运设备，其包括：转运监控视频采集模块，用于获取由监控摄像头采集的转运监控视频；重心数据提取模块，用于从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；重心差异模块，用于计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；重心变化特征提取模块，用于将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；绝对重心特征提取模块，用于将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；第一转移模块，用于计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；第二转移模块，用于计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；特
征校正模块，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；信息融合模块，用于融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及，转运风险提示模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
27.图1图示了根据本技术实施例的铝材出料辅助转运设备的应用场景图。如图1所示，在该应用场景中，首先，通过部署于铝材出料辅助转运设备旁边的监控摄像头（例如，如图1中所示意的c）采集铝材（例如，如图1中所示意的m）的转运监控视频，其中，所述铝材出料辅助转运设备具有用于固定所述铝材的固定机构（例如，如图1中所示意的g）。然后，将采集的所述转运监控视频输入至部署有铝材出料辅助转运控制算法的服务器中（例如，图1中所示意的s），其中，所述服务器能够使用所述铝材出料辅助转运控制算法对所述转运监控视频进行处理以生成用于表示是否产生存在掉落风险的预警提示的预警结果。
28.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
29.示例性系统图2图示了根据本技术实施例的铝材出料辅助转运设备的框图示意图。如图2所示，根据本技术实施例的所述铝材出料辅助转运设备100，包括：转运监控视频采集模块110，用于获取由监控摄像头采集的转运监控视频；重心数据提取模块120，用于从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；重心差异模块130，用于计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；重心变化特征提取模块140，用于将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；绝对重心特征提取模块150，用于将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；第一转移模块160，用于计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；第二转移模块170，用于计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；特征校正模块180，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；信息融合模块190，用于融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及，转运风险提示模块200，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
30.在本技术实施例中，所述转运监控视频采集模块110，用于获取由监控摄像头采集的转运监控视频。如上所述，本技术发明人考虑到在对于铝材进行转运时，固定装置由于为了防止铝材变形而对于铝材的固定力度不会太大，这就很容易会导致铝材的掉落，因此就需要在铝材的生产出料转运时对于铝材转运的稳定性进行实时监测以防止铝材掉落。本技术发明人还发现在铝材的转运过程中，当发生铝材的位置偏移从而导致其有掉落风险时，所述铝材在时间维度上的运动特征或所述转运机构在时间维度上的运动特征会发生变化，并且所述铝材和所述转运机构的相对位置关系也会发生变化。因此，在本技术的技术方案
中，期望通过综合所述铝材和所述转运机构的相对运动信息特征、所述转运机构的绝对运动信息特征和所述铝材的绝对运行信息特征来进行所述铝材的转运稳定性判断，以保证所述铝材的安全转运。
31.在本技术的技术方案中，考虑到所述铝材和所述转运机构的运动状态特征都可以通过监控视频来进行提取，因此通过监控摄像头采集铝材转运的监控视频。
32.在本技术一个具体的实施例中，通过部署于铝材出料辅助转运设备旁边的监控摄像头采集铝材的转运监控视频，其中，所述铝材出料辅助转运设备具有用于固定所述铝材的固定机构。
33.在本技术实施例中，所述重心数据提取模块120，用于从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材。应可以理解，对于所述铝材转运的监控视频来说，为了更好地表征所述铝材和所述转运机构中的固定机构的运动特征，选择各自的重心为参考点来进行数据的运动特征挖掘。也就是，具体地，进一步从所述转运监控视频中分别提取所述固定机构和所述铝材在各个时间点上的重心数据，以得到固定机构的第一重心数据的序列和铝材的第二重心数据的序列，这里，所述固定机构用于固定所述铝材。
34.在本技术实施例中，所述重心差异模块130，用于计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列。应可以理解，为了描述在所述监控视频的预定时间段内的所述固定机构和所述铝材的相对位置运行关系的动态特征信息，进一步计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列。
35.在本技术一个具体的实施例中，所述重心差异模块130，进一步用于：以如下公式计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到所述重心差值的序列；其中，所述公式为：其中，表示所述第一重心数据的序列，表示所述第二重心数据的序列，表示所述重心差值的序列，表示重心序列中各个对应时间点的重心数据之间的按位置减法。
36.在本技术实施例中，所述重心变化特征提取模块140和所述绝对重心特征提取模块150，用于将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量，并将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量。应可以理解，由于所述固定机构和所述铝材在所述监控视频的预定时间段内具有着动态性的运动规律，因此，为了能够充分地提取出在时间维度上的所述固定机构的绝对运动隐含关联特征、所述铝材的绝对运动隐含关联特征以及所述铝材和所述固定机构的相对运动隐含关联特征，进一步使用包含一维卷积层的时序编码器来对于所述重心差值的序列、所述第一重心数据的序列和所述第二重心数据的序列分别进行编码，从而能够分别提取出所述固定机构、所述铝材的运动特征在时序维度上的动态变化特征，以及所述铝材和所述固定机构的相对运动特征在时序维度上的动态变化特征，以得到所述第一特征向量、所述第二特征向量和所述第三特征向量。
37.图3图示了根据本技术实施例的铝材出料辅助转运设备中重心变化特征提取模块的框图。如图3所示，在本技术一个具体的实施例中，所述重心变化特征提取模块140，包括：排列单元141，用于将所述重心差值的序列排列为重心差输入向量；全连接单元142，用于使用所述时序编码器的全连接层以如下公式对所述重心差输入向量进行全连接编码以提取出所述重心差输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：，其中是所述重心差输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及，一维卷积单元143，用于使用所述时序编码器的一维卷积层以如下公式对所述重心差输入向量进行一维卷积编码以提取出所述重心差输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述重心差输入向量。
38.图4图示了根据本技术实施例的铝材出料辅助转运设备中绝对重心特征提取模块的框图。在本技术一个具体的实施例中，所述绝对重心特征提取模块150，包括：重心数据排列单元151，用于将所述第一重心数据的序列和所述第二重心数据的序列分别排列为第一重心输入向量和第二重心输入向量；全连接编码单元152，用于使用所述时序编码器的全连接层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行全连接编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：，其中是所述第一重心输入向量和所述第二重心输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及，一维卷积编码单元153，用于使用所述时序编码器的一维卷积层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行一维卷积编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述第一重心输入向量和所述第二重心输入向量。
39.在本技术实施例中，所述第一转移模块160和所述第二转移模块170，用于计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵，并计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵。应可以理解，考虑到由于所述固定机构的绝对运动特征和所述铝材的绝对运行特征都与所述铝材和固定机构的相对运动特征之间存在着关联关系，例如当所述铝材和固定机构的相对运动特征发生变化时，那么所述固定机构的绝对运动特征或所述铝材的绝对运行特征也会发生变化，因此若仅通过简单的加和的方式进行特征的融合，那么就会使得融合后的特征在高维特征空间中的特征分布流形变得非常复杂和不规则。因此，进一步计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵，并计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵。
40.在本技术一个具体的实施例中，所述第一转移模块160，进一步用于：以如下公式计算所述第一特征向量相对于所述第二特征向量的所述第一转移矩阵；其中，所述公式为：=*其中表示所述第一特征向量，表示所述第二特征向量，表示所述第一转移矩阵；所述第二转移模块170，进一步用于：以如下公式计算所述第一特征向量相对于所述第三特征向量的所述第二转移矩阵；其中，所述公式为：=*，其中表示所述第一特征向量，表示所述第三特征向量，表示所述第二转移矩阵。
41.特别地，在本技术的技术方案中，由于所述第一特征向量作为重心差值序列的时序关联特征，所述第一特征向量相对于所述第二特征向量的第一转移矩阵和所述第一特征向量相对于所述第三特征向量的第二转移矩阵会被约束在特征分布上的不同方向，也就是，所述第一转移矩阵和所述第二转移矩阵存在各向异性，这体现为所述第一转移矩阵和所述第二转移矩阵的高维特征表达分别驻留在整个高维特征空间的一个狭窄子集中，导致在融合所述第一转移矩阵和所述第二转移矩阵进行分类时，融合后的特征表达的缺乏连续性会造成分类问题的解空间退化，从而影响分类效果。因此，优选地在融合所述第一转移矩阵和所述第二转移矩阵之前，首先对其进行同向优化。
42.在本技术实施例中，所述特征校正模块180，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵。
43.在本技术一个具体的实施例中，所述特征校正模块，包括：第一校正单元，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第一转移矩阵进行特征值校正以得到所述校正后第一转移矩阵；其中，所述公式为：其中，表示所述第二转移矩阵，和分别表示所述第一转移矩阵和所述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，且为超参数；第二校正单元，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第二转移矩阵进行特征值校正以得到所述校正后第二转移矩阵；其中，所述公式为：其中，分别表示所述第一转移矩阵，和分别表示所述第一转移矩阵和所述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转
移矩阵中相应位置之间的距离，且为超参数。
44.这里，通过所述第一转移矩阵和所述第二转移矩阵基于对比搜索空间进行同向优化，可以将优化后的所述第一转移矩阵和所述第二转移矩阵映射到各向同性且有区分度的表示空间，这将改进了融合后的特征表达的连续性，从而抑制分类问题的解空间退化，提高了分类效果。这样，能够提高对于所述铝材存在掉落风险预警的准确性，以避免所述铝材在转运过程中掉落，保证所述铝材的正常转运和加工。
45.在本技术实施例中，所述信息融合模块190，用于融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵。也就是将所述铝材和所述转运机构的相对运动信息特征、所述转运机构的绝对运动信息特征和所述铝材的绝对运行信息特征进行融合，以提高分类特征矩阵的表征能力，从而提高设备对所述铝材的转运稳定性判断的准确性。
46.在本技术一个具体的实施例中，所述信息融合模块，进一步用于：以如下公式融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到所述分类特征矩阵；其中，所述公式为：，其中，为所述分类特征矩阵，为所述校正后第一转移矩阵，为所述校正后第二转移矩阵，为用于控制所述分类特征矩阵中所述校正后第一转移矩阵和所述校正后第二转移矩阵之间的平衡的加权参数，表示矩阵的按位置加法。
47.在本技术实施例中，所述转运风险提示模块200，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
48.在本技术一个具体的实施例中，所述转运风险提示模块，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：，其中表示将所述分类特征矩阵投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
[0049] 综上，基于本技术实施例的所述铝材出料辅助转运设备，其从由监控摄像头采集的转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，并计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，然后，使用卷积神经网络模型对所述第一重心数据的序列、所述第二重心数据的序列和所述重心差值的序列进行适当编码，并通过分类器进行解码以得到用于表示是否产生存在掉落风险的预警提示的分类结果，通过这样的方式，能够准确的在铝材存在掉落风险时进行预警，以避免所述铝材在转运过程中掉落，保证所述铝材的正常转运和加工。
[0050]
示例性方法图5图示了根据本技术实施例的铝材出料辅助转运控制方法的流程图。如图5所示，根据本技术实施例的所述铝材出料辅助转运控制方法，包括：s110，获取由监控摄像头采集的转运监控视频；s120，从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；s130，计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；s140，将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；s150，将所述第一重心数据的序列和所述第二重心数据的序列分别
通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；s160，计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；s170，计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；s180，基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；s190，融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及，s200，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
[0051]
图6图示了根据本技术实施例的铝材出料辅助转运控制方法的系统架构的示意图。如图6所示，在本技术实施例的所述铝材出料辅助转运控制方法的系统架构中，首先，获取由监控摄像头采集的转运监控视频，并从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列。然后，计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，并将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量。同时，将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量。接着，计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵，并同时计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵。再然后，基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵。最后，融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵，并将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。
[0052]
在本技术一个具体的实施例中，所述计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，包括：以如下公式计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到所述重心差值的序列；其中，所述公式为：其中，表示所述第一重心数据的序列，表示所述第二重心数据的序列，表示所述重心差值的序列，表示重心序列中各个对应时间点的重心数据之间的按位置减法。
[0053]
在本技术一个具体的实施例中，所述将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量，包括：将所述重心差值的序列排列为重心差输入向量；使用所述时序编码器的全连接层以如下公式对所述重心差输入向量进行全连接编码以提取出所述重心差输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：，其中是所述重心差输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及，使用所述时序编码器的一维卷积层以如下公式对所述重心差输入向量进行一维卷积编码以提取出所述重心差输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述重心差输入向量。
[0054]
在本技术一个具体的实施例中，所述将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量，包括：将所述第一重心数据的序列和所述第二重心数据的序列分别排列为第一重心输入向量和第二重心输入向量；使用所述时序编码器的全连接层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行全连接编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：，其中是所述第一重心输入向量和所述第二重心输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及，使用所述时序编码器的一维卷积层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行一维卷积编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述第一重心输入向量和所述第二重心输入向量。
[0055]
在本技术一个具体的实施例中，所述计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵，包括：以如下公式计算所述第一特征向量相对于所述第二特征向量的所述第一转移矩阵；其中，所述公式为：=*其中表示所述第一特征向量，表示所述第二特征向量，表示所述第一转移矩阵；计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵，包括：以如下公式计算所述第一特征向量相对于所述第三特征向量的所述第二转移矩阵；其中，所述公式为：=*其中表示所述第一特征向量，表示所述第三特征向量，表示所述第二转移矩阵。
[0056]
在本技术一个具体的实施例中，所述基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵，包括：基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第一转移矩阵进行特征值校正以得到所述校正后第一转移矩阵；其中，所述公式为：
其中，表示所述第二转移矩阵，和分别表示所述第一转移矩阵和所述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，且为超参数；基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第二转移矩阵进行特征值校正以得到所述校正后第二转移矩阵；其中，所述公式为：其中，分别表示所述第一转移矩阵，和分别表示所述第一转移矩阵和所述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，且为超参数。
[0057]
这里，本领域技术人员可以理解，上述铝材出料辅助转运设备中的各个步骤的具体操作已经在上面参考图1到图4的铝材出料辅助转运控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

技术特征：

1.一种铝材出料辅助转运设备，其特征在于，包括：转运监控视频采集模块，用于获取由监控摄像头采集的转运监控视频；重心数据提取模块，用于从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；重心差异模块，用于计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；重心变化特征提取模块，用于将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；绝对重心特征提取模块，用于将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；第一转移模块，用于计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；第二转移模块，用于计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；特征校正模块，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；信息融合模块，用于融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及转运风险提示模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。2.根据权利要求1所述的铝材出料辅助转运设备，其特征在于，所述重心差异模块，进一步用于：以如下公式计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到所述重心差值的序列；其中，所述公式为：，其中，表示所述第一重心数据的序列，表示所述第二重心数据的序列，表示所述重心差值的序列，表示重心序列中各个对应时间点的重心数据之间的按位置减法。3.根据权利要求2所述的铝材出料辅助转运设备，其特征在于，所述重心变化特征提取模块，包括：排列单元，用于将所述重心差值的序列排列为重心差输入向量；全连接单元，用于使用所述时序编码器的全连接层以如下公式对所述重心差输入向量进行全连接编码以提取出所述重心差输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：，其中是所述重心差输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及一维卷积单元，用于使用所述时序编码器的一维卷积层以如下公式对所述重心差输入向量进行一维卷积编码以提取出所述重心差输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：，其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述重心差输入向量。4.根据权利要求3所述的铝材出料辅助转运设备，其特征在于，所述绝对重心特征提取模块，包括：重心数据排列单元，用于将所述第一重心数据的序列和所述第二重心数据的序列分别排列为第一重心输入向量和第二重心输入向量；全连接编码单元，用于使用所述时序编码器的全连接层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行全连接编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的
特征值的高维隐含特征，其中，所述公式为：，其中是所述第一重心输入向量和所述第二重心输入向量，是输出向量，是权重矩阵，是偏置向量，表示矩阵乘；以及，一维卷积编码单元，用于使用所述时序编码器的一维卷积层以如下公式对所述第一重心输入向量和所述第二重心输入向量进行一维卷积编码以分别提取出所述第一重心输入向量和所述第二重心输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：，其中，a为卷积核在x方向上的宽度、为卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，表示所述第一重心输入向量和所述第二重心输入向量。5.根据权利要求4所述的铝材出料辅助转运设备，其特征在于，所述第一转移模块，进一步用于：以如下公式计算所述第一特征向量相对于所述第二特征向量的所述第一转移矩阵；其中，所述公式为：=*，其中表示所述第一特征向量，表示所述第二特征向量，表示所述第一转移矩阵；所述第二转移模块，进一步用于：以如下公式计算所述第一特征向量相对于所述第三特征向量的所述第二转移矩阵；其中，所述公式为：=*，其中表示所述第一特征向量，表示所述第三特征向量，表示所述第二转移矩阵。6.根据权利要求5所述的铝材出料辅助转运设备，其特征在于，所述特征校正模块，包括：第一校正单元，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第一转移矩阵进行特征值校正以得到所述校正后第一转移矩阵；其中，所述公式为：其中，表示所述第二转移矩阵，和分别表示所述第一转移矩阵和所述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，且为超参数；第二校正单元，用于基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，对所述第二转移矩阵进行特征值校正以得到所述校正后第二转移矩阵；其中，所述公式为：其中，分别表示所述第一转移矩阵，和分别表示所述第一转移矩阵和所
述第二转移矩阵中位置的特征值，表示所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，且为超参数。7.根据权利要求6所述的铝材出料辅助转运设备，其特征在于，所述信息融合模块，进一步用于：以如下公式融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到所述分类特征矩阵；其中，所述公式为：，其中，为所述分类特征矩阵，为所述校正后第一转移矩阵，为所述校正后第二转移矩阵，为用于控制所述分类特征矩阵中所述校正后第一转移矩阵和所述校正后第二转移矩阵之间的平衡的加权参数，表示矩阵的按位置加法。8.根据权利要求7所述的铝材出料辅助转运设备，其特征在于，所述转运风险提示模块，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：，其中表示将所述分类特征矩阵投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。9.一种铝材出料辅助转运控制方法，其特征在于，包括：获取由监控摄像头采集的转运监控视频；从所述转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，其中，所述固定机构用于固定所述铝材；计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列；将所述重心差值的序列通过包含一维卷积层的时序编码器以得到第一特征向量；将所述第一重心数据的序列和所述第二重心数据的序列分别通过所述包含一维卷积层的时序编码器以得到第二特征向量和第三特征向量；计算所述第一特征向量相对于所述第二特征向量的第一转移矩阵；计算所述第一特征向量相对于所述第三特征向量的第二转移矩阵；基于所述第一转移矩阵和所述第二转移矩阵中相应位置之间的距离，分别对所述第一转移矩阵和所述第二转移矩阵进行特征值校正以得到校正后第一转移矩阵和校正后第二转移矩阵；融合所述校正后第一转移矩阵和所述校正后第二转移矩阵以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否产生存在掉落风险的预警提示。10.根据权利要求9所述的铝材出料辅助转运控制方法，其特征在于，所述计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，包括：以如下公式计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到所述重心差值的序列；其中，所述公式为：其中，表示所述第一重心数据的序列，表示所述第二重心数据的序列，表示所述重心差值的序列，表示重心序列中各个对应时间点的重心
数据之间的按位置减法。

技术总结

本申请涉及铝材转运技术领域，其具体地公开了一种铝材出料辅助转运设备及转运控制方法，其从由监控摄像头采集的转运监控视频中提取固定机构的第一重心数据的序列和铝材的第二重心数据的序列，并计算所述第一重心数据的序列和所述第二重心数据的序列中各个对应时间点的重心数据之间的差值以得到重心差值的序列，然后，使用卷积神经网络模型对所述第一重心数据的序列、所述第二重心数据的序列和所述重心差值的序列进行适当编码，并通过分类器进行解码以得到用于表示是否产生存在掉落风险的预警提示的分类结果，通过这样的方式，能够准确地在铝材存在掉落风险时进行预警，以避免铝材掉落。免铝材掉落。免铝材掉落。