基于自注意力机制的故障预测方法与流程

阅读：评论：0

1.本发明涉及故障预测技术领域，具体为基于自注意力机制的故障预测方法。

背景技术：

2.移动通信往往同时存在多种异常警报，不同警报之间会互相影响；某次异常警报转为故障时，也往往会受之前几次异常警报的影响。现有方法未能充分考虑上述两种影响，故障预测准确率不够高。
3.本发明提供一种基于注意力机制的移动通信故障预测方法，以下简称故障预测方法。该方法能够利用注意力机制关注到同一不同警告之间的影响以及前几次异常警报对本次是否转为故障的影响，提高故障预测准确率。
4.现有的方法利用机器学习中的关联规则方法对运行数据进行分析，所利用的关联规则方法都是无监督学习算法，无法充分利用数据的判别信息，因此预测准确率不高，无法大面积推广到实际应用场景中。
5.现有的基于人工智能技术的故障预测方法主要从两个角度来实现，第一，利用现场采集的图片进行分析，这类方法与本发明所提方法差异较大；第二，利用机器学习中关联规则的方法对运行数据进行分析，作出退服故障的预警：
6.王洋，满毅，陈志鹏：基于集中监控数据资源的4g退服故障预警模型，
7.该论文中对退服故障预警的方法步骤主要如下：
8.(1)分析网络监控数据资源，分别提取网络告警资源和性能数据资源；
9.(2)利用关联规则方法apriori算法和fp-growth算法觉数据资源中的信息；
10.(3)根据关联规则方法挖掘出的结果给出退服故障短期预警和长期预警；
11.(4)根据预警结果实现网络运维。
12.但是该退服故障预警的方法对故障预测的准确性较低，无法关注到同一不同警告之间的影响以及前几次异常警报对本次是否转为故障的影响，因此我们提出了一种基于自注意力机制的故障预测方法。

技术实现要素：

13.针对现有技术的不足，本发明提供了基于自注意力机制的故障预测方法，解决了上述背景技术中提出的问题。
14.为实现以上目的，本发明通过以下技术方案予以实现：基于自注意力机制的故障预测方法，包括数据预处理模块，故障预测系统以及模型训练系统，
15.所述数据预处理模块包括数据采集模块、服务器、数据库以及报警装置，所述模型训练系统包括全连接层、自注意力模块以及归一化；
16.还包括以下步骤，
17.s1：数据预处理：数据预处理模块把和故障相关的信息进行特征编码。和故障相关
的假设有时间和告警类型、告警等级等因素。时间分为月、日、时、分，月用12维向量表示，1月则第一个位置为1，其他位置为0，依次类推；日使用31维向量表示，编码方式与月相同；时用24维，分用60维，编码方式与月、日相同；
18.假设告警类型有10类，那么告警类型用10维向量表示，编码方式如上；假设告警等级有5级，那么告警等级用5维向量表示，编码方式如上，那么所有的向量串成一个向量，是一个12+31+24+60+10+5＝142维的向量，
19.s2：模型训练：将所有历史数据进行预处理后，进行模型训练，这里训练一个二分类任务，如果告警转故障，则标签为1，如果未转则标签未0，训练方式如下：输入为当天及前几天的故障相关特征向量，自注意力模块输入和输出向量之间的连接代表把输入加到输出上，全连接层的输入输出向量的连线也代表把输入加到输出上，
20.归一化操作为层归一化(layernorm)，具体计算为两步，第一步计算该向量各元素的均值和方差，第二步各个元素减去均值再除以方差，生成新的向量，最后一个自注意力模块，表示只需要生成当天相关的特征表示，并利用该特征经过全连接层得到是否转故障的概率，即一个二分类问题；
21.s3：模型部署：模型训练完成后，部署到故障预测系统，
22.s3.1：通过数据采集模块采集特征信息，包括时间、告警等级、告警类型，并传输给服务器；
23.s3.2：服务器接收采集的信息，转成特征向量，保存到数据库；从数据库读取历史信息用来输入到模型得到这次的预测结果；将预测结果发到警报装置进行报警。
24.优选的，所述数据库用于保存历史特征信息。
25.优选的，所述报警装置用于接收服务器指令进行报警。
26.本发明提供了基于自注意力机制的故障预测方法，具备以下有益效果：
27.1、该基于自注意力机制的故障预测方法，通过自注意力模块的使用，利用自注意力机制，在对当天故障预测的时候，考虑了的历史状态，有历史状态对当前状态的影响，提高了故障预测的准确性，该方法能够利用注意力机制关注到同一不同警告之间的影响以及前几次异常警报对本次是否转为故障的影响，提高故障预测准确率，满足大规模场景的应用需求。
附图说明
28.图1为本发明结构流程示意图；
29.图2为本发明模型训练设计的结构示意图；
30.图3为本发明自注意力模块中注意力机制的矩阵计算过程的结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
32.请参阅图1至图3，本发明提供技术方案：基于自注意力机制的故障预测方法，包括数据预处理模块，故障预测系统以及模型训练系统，
33.所述数据预处理模块包括数据采集模块、服务器、数据库以及报警装置，所述模型
训练系统包括全连接层、自注意力模块以及归一化；
34.还包括以下步骤，
35.步骤1：数据预处理：数据预处理模块把和故障相关的信息进行特征编码。和故障相关的假设有时间和告警类型、告警等级等因素，时间分为月、日、时、分，月用12维向量表示，1月则第一个位置为1，其他位置为0，依次类推；日使用31维向量表示，编码方式与月相同；时用24维，分用60维，编码方式与月、日相同；
36.假设告警类型有10类，那么告警类型用10维向量表示，编码方式如上；假设告警等级有5级，那么告警等级用5维向量表示，编码方式如上，那么所有的向量串成一个向量，是一个12+31+24+60+10+5＝142维的向量，
37.步骤2：模型训练：将所有历史数据进行预处理后，进行模型训练，这里训练一个二分类任务，如果告警转故障，则标签为1，如果未转则标签未0，训练方式请参阅图2，训练方式如下：其中，nx表示右侧框内的操作重复n次，比如6次，输入为当天及前几天的故障相关特征向量，自注意力模块输入和输出向量之间的连接代表把输入加到输出上，全连接层的输入输出向量的连线也代表把输入加到输出上，归一化操作为层归一化(layernorm)，具体计算为两步，第一步计算该向量各元素的均值和方差，第二步各个元素减去均值再除以方差，生成新的向量，最后一个自注意力模块，表示只需要生成当天相关的特征表示(可以考虑为生成了四个，但是我们只需要一个)，并利用该特征经过全连接层得到是否转故障的概率，即一个二分类问题；
38.自注意力模块的计算过程如以下所述：一个注意力机制模块，输入多个向量，输出多个向量，输出的每个向量，都考虑了输入的各个向量之间的关系。比如输入4个向量，输出4个向量，在输出第一个向量的时候，考虑了第1个向量和其他三个向量的关系，关系越紧密的，对生成第一个向量起的作用越大，
39.注意力机制的矩阵计算过程参阅图3：
40.其中i为输入向量组成的矩阵，o为输出向量组成的矩阵；a矩阵代表了向量之间的重要性，
41.利用自注意力机制，在对当天故障预测的时候，考虑了的历史状态，有历史状态对当前状态的影响，提高了故障预测的准确性，
42.步骤3：模型部署：模型训练完成后，部署到故障预测系统，
43.步骤3.1：通过数据采集模块采集特征信息，包括时间、告警等级、告警类型，并传输给服务器；
44.步骤3.2：服务器接收采集的信息，转成特征向量，保存到数据库；从数据库读取历史信息用来输入到模型得到这次的预测结果；将预测结果发到警报装置进行报警，该方法能够利用注意力机制关注到同一不同警告之间的影响以及前几次异常警报对本次是否转为故障的影响，提高故障预测准确率，满足大规模场景的应用需求。
45.其中，所述数据库用于保存历史特征信息。
46.其中，所述报警装置用于接收服务器指令进行报警。
47.综上所述，该基于自注意力机制的故障预测方法，使用时，数据预处理模块把和故障相关的信息进行特征编码，和故障相关的假设有时间和告警类型、告警等级等因素。时间分为月、日、时、分，月用12维向量表示，1月则第一个位置为1，其他位置为0，依次类推；
日使用31维向量表示，编码方式与月相同；时用24维，分用60维，编码方式与月、日相同；
48.假设告警类型有10类，那么告警类型用10维向量表示，编码方式如上；假设告警等级有5级，那么告警等级用5维向量表示，编码方式如上，那么所有的向量串成一个向量，是一个12+31+24+60+10+5＝142维的向量，
49.将所有历史数据进行预处理后，进行模型训练，这里训练一个二分类任务，如果告警转故障，则标签为1，如果未转则标签未0，训练方式如下：其中，nx表示右侧框内的操作重复n次，比如6次，输入为当天及前几天的故障相关特征向量，自注意力模块输入和输出向量之间的连接代表把输入加到输出上，全连接层的输入输出向量的连线也代表把输入加到输出上。归一化操作为层归一化(layernorm)，具体计算为两步，第一步计算该向量各元素的均值和方差，第二步各个元素减去均值再除以方差，生成新的向量。最后一个自注意力模块，表示只需要生成当天相关的特征表示(可以考虑为生成了四个，但是我们只需要一个)，并利用该特征经过全连接层得到是否转故障的概率，即一个二分类问题，模型训练完成后，部署到故障预测系统，通过数据采集模块采集特征信息，包括时间、告警等级、告警类型，并传输给服务器，服务器接收采集的信息，转成特征向量，保存到数据库；从数据库读取历史信息用来输入到模型得到这次的预测结果；将预测结果发到警报装置进行报警，数据库用于保存历史特征信息。
50.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：

1.基于自注意力机制的故障预测方法，其特征在于：包括数据预处理模块，故障预测系统以及模型训练系统，所述数据预处理模块包括数据采集模块、服务器、数据库以及报警装置，所述模型训练系统包括全连接层、自注意力模块以及归一化；还包括以下步骤，s1：数据预处理：数据预处理模块把和故障相关的信息进行特征编码，和故障相关的假设有时间和告警类型、告警等级等因素；时间分为月、日、时、分，月用12维向量表示，1月则第一个位置为1，其他位置为0，依次类推；日使用31维向量表示，编码方式与月相同；时用24维，分用60维，编码方式与月、日相同；假设告警类型有10类，那么告警类型用10维向量表示，编码方式如上；假设告警等级有5级，那么告警等级用5维向量表示，编码方式如上，那么所有的向量串成一个向量，是一个12+31+24+60+10+5＝142维的向量，s2：模型训练：将所有历史数据进行预处理后，进行模型训练，这里训练一个二分类任务，如果告警转故障，则标签为1，如果未转则标签未0，训练方式如下：输入为当天及前几天的故障相关特征向量，自注意力模块输入和输出向量之间的连接代表把输入加到输出上，全连接层的输入输出向量的连线也代表把输入加到输出上，归一化操作为层归一化(layernorm)，具体计算为两步，第一步计算该向量各元素的均值和方差，第二步各个元素减去均值再除以方差，生成新的向量，最后一个自注意力模块，表示只需要生成当天相关的特征表示，并利用该特征经过全连接层得到是否转故障的概率，即一个二分类问题；s3：模型部署：模型训练完成后，部署到故障预测系统，s3.1：通过数据采集模块采集特征信息，包括时间、告警等级、告警类型，并传输给服务器；s3.2：服务器接收采集的信息，转成特征向量，保存到数据库；从数据库读取历史信息用来输入到模型得到这次的预测结果；将预测结果发到警报装置进行报警。2.根据权利要求1所述的基于自注意力机制的故障预测方法，其特征在于：所述数据库用于保存历史特征信息。3.根据权利要求1所述的基于自注意力机制的故障预测方法，其特征在于：所述报警装置用于接收服务器指令进行报警。

技术总结

本发明公开了基于自注意力机制的故障预测方法，涉及故障预测技术领域，具体包括数据预处理模块，故障预测系统以及模型训练系统，所述数据预处理模块包括数据采集模块、服务器、数据库以及报警装置，所述模型训练系统包括全连接层、自注意力模块以及归一化。该基于自注意力机制的故障预测方法，通过自注意力模块的使用，利用自注意力机制，在对当天故障预测的时候，考虑了的历史状态，有历史状态对当前状态的影响，提高了故障预测的准确性，该方法能够利用注意力机制关注到同一不同警告之间的影响以及前几次异常警报对本次是否转为故障的影响，提高故障预测准确率，满足大规模场景的应用需求。满足大规模场景的应用需求。满足大规模场景的应用需求。