一种应用于风机故障检测的迁移学习框架

阅读：评论：0

1.本发明涉及故障检测领域，尤其涉及一种应用于风机故障检测的迁移学习框架。

背景技术：

2.风能作为一种可再生的清洁能源，在世界范围内得到了广泛的应用。根据世界风能协会提供的统计数据，截至2019年底，全球风力涡轮机的总装机容量达到了650.8gw。然而，风力发电机的故障阻碍了风电的发展。变速箱、发电机、主轴承、叶片和塔架等关键部件的意外故障可能会导致计划外停机，从而对风电场的可用性和生产率产生重大影响。为保证风电机组运行的可靠性和稳定性，必须建立风电机组状态监测与故障诊断系统，以减少故障对风电机组的影响。监控与数据采集(scada)系统采集风电机组的运行数据和工况数据，如风速、温度、转速等，这些数据已被广泛应用于风电机组的故障诊断。
3.可用过程数据的增加、计算能力的提高和深度学习算法的快速发展为基于深度学习的数据驱动故障诊断方法的井喷提供了基础。具体地说，基于深度学习(dl)的故障诊断方法已经被提出并被证明具有显著的故障诊断性能，例如卷积神经网络(cnn)、递归神经网络(rnn)、堆叠自动编码器(sae)、深度信念网络(dbn)和其他一些基于dl的方法。然而，充足的有标签数据是深度学习发挥其突出学习能力的基础。当数据不足时，可能会导致模型无法收敛，或者模型收敛但过拟合。投入运行后不久的新风电场安装的新风电机组运行更稳定，故障率往往更低，故障模式不明显，导致许多不易标记数据大量产生，收集到的的带有确切的故障标签的数据极少，从而使得一般的深度学习算法难以在具有这种特点的风机scada数据上应用，需要为这类问题开发新的算法框架。
4.域自适应(da)作为一种可以解决小样本问题的迁移学习(tl)方法，可以被用于解决以上问题。da通过构造源域和目标域具有相同特征分布的不变特征空间来实现信息从源域到目标域的传递。构造不变特征空间的其中一种策略为将两个数据域之间的距离指标引入到损失函数中从而不断最小化两个域的分布距离，实现两个数据域的分布“对齐”，最大平均偏差(mmd)是测量源域和目标域之间分布距离的常用度量；另外一种策略为基于对抗性训练的方法，这一框架中一般存在一个辨别器，用于辨别特征提取器在两个域上提取出来的特征空间，特征提取器的目标是“骗过”辨别器，从而二者形成了“对抗”，不断优化二者的性能，最终特征提取器可以实现从两个数据域上提取出相同的特征分布，从而得到不变特征空间。
5.过往的da方法强制整个源域特征空间和目标域特征空间进行对齐，在很多问题中效果良好。然而，这些方法都假定两个域之间的标签空间是相同的，这不适用于将一个大的源域转移到一个类别标签集有限的小目标域的相关任务。在现实世界的应用中，收集大的源域样本相对容易，而要到一个具有相同标签空间的相关目标域是非常困难的。当源域中只有部分类别包含在目标域中时，现有的da模型在目标域上的诊断效果将大幅下降，因为目标域特征空间被错误地与源域中所含的目标域中不存在的故障类别所对应的特征空间相对齐，这样会误导所得的故障分类模型导致错误的故障诊断结果。因此，针对以上问题
and data acquisition，监测控制和数据采集)数据中学习源域和目标域的非线性高维特征表示；为防止训练多层神经网络结构时出现梯度消失现象，使用relu激活函数以提供足够的梯度值。
12.进一步地，所述域鉴别器，由卷积层来提取两个域特征空间不同点有关的特征，再经过全连接层给出二分类结果。
13.进一步地，所述标签预测器这一模块对应softmax输出，由一层全连接层来拟合分类问题中的非线性关系，给出最终的分类结果。
14.进一步地，所述辅助分类器与辅助鉴别器，这一部分参数的更新要与所述迁移学习框架下的几个模块的参数的更新解耦开来，并且在整个框架的单个优化周期中，要在域自适应迁移学习框架下的几个模块之前进行优化。
15.进一步地，所述辅助分类器以所述特征提取器的输出为输入，仅使用源域数据进行训练，但源域数据和目标域数据都需要经过这一结构进行处理；所述辅助分类器，对源域样本有较大的概率值输出，而对目标域数据，它将呈现较小的值和低确定性预测。
16.进一步地，所述辅助分类器由500个节点的隐藏层和一个输出层组成；输出层的激活函数配备如下式表示的leaky softmax函数：
[0017][0018]
对于分类确定度高的源域样本来说，leaky-softmax输出的总和更接近于1，对于分类确定度低的目标样本来说更接近于0。
[0019]
进一步地，所述的辅助鉴别器，其特征在于该模块由一个求和器构成，紧接在辅助分类器的后面。由于辅助分类器对目标域数据的分类性能较弱，从而目标域数据经过辅助分类器和辅助鉴别器后的输出值较小，源域样本对应的值较大。经过一定的分析可知源域中与目标域故障标签相同的数据对应的输出值较小，离类别样本对应的输出值较大，由此将所述辅助鉴别器的输出值作为所需的权重值。
[0020]
进一步地，所述辅助鉴别器由一个求和器构成，紧接在所述辅助分类器的后面；由于所述辅助分类器对目标域数据的分类性能较弱，从而目标域数据经过所述辅助分类器和所述辅助鉴别器后的输出值较小，源域样本对应的值较大。
[0021]
本发明具有如下技术效果：
[0022]
1、目前最常用的用于处理风机scada数据上的故障诊断问题的算法以有监督机器学习方法为主，但有监督机器学习方法无法在数据无标签或标签模糊的情况下应用，本发明所提的迁移学习方案可以完全解决这一问题。
[0023]
2、无监督机器学习算法也可以应用到数据无标签时的故障诊断。但相比于无监督机器学习算法，本发明所提的方案不仅可以判定故障是否发生，还可以给出故障的分类结果。无监督机器学习只能做到前者，并且由于缺少一部分故障特征信息，所得结果的可靠性低于本发明所提的迁移学习方案。
[0024]
3、相比于传统的参数更新式迁移学习方法，本发明所采用的域自适应方法将深度学习网络的特征提取模块和故障分类模块拆解开来，同时进行适应性训练，促使特征提取和故障分类这两部分操作均能够同时适用于源域数据和目标域数据，提取出共有的故障特征与非线性变化关系，因此本发明所提方案具有完整的知识迁移功能。传统的参数更新式
迁移学习方法仅更新故障分类所对应的全连接层参数，特征提取的卷积层参数是固定不变的，源域知识向目标域的迁移能力受到明显限制。
[0025]
4、相比于目前已有的域自适应框架，本发明充分考虑了源域数据与目标域数据上的差异性问题，可以自适应地筛选源域中与目标域具有共同故障模式的数据，增大这部分数据在模型训练损失函数中的比重，增强源域数据向目标域数据的有益知识迁移，从而提高所得故障诊断模型在目标域上的适用性。
[0026]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0027]
图1是本发明的一个较佳实施例的结构关系图和训练流程示意图。
具体实施方式
[0028]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0029]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0030]
令表示具有ks个类的源域ds的数据。表示具有k
t
个类的目标域d
t
的数据(无标签)，ns和n
t
分别代表标记的源样本和未标记的目标样本的数量。cs和c
t
分别对应于源域和目标域的标签空间。源数据xs和目标数据x
t
分别来自边际分布p(x)和q(x)。需要指出的是，p≠q，这意味着源域和目标任务有不同的边际分布。da的目标是在不使用标记的目标样本的情况下学习领域不变的特征表示，这样从源域学到的分类器就可以应用到目标域。
[0031]
本发明所提的风机故障诊断迁移学习框架总体上可分为两大部分。一部分为基于对抗训练方法构建的基本域自适应迁移学习框架，以实现基本的不变特征空间的提取与性能足够的故障分类器的训练，从而达到迁移学习的目的——借助全部数据均有完整标签并且平衡和并且原始数据相似度较高的数据集(对于本发明所考虑的情形，这一数据集可为爱尔兰风场scada公开数据集)训练出性能足够的分类器，这一分类器是通过da框架在不变特征空间上训练的，从而在源域和目标域上均能适用。另一部分为计算数据点权重的辅助分类器与辅助鉴别器，可以自动为源域中与目标域中共有的故障标签所对应的样本点赋予较高的权重值，其他离标签下的数据点被赋予较低权重值，自适应地识别和过滤掉不相关的源域样本，提升故障特征知识从源域向目标域的的迁移效果。
[0032]
首先介绍第一部分的详细方案。受生成式对抗网络(gan)的启发，基于da的对抗性神经网络通常由三部分组成。一个特征提取器gf，一个域鉴别器gd和一个标签预测器(分类器)gy。gf的目标是学习领域不变的特征表示，以“骗过”域鉴别器gd，而gd则尽可能试图将源样本的特征与目标样本的特征区分开来。然后，构造gy对不同类别的对象进行分类。域对抗训练通过gan的min-max博弈来减少特征提取器从源域和目标域的提取出的特征空间的分
布差异。进一步地说，在给定输入x及其预测标签y的情况下，gf首先将输入映射到高级特征表示，并且gf的参数表示为θf。然后，将提取的特征表示分别馈送到gy和gd中，其中参数为θy的gy输出每个输入样本的预测标签，参数为θd的gd允许我们判断每个样本属于源域还是目标域。
[0033]
由以上分析，可将鉴别器gd的损失函数设计为如下的二元交叉熵损失函数，以尽可能提高其区分两个数据域的能力：
[0034][0035]
θd优化目标的数学表达式为：
[0036][0037]
上式中θd与θf和θy的优化是迭代进行的，优化θd时θf和θy取定为上一次优化的结果。标签预测器gy仅使用源域数据进行训练，损失函数为一个多分类交叉熵函数：
[0038][0039]
gf一方面要与gy共同实现准确率足够高的故障诊断功能，最终目的是最小化(3)式。另一方面要通过与gd的对抗训练，将两个不同域的数据转化成不变特征空间。由以上分析可知θf与θy的更新可放在一个训练过程下，可写为如(4)式表示的单一优化目标：
[0040][0041]
关于各个组件的神经网络结构，gf由堆叠乘法卷积层(conv)、批量归一化层(bn)和池化层(pool)组成，层与层之间采用relu激活函数提供足够的梯度值，以卷积层为主的网络结构非常适合用于从风机scada数据中学习源域和目标域的非线性高维特征表示。gy对应1-d cnn的softmax输出，由一层全连接层来拟合分类问题中的非线性关系，它给出了预测样本的k类概率分数，输出概率值最大的节点对应的类别即为最终的分类结果。gd也是一个分类器，这里可设计较少数量的卷积层用于提取两个域特征空间不同点有关的特征，再经过全连接层给出二分类结果。
[0042]
接下来介绍第二部分各个神经网络组件的设计。为了解决离源类(源域中存在但目标域中不存在的故障类别)引起的负迁移问题，在损失函数上进一步引入了权重概率度量函数对源域中不同类的贡献进行加权，以减轻异常源类的影响。为了量化每个源域样本的权重引入了辅助鉴别器与辅助分类器来整合标签先验知识。具体来说，分类器由500个节点的隐藏层和一个输出层组成。输出层的激活函数配备如(5)式表示的leaky softmax(softmax激活函数的一种变体)：
[0043][0044]
其中z是中隐藏层的输出。只用源域数据和标签进行训练，可以预计，对源
样本有较大的概率值(接近于1，即表示确定度高)输出，而对目标域数据，它将呈现较小的值和低确定性预测。对于源域样本来说，leaky-softmax输出的总和更接近于1，对于目标域样本来说更接近于0。由此分析，可以设计为接在后面的一个简单的求和器：
[0045][0046]
由于对目标域数据的分类性能较弱，从而目标域数据经过和后的输出值较小，源域样本对应的值较大。的优化目标就是尽可能准确地完成多分类问题，使用多分类交叉熵损失函数：
[0047][0048]
的优化目标是尽可能准确地区分源域数据与目标域数据，使用基于(6)式构造的二分类交叉熵损失函数：
[0049][0050]
注意到是无参数的，因此优化上式本质上还是在调整的参数，实际上两个优化函数是相互竞争的。如果不考虑只让尽可能小，那么其对于源域中每一类的分类效果都会变得尽可能好，无论是两个域共享的类还是源域中独有的类。共享类上分类效果变好会使目标域上的分类效果也变好，由(5)与(6)可知，对于目标域和源域的区分作用会变弱，会导致增大，从而可以得知这两个目标函数的优化是具有竞争性的。我们在这一阶段的目标函数设为因此要尽可能取得均衡。这里最终的均衡结果会使得辅助分类器对于目标域中不存在的类的分类效果尽可能好，而对于共享类的分类效果将会变得“不那么好”。对于源域上的某个样本，如果属于共享类，(6)式值较小，反之(7)式的值较大。那么这个权重可以取为
[0051]
得到权重之后，最终要将得到的权重添加到第一部分da框架的损失函数中以得到完整的基于加权对抗迁移网络(watn)的域自适应迁移学习框架。即在(1)式与(2)中加入权重
[0052]
[0053][0054]
使用随机梯度下降(sgd)这种优化策略来训练网络。对于和它们仅用于获得基于当前特征提取器gf的源域样本的权函数。它们不参与对抗性训练过程，也就是说，特征提取器gf的训练与的训练无关。因此，参数的更新将不会被反向传播以更新gf，这里也是因为的梯度是在未加权源样本上学习的，而gf的对抗性训练与gd和gy有关，gd和gy需要权重值，因此gf训练也是需要权重值的。因此θf、θd、θy的训练需要与的训练解耦开来。后面给出的操作步骤是满足这一关键要求的，采用分批次迭代的方式训练模型。所提框架的结构关系图和训练流程示意图如附图1所示。
[0055]
本发明提供了一种改进的基于对抗训练的域自适应迁移学习框架，在对抗训练架构的基础之上添加了辅助鉴别器与辅助分类器对源域数据中与目标域数据变化模式相似(即故障标签一致)的数据进行识别并赋予较大的权重，增强所得故障诊断模型在目标域上的适用性。以前述本发明的详细技术方案为基础，模型训练的详细步骤如下：
[0056]
首先获取实际风场的scada数据集与爱尔兰风场scada公开数据集。在公开数据集上构建具有共享类子集的大型已标记源域数据集，在实际风场上构建小型未标记目标数据集，并被进一步分为训练样本和测试样本。对两部分数据的进行简单的预处理步骤：以获得每一输入的平均值和标准差。然后，通过减去其平均值并除以标准差来对数据进行标准化。标准化有利于加速神经网络参数的收敛。
[0057]
第二步是使用深度学习集成库tensorflow构造gf、gd和gy的网络结构，并使用批标准化方法初始化网络参数。之后初始化辅助鉴别器和分类器的参数并如附图所示嵌入到da架构中，得到源域样本的权重函数，突出不同样本的重要度差异。
[0058]
第三步为模型训练。将源域标记数据xs和目标域未标记数据xt输入到构建的网络中。对于式(6)的每次更新，可以获得权重函数在加权目标函数的基础上，通过对抗性学习机制对watn的参数进行优化。具体的迭代优化流程为：在上一个周期的迭代中得到的参数θf下的gf的基础上，数据通过特征提取器gf后再通过辅助分类器与辅助鉴别器先根据式(9)与(10)并应用随机梯度下降方法优化的参数，优化完成后(损失函数降低到某一值下或者变化量或者足够小)，计算得到当前的权重值，下一步再进入对抗性训练步骤，此时一般可以先训练域鉴别器gd，将权重值代入到(10)式中对gd的参数θd进行优化，gd在当前周期的权重与上一周期的参数θf下的gf的条件下优化到合适性能后，再按照(4)式优化gf与gy的参数，这样一个迭代优化周期就完成了，进入下一个循环。如此不断迭代训练下去，直到gy输出的分类结果的准确率达到合适的值或者各个损失函数值在两次迭代之间的变化足够小之后，模型的训练过程结束。
[0059]
最后一步则为应用到目标域数据上得到最终的故障分类结果。将目标域测试数据送入gf提取特征，之后直接使用分类器gy进行分类，从而得到故障识别结果。
[0060]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创
造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：

1.一种应用于风机故障检测的迁移学习框架，其特征在于，包括基于对抗训练方法构建的da(domain adaption，基本域自适应)迁移学习框架和计算数据点权重的辅助分类器与辅助鉴别器两部分，所述学习框架实现了不变特征空间的提取与故障分类器的训练，所述故障分类器是通过da框架在不变特征空间上训练的，从而在源域和目标域上均能适用，从而实现了迁移学习的基本功能；所述辅助分类器与辅助鉴别器自动为所述源域与所述目标域中共有的故障标签所对应的样本点赋予较高的权重值，其他离标签下的数据点被赋予较低权重值，自适应地识别和过滤掉不相关的源域样本。2.如权利要求1所述的一种应用于风机故障检测的迁移学习框架，其特征在于，包括：一个特征提取器g
f
，一个域鉴别器g
d
和一个标签预测器g
y
这三个神经网络模块；所述g
f
的目标是学习领域不变的特征表示，以“骗过”所述域鉴别器g
d
，而所述g
d
则尽可能试图将源样本的特征与目标样本的特征区分开来，所述g
y
则是用于对不同类别的对象进行分类，给出最终的故障诊断结果。3.如权利要求2所述的一种应用于风机故障检测的迁移学习框架，其特征在于，通过gan(generative adversarial network，生成式对抗网络)的min-max博弈来减少所述特征提取器从源域和目标域的提取出的特征空间的分布差异，所述特征提取器与所述标签预测器共同实现准确率足够高的故障诊断功能，这两个组件的参数同时被更新；同时所述特征提取器又要尽可能地在两个不同的数据域上提取出相似的特征空间，与以区分出两个数据域的所述域鉴别器的目标构成对抗训练关系；由此可得到这里的训练策略为：特征提取器与标签预测器的神经网络参数作为一组参数，与域鉴别器的参数交替迭代优化。4.如权利要求3所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述特征提取器，由一维卷积层、池化层和批量归一化层组成，且激活函数使用relu函数；以卷积层为主的结构适合用于从风机scada(supervisory control and data acquisition，监测控制和数据采集)数据中学习源域和目标域的非线性高维特征表示；为防止训练多层神经网络结构时出现梯度消失现象，使用relu激活函数以提供足够的梯度值。5.如权利要求4所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述域鉴别器，由卷积层来提取两个域特征空间不同点有关的特征，再经过全连接层给出二分类结果。6.如权利要求5所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述标签预测器这一模块对应softmax输出，由一层全连接层来拟合分类问题中的非线性关系，给出最终的分类结果。7.如权利要求6所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述辅助分类器与辅助鉴别器，这一部分参数的更新要与所述迁移学习框架下的几个模块的参数的更新解耦开来，并且在整个框架的单个优化周期中，要在域自适应迁移学习框架下的几个模块之前进行优化。8.如权利要求7所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述辅助分类器以所述特征提取器的输出为输入，仅使用源域数据进行训练，但源域数据和目标域数据都需要经过这一结构进行处理；所述辅助分类器，对源域样本有较大的概率值输出，而对目标域数据，它将呈现较小的值和低确定性预测。9.如权利要求8所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述辅
助分类器由500个节点的隐藏层和一个输出层组成；输出层的激活函数配备如下式表示的leaky softmax函数：对于分类确定度高的源域样本来说，leaky-softmax输出的总和更接近于1，对于分类确定度低的目标样本来说更接近于0。10.如权利要求9所述的一种应用于风机故障检测的迁移学习框架，其特征在于，所述的辅助鉴别器，其特征在于该模块由一个求和器构成，紧接在辅助分类器的后面。由于辅助分类器对目标域数据的分类性能较弱，从而目标域数据经过辅助分类器和辅助鉴别器后的输出值较小，源域样本对应的值较大。经过一定的分析可知源域中与目标域故障标签相同的数据对应的输出值较小，离类别样本对应的输出值较大，由此将所述辅助鉴别器的输出值作为所需的权重值；所述辅助鉴别器由一个求和器构成，紧接在所述辅助分类器的后面；由于所述辅助分类器对目标域数据的分类性能较弱，从而目标域数据经过所述辅助分类器和所述辅助鉴别器后的输出值较小，源域样本对应的值较大。

技术总结

本发明公开了一种应用于风机故障检测的迁移学习框架，涉及故障检测领域，包括基于对抗训练方法构建的基本域自适应(DA,Domain Adaption)迁移学习框架和计算数据点权重的辅助分类器与辅助鉴别器两部分，所述学习框架实现了不变特征空间的提取与故障分类器的训练，所述故障分类器是通过DA框架在不变特征空间上训练的，从而在源域和目标域上均能适用，从而实现了迁移学习的基本功能；所述辅助分类器与辅助鉴别器自动为所述源域与所述目标域中共有的故障标签所对应的样本点赋予较高的权重值，其他离标签下的数据点被赋予较低权重值，自适应地识别和过滤掉不相关的源域样本。本发明利用域自适应迁移学习框架可以处理缺少故障标签的风机SCADA数据上的故障诊断。少故障标签的风机SCADA数据上的故障诊断。少故障标签的风机SCADA数据上的故障诊断。