基于自注意力的动态加权企业信用评级分类模型及方法

本发明属于机器学习的分类技术领域，具体属于人工神经网络的金融时序问题处理技术领域，具体涉及到基于自注意力的动态加权企业信用评级分类模型及方法。

企业信用评级是根据独立的信用评级机构(例如穆迪，标准普尔和惠誉评级)评估公司履行其债务义务能力的意见；企业信用评级是发行公共债券和特定贷款结构的一般要求，同时被认为是有效的实用投资指南；企业信用评级大多基于对企业财务、违约情况、运营能力等多方因素分析评分，依据不同的指标分类进行优序评估；尽管不同评级机构采用的信用评级指标存在差异，但是普遍采用“AAA”表示最高的信用质量最低信用风险，“C”或“D”表示最低的质量或最高信用风险；企业信用评级是信用评级的细分领域，也是历史最悠久、相关的研究也最深入和全面的子类，是金融研究和金融市场必不可缺的环节。

在传统企业信用评级方法中，基于特征、财务比率和因素的分析一直是基本方法，应用至今；但是由于上述方法对复杂的数据和财务状况束手无策；于是出现了更复杂的评估模型，如ZETA模型，穆迪KMV的投资组合经理，Creditmetrics集团的CreditMetrics和CreditManager，瑞士信贷金融产品CreditRisk+和麦肯锡公司的信用投资组合视图；上述大多数模型基于数据分析和统计方法，可显着提高信用评估的准确性并减少现有方法的主观因素。

尽管上述方法在评级市场中起着主导作用，但都不同程度受到人为因素的影响，涉及到人工直接评分，或者对模型权重或参数的人工调整等问题；此外，一流的评级机构倾向于在确定参数或直接信用评级时强调分析师主观判断的重要性；除了人为因素外，诸如Logit回归或KMV模型之类的参数分析方法对数据的要求甚高，需假定数据的正态分布，这不一定与实际数据一致；此外，除了少数几个模型，其他模型都更擅长于解决数据的线性关系而不是非线性关系，对现实财务数据的非线性关系分析较弱。

近年来，随着机器学习的广泛应用，该领域的许多方法也被引入信用评级研究中，例如支持向量机(SVM)，决策树(DT)等；由于机器学习的特性，这些方法的引入极大地改善了以前的评分工作的弊端，后者过于依赖人工决策；更重要的是，机器学习方法在信用评级中，尤其是在样本数据较少的二分类任务中，具有极高效率和准确性。

但是，在处理高维数据和多类分类时，以上机器学习方法并不能获得令人满意的效果。

神经网络(NNs)和深度学习方法，如多层感知器(MLP)和反向传播神经网络(BPNN)，已经解决了许多上述问题；他们对样本数据的要求更为宽松：不需要正态分布假设，不要求等协方差或先验概率已知等条件；而且，神经网络可以高效地处理高维数据和非线性关系；值得注意的是，由于神经网络对指标权重的随机调整，它们可以很好地避免在评估过程中对权重设置的人为干预。

但是，由于可解释性差，NN模型不能为评级工作提供参考，而BPNN模型在训练期间经常会遇到收敛速度慢和振动慢的问题；与机器学习方法类似，MLP和BP神经网络在面临信用评级这类多分类问题准确率达到不令人满意的结果。

本发明的目的是克服上述现有技术的缺陷，提供基于自注意力的动态加权企业信用评级分类模型及方法。

本发明所提供的技术问题是这样解决的：

本发明将信用评级看作一个时间序列问题，财务数据会在时间上连续地对企业的运营和信用状况产生影响。

因此，在模型前的数据处理阶段，需将数据成时序输入到基于GRU的评级财务数据时序特征提取模块。

将财务报表数据分别按照财务指标[TR,SR,…TL](m个)以及季度(n个)封装得到矩阵M，代表该公司在n个财务季度下的运营状况，表示如下。

其中t代表了不同的时间步长(Timesteps)，即在本发明中代表财务报表数据中不同的季度。

将某一季度所有公司的单一财务指标的数据封装成向量该向量代表了该季度该财务指标在整个市场的整体状况，将该向量与随机初始化符合高斯分布的权重(Wq,Wk,Wv)分别进行点积，获得该向量的映射向量q、k和v。

将其中一个输入向量的q与所有财务指标的k进行点积计算；对所有的eqk相应的v进行加权求和，以获得该向量的自注意力值。

将以上计算应用到每个输入向量中，简化为矩阵运算，将所有的q、k、v分别封装成矩阵Q,K,V，其计算流程如下。

为了获取Attention在更多空间上的向量表达，在以下计算过程中的一个Attention就是一个head，重复h次之后将会得到h个head，其中h＝8，最后将重复计算h次后的所有结果组合(Concat)在一起得到

将其与随机权重Wo相乘即得到结果即该指标经过多头自注意力机制计算后的权重。

其中和并且 dk＝dv＝dmodel/h；

该模块中各财务指标的权重值会赋予待输入财务数据相应季度的指标，赋权后的财务数据将被输入下一模块，从而实现随时间不同而动态调整财务指标在信用评级中的比重。

将各个财务指标的权重Att与M矩阵相应的财务数值进行点积获得新矩阵M′。其计算如下所示。

由上可得，向量M被转换成向量M′。

然后将时间向量M′的按照时间序列(M′其中的任意一行)，输入到信用评级财务数据时序特征提取模块中，将其结果输入到Softmax模块中以获取信用评级R。

本发明的有益效果是。

首次在财务分析领域，特别是信用评级领域，利用多头自注意机制获取财务指标的动态权重；对财务数据进行赋权后，不仅从金融理论来讲更为符合市场实际状况，还显著增强了后续信用级别分类模块的性能。

本发明从动态财务分析的角度来看待企业信用评级；过去的财务指标和现在的财务指标，都有助于掌握动态的财务特征，并有助于进一步评估企业信用；实验表明，通过门控循环神经网络捕获的时序特征能显著地提升模型的多分类效果。

得益于神经网络在处理高维度数据和非线性问题方面的高性能，本发明提出的端到端模型只需要机构公开的上市公司的财务数据即可输出信用评级，而不需要任何人工干预和监督；相对传统信用评级的操作复杂和不透明等特点，本发明的操作性极为友好，易于投入生产和应用。

与现有的技术相比，极为显著地提高企业信用评级的正确率，且具有强鲁棒性，实验证明可以达到工业应用水平。

图1为本发明所述模型总体结构示意图。

图2为本发明的财务指标动态赋权模块中多头自注意力的结构图。

图3为本发明的财务数据时序特征提取模块中门控循环神经网络的结构图。

下面结合附图和实施例对本发明进行进一步的说明。

步骤1.本发明将信用评级看作一个时间序列问题，财务数据会在时间上连续地对企业的运营和信用状况产生影响。

因此，在模型前的数据处理阶段，需将数据成时序输入到基于GRU的评级财务数据时序特征提取模块。

将财务报表数据分别按照财务指标[TR,SR,…TL](m个)以及季度(n个)封装得到矩阵M，代表该公司在n个财务季度下公司的动态运营状况，表示如下。

其中t代表了不同的时间步长(Timesteps)，即在本发明中代表财务报表数据中不同的季度：。

步骤2.将某一季度所有公司的单一财务指标的数据封装成向量该向量代表了该季度该财务指标在整个市场的整体状况；将Fm与随机初始化符合高斯分布的权重 (Wq,Wk,Wv)分别进行点积，获得该向量的映射向量q、k和v。

将其中一个输入向量的q与所有财务指标的k进行点积计算；对所有的eqk相应的v进行加权求和，以获得该向量的自注意力值。

将以上计算应用到每个输入向量中，简化为矩阵运算，将所有的q、k、v分别封装成矩阵Q,K,V，其计算流程如下。

为了获取Attention在更多空间上的向量表达，在以下计算过程中的一个Attention就是一个head，重复h次之后将会得到h个head，其中h＝8，最后将重复计算h次后的所有结果组合(Concat)在一起得到将其与随机权重Wo相乘即得到结果即该指标经过多头自注意力机制计算后的权重。

其中和并且 dk＝dv＝dmodel/h；

该模块中各财务指标的权重值会赋予待输入财务数据相应季度的指标，赋权后的财务数据将被输入下一模块，从而实现随时间不同而动态调整财务指标在信用评级中的比重。

步骤3.将各个财务指标的权重Att与M矩阵相应的财务数值进行点积获得新矩阵M′；其计算如下所示。

将时间向量M′的按照时间序列(M′其中的行)，传输到信用评级财务数据时序特征提取模块中进行下一步计算，t时刻的输出即时序特征提取模块中GRU的输入xt。

步骤4.在时间步t中，将输入xt乘以权重Wz输入网络；ht-1乘以权重Uz用以保留t-1时刻的信息；然后应用sigmoid型激活函数将二者相加的结果压缩在0和1之间；获得的 Zt为更新门，该门决定了需要将多少过去信息保留并传递给将来。

zt＝σ(Wzxt+Uzht-1)

重置门rt帮助模型决定要忘记多少过去的信息。

rt＝σ(Wrxt+Urht-1)

重置门从过去的时刻获取并保存相关信息，借此计算出新的记忆如下计算；重置门 rt和上一时刻的隐藏状态ht-1的点积将确定从前一时刻的信息删除哪些内容。

第t个时刻的最终记忆ht由当前时刻的隐藏状态和上一时刻的隐藏状态ht-1合并而成；更新门将从和ht-1中选择信息。

步骤5.将信用评级财务数据时序特征提取模块的最后输出y作为Softmax分类器的输入，Softmax分类器模块输出该公司的信用评级R。

步骤6.采用半监督学习方式使多分类交叉熵损失函数的最小化，其中损失函数如下所示：