卷积神经网络及其分析在抑郁症判别中的应用

阅读：评论：0

作为脑健康服务的核心部件，在线脑电分类能远程监测和评估脑障碍状态（如癫痫[1]和抑郁症（MDD）[2]）而蓬勃发展。对于MDD，准确评估脑状态并及时跟踪其发展状态可以将其陷入危险和自杀的风险降为最低[3]。EEG通常是弱信号、强噪声和非平稳的混合体，对其准确分类仍然是一个亟需解决的问题[4]。几十年来，其活跃在两个研究领域：（1）预处理；（2）特征提取。预处理旨在去除脑电信号中的噪声与伪逆。在大多数情况下，噪声和干扰与患者密切相关，其去除即使理论上可行，也需要昂贵的人工处理[5]；特征提取能够实现降维，并支持对感兴趣信号的有效探索[6]。在众多特征提取方法中，共有空间模式的精度最高，达到87.4%[7]，矩阵分解方法精度达到86.61%，近年来，作为脑电特征提取的主导方法，时频分析的精度达到87.5%[8]。传统的预处理

王凤琴1，柯亨进2

1.湖北师范大学物理与电子科学学院，湖北黄石435106

2.武汉大学计算机学院，武汉435001

摘要：在线脑电分类能准确评估严重抑郁症患者的脑状态并及时跟踪其发展状态可以将其陷入危险和自杀的风险降为最低。然而，在无经验监督条件下，在线脑电分类应用面临更大的挑战：脑电数据往往具

有弱信号、高噪声与非平稳特性；缺乏有效解耦脑疾病发作时脑区与神经网路的复杂关系。为此，设计一个以卷积神经网络为核心的云辅助在线脑电分类系统，该系统直接应用于原始脑电信号，无需进行预处理和特征提取，能精准、快速判别抑郁症状态。在公开数据集上进行抑郁症评估实验，对健康控制组和抑郁症对照组分类的准确率、敏感度和特异度分别为99.08%、98.77%和99.42%。另外，通过对神经网络进行定量解释，表明抑郁症病人的左右颞叶脑区与正常人存在明显差异。

关键词：神经网络；模型解释；抑郁症；脑电分类；云计算

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2008-0261

Application of CNN and Its Analysis in Depression Identification

WANG Fengqin1,KE Hengjin2

1.School of Physics and Electronic Science,Hubei Normal University,Huangshi,Hubei435106,China

2.School of Computer Science,Wuhan University,Wuhan435001,China

Abstract：Online EEG classification can accurately assess the brain status of patients with Major Depression Disable （MDD）and track their development status in time,which can minimize the risk

of falling into danger and suicide.However, it remains a grand research due to the embedded intensive noises and the intrinsic non-stationarity determined by the evolution of brain states,the lack of effective decoupling of the complex relationship between brain region and neural network during the attack of brain diseases.This study designs an online EEG classification system aided by cloud centering on a CNN.Experiments on depression evaluation has been performed against raw EEG without the need for preprocessing and feature extraction to distinguish Healthy&MDD.Results indicate that MDD can be identified with an accuracy,sensi-tivity,and specificity of99.08%,98.77%and99.42%,respectively.Furthermore,the experiments on quantitative interpre-tation of CNN illustrate that there are significant differences between the left and right temporal lobes of depression patients and normal control group.

Key words：neural network;model interpretation;depression;EEG classification;cloud computation

基金项目：湖北省教育厅科学技术研究计划指导性项目（B2018142）。

作者简介：王凤琴（1979—），女，硕士，讲师，研究领域为神经信息学；柯亨进（1981—），通信作者，男，博士，研究领域为神经信息学、人工智能，E-mail：。

收稿日期：2020-08-18修回日期：2020-11-27文章编号：1002-8331（2021）05-0245-06

与特征提取方法不仅需要昂贵的计算量，而且分类性能仍落后于临床实践应用日益增长的精度需求。

EEG 分类一直是脑神经科学研究和临床实践中的重要课题。现有工作大多依赖特征提取，最近，机器学习方法蓬勃发展。沿着这一方向最突出的工作介绍如下：Mumtaz 等人[8]提出了一种基于小波变换的时频分解的分类方法，对MDD 患者和健康对照组的诊断准确率为87.5%。为了有效地识别严重抑郁症的异质性病变，提出了一种基于脑电信号的频谱空间特征提取方法，达到平均81.23%的准确率[9]。与传统的支持向量机等分类器相比，卷积神经网络（CNN [10]）在噪声数据分类方面有着明显的优势，在癫痫发作[1]和帕金森病[11]的识别方面取得了令人满意的性能，同时具有良好的抗噪声[12]。基于特征提取的机器学习通常呈现出高的计算密集性，只适用于离线脑电信号分类。

近年来，虽然神经网络在AI 领域中发挥关键作用，但它们只是有限可解释性的黑盒函数近似器。如何判断并解释神经网络是否做出正确的预测[13]是一个极其重要的问题。当人工智能系统易于理解时，可帮助做出更好的决策，进而改进模型的设计，得出更重大的发现，深化对AI 的信任。拿抑郁症分类来说，当神经网络通过识别能刻画脑疾病的关键特征而做出正确分类时，该系统被认为是合理的，反之，虽然最终结果识别正确，但是神经网络并没有分析出关键特征，而是外围因素甚至是由于噪声或者干扰的正确识别而做出决定，显然，该神经网络由于过高的假阳性不能满足医学要求。为此，需要在脑疾病发生时通过度量脑区与模型间的复杂性关系，以期对神经网络黑盒进行解耦。与现有的研究工作相比，本研究旨在寻一种能够（1）对原始脑电信号进行准确的在线分类，（2）减轻预处理和特征提取的工作量，以及（3）对神经网络提供定量解释。

综上所述，本文的主要贡献如下：

（1）设计并实现一个基于云服务的在线脑电信号分类平台，该平台以一个CNN 为核心，其模型训练于云服务器，而在本地网关上实现热部署与在线分类任务。

（2）提出基于AP 聚类信息熵方法，实现分类器模型的定量分析服务，实现对神经网络黑盒进行解耦。

1系统体系结构与实现

本文首先介绍了图1中所示的系统架构，接下来讨

论了系统的核心部件——CNN 的设计。

脑电时间片首先被传送到网关。网关主要完成模型下载和基于用户请求的数据上传功能，从云端下载最新训练好的分类器后，网关通过热部署加载到网关中。然后直接对脑电片段进行分类，并在相关智能设备（如台式机和智能手机）中显示分类结果。经过用户授权的脑电数据经医生校准后上传到云服务器。最后，云服务器将增量地对模型进行训练。管理员对训练后的模型进行评估后，保存相应的分类器模型文件供网关下载。

1.1基于云计算平台的CNN

云计算平台提供按需和可扩展的存储，以及能够满

足物联网需求的处理服务。云维护的主要功能如下：对分类器进行训练并评估分类器。

1.1.1CNN 网络结构

图2显示出了CNN 的体系结构，该CNN 试图利用尽可能少的隐含层，同时获得高分类性能。分类器从一个独立的dropout 层开始，接着是两个卷积层和一个最大池化层以及三个全连接层（模型的超参数

通过贝叶斯超参数优化算法调优得到，并显示在图2中，关于卷积层，其参数格式为：过滤器数目@[感受野大小]，所有全连接层FC 的激活函数都为Sigmoid ，其他层的激活函数显示在Activation 中，None 表示无激活函数）。CNN 的最终Sigmoid 激活函数输出特定脑电时间片的分类结果，主要设计要点总结如下：

（1）“高卷积层”旨在通过在一个卷积层上放置大量卷积滤波器来处理高维原始脑电片段，每个滤波器只处理一个通道数据。对于每个时间窗口，来自每个电极的每个时间序列数据（1024）将被重塑为一个正方形矩阵（32×32），然后整个段将被组织为通道层叠的3D 数据块。

图1系统体系结构

本地网关服务

本地服务接口本地数据库

用户管理

脑电在线分类

热部署

云服务

Web 服务

Web 服务云平台

标定

云服务接口分类器模型及其训练分布式脑电大数据存储平台

图2CNN 的网络结构

32×32

Dropout ：0.3

Conv ：20@[2×9]Activation ：reLU Conv ：18@[8×7]Activation ：None Maxpooling ：[1×1]

Activation ：reLU FC ：

300……

FC ：60FC ：1…

（2）“沙漏（Hourglass ）”全连接（FC ）层块旨在快速减少神经元数量，减少模型参数数量。它包含几个FC 层。输出层越近，神经元数量就越少。本研究中的“沙漏”全连接层块是最后三个FC 层。

1.1.2模型训练与测试

CNN 采用动量SGD 算法进行优化。为减少模型误差，本文采用一个非常小的动量衰减因子[14]，其初始化策略沿用文献[15]中的设置，同时设置和文献[16]相同的批规范化。对样本空间进行洗牌后，将样本空间分为训练集、验证集和测试集。采用5倍交叉验证算法对训练集和验证集分类器的训练性能进行评估。用测试集报告分类性能。然后用反向传播算法训练CNN 的参数[14]：

ìíîïï

v i +1←0.9⋅v i -0.0001⋅ε⋅ωi -ε∂L ∂ω|ωi D i

ωi +1←ωi +v i +1（1）

其中，i 是迭代次数，v 是动量变量，ε是学习率，

∂L ∂ω|ωi

D i

是目标函数关于连接权值ω在D i 批上的偏

导数，其显示了当前批次的优化方向。

模型训练后，可以在测试集（或新EEG 时间片）上进行测试。当输入经过Dropout 层、两个卷积层和一对一映射层后，中间的三维数据块将被展平成一个矢量。矢量通过最后三个FC 层，输出尺寸分别为300、60和1。最后，输出脑电片的状态。

云服务器加载最新的模型，从网关增量训练新的校准脑电数据。将有两种情况：分类性能将提高或降低。导致性能下降超过阈值（精度降低1%）的分类器将不会被保存。

1.2CNN 的复杂性解释

本节主要讨论了输入层的激活最大化，基础神经元

的特征可视化将提供网络的全局视图，网络很少孤立地使用神经元，同时理解停留在主观层面。为此，通过度量输入模式的信息熵，以期验证模型决策的合理性，以及增强解释的客观性。

1.2.1激活最大化

激活最大化是寻一个给定的隐含层单元激活值最大的输入模式。第一层的每一个节点的激活函数都是输入的线性函数，所以对第一层来说，它的输入模式和滤波器本身是成比例的。形式化的，

x *=arg max x :t ,||x ||=ρ

(h ij (θ,x )-λ(x ))

（2）

其中，θ表示CNN 的模型参数，h ij (θ,x )为神经网络中第j 层第i 个神经元的激活值，

h ij 是输入x 和模型参数θ的联合函数，λ(x )为输入x 的正则项。x *为需要寻的最大激活。该优化问题由于h 不是具体函数，所以在大部分情况下为一个非凸优化问题。基于梯度下降法可以近似求解该问题，即至少能求解局部最小值，

计算h ij (θ,x )的梯度并沿着该梯度方向移动x ：

∂h ij (θ,x )-λ(x )

∂x

（3）

当移动x 的量小于某个预先设置好的阈值时，算法

达到收敛。鉴于分类器的输入（第一层）是基于通道的，为了表征神经网络的激活模式，计算第一层的激活最大化值。因此，根据层的大小（20×32×32）对层的激活进行编码并计算为20个激活矩阵，其中每个矩阵表达了每个通道的最大化激活特征。

1.2.2基于近邻传播聚类划分的信息熵

信息的基本作用就是消除事物的复杂性，信息熵刻画了信息的不确定性和复杂程度：

H (X )=-∑x ∈X

p (x )lb p (x )

（4）

其中，X 为随机变量，p (x )是随机变量X 的概率。

图3显示了两种不同划分计算的信息熵，属于同一分区的数据将归入相应的分区后利用公式（4）来计算信息熵。不同点在于传统方法假定神经数据服从均匀分布而进行等距离划分（在图3B 中，数据被等分为6份），在数据样本点足够多的时候，计算结果会接近真实情况，但是，当数据不足时，这种等距离计算熵的误差比较大，无法有效度量随机变量的不确定关系；而聚类划分考虑到了序列自身的差异性而进行合理的划分（在图3A 中，由于数据分布差异，被划分成3份，且每一份的划分区间不相同），刻画数据本身的特征进行信息熵的精确计算。在度量所有激活矩阵的熵后，被投射到大脑通道。根据10-20国际脑电系统，对应于大脑区域的大脑状态的平均特征进行可视化，脑区划分规则如表1所示。

1.2.3AP 聚类算法

近邻传播（AP ）聚类[17]是一种基于数据点间信息传递的聚类算法。与经典的聚类分析算法相比，它不需要

0123

（A ）

（B ）图3基于近邻传播聚类划分（A ）与传统（B ）的信息熵计算表1

基于10-20国际脑电系统的脑区划分

ID 12345

Region Frontal Left temporal Central Right temporal Occipital

Electrodes Fp1，Fp2，F3，F4F7，T3，T5C3，C4，Fz ，Cz ，Pz

F8，T4，T6P3，P4，O1，O2

在运行前确定聚类的个数，通过对每个样本点的竞争聚类中心进行迭代，以获得最佳的聚类性能。

AP 聚类算法的输入是样本数据s [i ,j ](i ,j =1,2,…,N )之间的相似性。本文用欧式距离表示相似矩

阵S 中的元素值，S 对角线上的元素是一个参考矩阵P ，它表示每个采样点被选为划分中心的概率。AP 算

法遍历样本数据，构造吸引度矩阵（responsibility ）和归属度矩阵（availability ），直到到合适的聚类中心x k ，迭代公式如下：

ìíî

R ()i ,k ←S ()i ,k -max k ′s.t.k ′≠k {}A ()i ,k ′+S ()i ,k ′A ()i ,k ←min {}

0,R ()k ,k +∑i ′s.t.i ′∉(i ,k }max {}0,R ()i ′,k （5）与K -means 方法相比，该方法的主要优点是：（1）不

需要人工初始聚类中心；（2）聚类中心是真实存在的数据样本，而不是虚拟的新数据样本；（3）对初始值不敏感；（4）结果的平方误差较小。

1.2.4基于AP 聚类的数据划分的信息熵

基于AP 聚类的数据划分的信息熵（APM ）的计算包括三个阶段。首先，对信号X 进行排序（升序），加快AP 聚类的收敛速度。其次，用AP 聚类算法分别对变量

进行分区，得到每个分区i 的最大值(Z i max )和最小值(Z i min )的坐标，分区中心C i 和相应的分区半径R i 计算

如下（Z 表示一个分区中心的坐标）：

C i =Z i max +Z i min

2,R i =||Z i max -Z i min 2

,s.t.Z ∈X ,Y （6）

给定两个分区P i 和P j ，分界点应为：D (i ,j )=()C

j -R j -()C i +R i 2

,s.t.j >i （7）

求出数据的划分后，对落入不同划分的数据求相应

的概率，进而求取该序列的信息熵。

为了刻画脑区与模型间的复杂性关系，首先获取每个通道的最大化激活特征矩阵（见第1.2.1节），所有矩阵展平成序列后计算其基于AP 聚类的数据划分信息熵，该信息熵被投射为通道水平的复杂性，之后依据10-20国际脑电系统对脑区进行划分（表1），求脑区内复杂性的平均值作为脑区与模型间的复杂性。

2实验

2.1数据描述

公共数据集包含了严重抑郁症患者和健康对照组的脑电数据[8]（MPHC ），所有样本都采集自马来西亚塞

因斯大学医院的34个抑郁症患者（17名男性，平均年龄=40.3±12.9）和30名健康受试者（21名男性，平均年龄=38.227±15.64）。该样本集已经排除有精神病症状、孕妇、酗酒者、吸烟者和癫痫患者的MDD 参与者。健康对照组也排除可能的精神疾病或身体疾病。脑电图传感器按照国际系统10-20在256Hz 的频率下进行采集，该数据集选取前面20个电极（Fp1、Fp2、F3、F4、F7、T3、T5、C3、C4、Fz 、Cz 、Pz 、F8、T4、T6、P3、P4、O1、O2、A2）的脑电数据。时间窗口设置为1024（4s ）；因此，整个样本空间被划分成18442个片段（其中抑郁症的时间片：9789，健康的时间片：8653）。

2.2计算复杂度

本文实验所用的测试环境为英特尔i7CPU （3.33GHz ）、

24GB 运行内存和64bit Win7个人电脑。本文所提出的分类器是基于子卷积神经网络和子全连接神经

网络。首先讨论子卷积神经网络的时间复杂度。其时间复杂度正比于网络层数(L )及其相应的隐藏神经元个数(N )。整个子卷积神经络的时间复杂度计算如下：O (S (N ,L ))=O æèçöø

∑l =1d n l -1⋅s 2l ⋅n l ⋅m 2l （8）其中，l 是卷积层的索引，d 是深度；n l 为第l 层的过滤器的个数（也叫宽度）；

n l -1表示第l 层的输入通道的个数；s l 和m l 分别表示过滤器的空间大小以及输出特征映射的大小（feature map ）。

对于子全连接神经网络，假设网络的层数为L ，每一层的神经元数为U ，分类器的时间复杂度为O (UL )。因此，CNN 的计算复杂度为O (S (N ,L ))+O (UL )。

2.3优化器的影响实验

本节比较了CNN 中不同的优化方法，包括本文的

动量SGD 、RMSprop [18]、Adagrad [18]、Adadelta [18]、Adam [18]、Adamax [18]和Nadam [18]，图4显示了SGD 获得了最好的性能，而三种优化方法（Adagrad 、Adam 和Nadam ）在本研究

中表现欠佳。Adagrad 方法是在每个时间步中，根据过往已计算的参数梯度，来为每个参数修改对应的学习率，学习率总是在降低和衰减，模型的学习能力迅速降低，极有可能没有跨越局部最小值而性能低下，Adadelta 方法作为Adagrad 的延伸，解决其学习率衰减的问题，性能得到提升。基于动量的方法如本文的动量SGD 和RMSprop 优化方法在训练过程中优化的幅度跳过函数的范围，也就是可能跳过局部最优点。基于Adam 的优化方法如Adam 、Adamax 和Nadam 旨在快速训练结构复杂的神经网络，但是对于层数不多的神经网络（如本文网络）来说，越接近优化目标，其震荡更容易发生，造成性能不能满足要求。

图4不同的优化方法比较曲线

100

908070605040性能/%

SGD

RMSprop Adagrad Adadelta Adam

Adamax Nadam

优化方法

2.4抑郁症分类性能评估实验

在评估分类器性能时，需要进行多次重复实验。在

每一次重复实验中，都进行十次完整迭代过程，每个迭代过程都包括训练阶段（应用五次交叉验证）和测试阶段。在训练阶段，对特征矩阵进行洗牌，将其分为5个部分：4个部分作为训练数据，1个部分作为验证数据。然后将训练好的模型应用于测试集中，根据其敏感性、特异性和准确性报告分类器的平均性能。

图5显示了分类器在严重抑郁症数据集上的学习曲线。分类模型在训练阶段，其在训练集和验证集上的准确率保持一致，并无明显的大范围间隔，同时测试集上优异的分类性能表明：分类器在该数据集进行抑郁症筛选时具有很好的泛化能力，并没有产生过拟合或欠拟合。

在同一数据集（MPHCs EEG 数据）上，应用不同的分类器进行抑郁状态分类，其分类性能指标显示在表2中。这些分类器中，除了MLRW [8]之外，本文重新实现了几个代表性的神经网络模型，包括Resnet-16[19]、CapsuleNet [20]和LeNet [21]，所有分类器只是修改了模型的输入（20×32×32）和输出维度（1），其他关于神经架构及每一层的超参数都未加修改。该表显示：（1）本文提出的分类器在所有分类指标上都最优，同时较高的敏感度和特异度也昭示出分类器不仅能有效地筛选出抑郁症患者，同时也能有效地筛选出正常人；（2）分类器的性能与其模型的层数不相关，比如层数更多的Resnet 和Cap-suleNet ，并没有取得期望的性能指标，反而需要更长的时间进行训练，出现此情形的原因可能性是分类器过于复杂，在拟合数据时出现过分拟合，导致分类性能下降，如何使得分类器更好地拟合不同数据的非线性将极大地影响分类器的性能，而为了理解这一差异性将是理解

神经网络黑盒的关键问题之一，这将作为未来研究的重点方向之一。

2.5CNN 的解释性实验

设计该组实验的目的是对CNN 在进行抑郁症的分

类任务时实现病理相关性解释，鉴于CNN 的输入是通道相关的，为理解分类器处理脑电数据的机理，可视化了分类器第一层的激活最大化。根据输入层的大小（20×（32×32）），输入层的激活被编码成20个大小为（32×32）的激活矩阵，其中，每个矩阵刻画每个通道的特征。再利用AP 聚类划分计算信息熵，获取每个激活矩阵的信息熵，并以通道级别投影到头皮地形图上。此外，在10-20个国际系统中，大脑区域对应的脑状态平均特征被可视化。

在分类领域，分类器总是倾向于根据差异较大的特征进行分类，而这些特征往往具有确定性。熵是随机变量不确定性的度量。显然，信息熵越大，变量包含的信息量越大，变量的不确定性也越大。解决分类问题的过程可以看作是降低不确定性（复杂性）以获得较低熵的过程。因此，计算每个激活矩阵的熵，出CNN 作用在哪些通道实现分类。

图6显示了MPHC EEG 数据上CNN 的3D 头皮地形图，通道级（A ）和脑区级（B ）。图6A 中显示，Cz 、T3、T4、T6等通道的熵值低于其他通道，说明该分类器主要是根据这些通道的电压幅值来区分抑郁和健康。图6B 显示了与脑区水平相对应的三维头皮地形图，左颞叶和右颞叶显示了较低的平均熵值，证实了左颞叶和右颞叶脑区抑郁通道存在显著差异，这个结果同时也和数据提供者[8]的病理性解释一致。

3结论

本文提出的方法在公开严重抑郁症数据集上能够

获得高分类精度：抑郁症以99.08%精确度，98.77%敏感度和99.42%特异度进行判别，超过了现有方法的分类性能（基于相同数据集）。此外，通过基于近邻传播聚类划分计算信息熵方法，度量CNN 在进行抑郁症分类任务时，对CNN 网络的复杂性解释结果表明分类器有效

图5训练和验证过程学习曲线

acc loss val_acc val_loss

1.00.80.60.40.2Epoch

800

A c c -L o s s

表2