基于情绪视听刺激和面部表情的意识状态检测系统、设备的制作方法

阅读：评论：0

1.本发明涉及意识状态检测领域，尤其涉及一种基于情绪视听刺激和面部表情的意识状态检测系统、设备。

背景技术：

2.慢性意识障碍（prolonged disorders of consciousness, pdoc）患者人数众多，给家庭和社会带来沉重负担。常见的pdoc的类型包括植物状态和微意识状态等。现有的诊断患者意识状态方法主要从行为学、神经电生理和影像学三个方面进行。行为学方面的诊断方法主要依赖于修订版的昏迷评估量表（coma recovery scale-revised, crs-r）。神经电生理方面的方法包括观测脑电图（eeg）、分析事件相关电位等。影像学方面的检测方法包括电子计算机断层扫描（ct）以及核磁共振成像（mri）等。
3.在临床上，医生依据crs-r的评估结果通常作为评估pdoc患者类型的金标准。依据crs-r，医生需要观察患者在接受一些视觉或听觉刺激时的反应。然而，患者对刺激做出的行为反馈的持续时间和强度不尽相同。一些快速且微弱的微表情往往难以被肉眼捕捉，从而导致对患者的意识状态评估不准确。同时，使用crs-r进行评估较大程度依赖于评估者的经验，较为主观，使得意识状态评估工作不能客观且标准化的开展。另外，因为大部分患者在遭受严重脑损伤或接受手术后，难以采集eeg或mri等信号，所以使用神经电生理和影像学进行意识状态检测估的方法受众较窄。

技术实现要素：

4.本发明针对现有技术的不足，旨在提供一种基于情绪视听刺激和面部表情的意识状态检测系统、设备，能够客观、直接且准确地检测用户意识状态。
5.本发明通过以下技术方案来实现：本发明实施例的第一方面提供了一种基于情绪视听刺激和面部表情的意识状态检测系统，所述意识状态检测系统包括：情绪素材库模块，用于存储样本情绪视频；情绪类型与面部表情特征集处理模块，用于处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，选取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集；标准情绪素材库模块，用于存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。
6.进一步地，所述情绪素材库模块中包括欢乐、自豪、搞笑、亲切、悲伤、愤怒、恐惧以及厌恶在内的两种以上情绪类型的样本情绪视频单元；每种情绪类型的样本视频单元至少包括4~5个样本视频。
7.进一步地，所述情绪类型与面部表情特征集处理模块包括以下子模块：面部图像数据采集模块，用于记录用户观看情绪素材库中每个样本视频时的面部表情特征；面部表情特征集提取模块，用于获取面部表情特征随时间变化的强度曲线，对强度曲线进行时域分析，对每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性进行计算并排序，取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。
8.进一步地，所述面部表情特征集提取模块包括以下子模块：动作单元识别模块，用于获得用户在观看每个样本视频时产生的面部特征随时间变化的强度曲线；情绪相关的面部表情特征集获取模块，用于通过时域分析和相关性分析获得每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征数据集。
9.进一步地，所述动作单元识别模块包括以下子模块：人脸追踪和面部特征点检测模块，通过约束局部神经域模型中的人脸追踪器和特征点检测器依次对用户进行脸部追踪和人脸特征点提取；人脸对齐模块，通过使用相似性变换将人脸特征点映射到同一的参考框架之下；外界环境图像屏蔽模块，用于通过使用凸包算法包围人脸对齐后的人脸特征点，实现对周围环境图像的屏蔽；图像特征提取模块，用于提取通过人脸对齐后图像局部区域的梯度方向直方图的外观特征和由进行人脸追踪时约束局部神经域模型输出的非刚性参数和人脸的特征点参数组成的几何特征；动作单元检测模块，用于基于外观特征和几何特征，使用支持向量回归获得所有动作单元随时间变化的强度曲线。
10.进一步地，情绪相关的面部表情特征集获取模块包括时域分析和相关性的过程；其中，时域分析的过程包括：计算每种情绪类型下的所有动作单元在整个时间窗内强度均值，作为时域特征，并进行排序，选取强度排名前a的动作单元；相关性分析的过程包括：计算时域分析获得的时域强度特征排名前a的动作单元与对应的情绪样本视频中的听觉特征和视觉特征的互相关系数，并进行排序，将相关性排序的前b个动作单元作为对应情绪类型下的面部表情特征集。
11.进一步地，所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到，其中，筛选的过程包括：基于面部表情特征数据集训练svm分类器，并进行十折交叉验证，对svm分类器输出的识别率进行排序，取识别率排序前m的情绪类型对应的样本情绪视频作为标准样本情绪视频。
12.进一步地，所述意识状态检测模块获得的意识状态标签包括健康状态标签、微意识状态标签和植物状态标签。
13.本发明实施例的第二方面提供了一种基于情绪视听刺激和面部表情的意识状态检测设备，所述意识状态检测设备包括面部视频采集系统和上述的情绪视听刺激和面部表情的意识状态检测系统；其中，所述面部视频采集系统用于在用户观看情绪素材库时，采集用户观看情绪素材库中每个样本视频时产生的面部表情特征。
14.本发明的有益效果是，本发明使用情绪视听刺激诱发面部表情检测意识状态，能够捕捉评估者难以发现的快速且微弱的行为反应，并且能够补充昏迷评估量表crs-r，提供客观且准确的意识状态检测结果。相较于神经电生理和影像学的采集条件和检测手段，面部表情的信号采集约束条件更少且操作更加便捷，因此，本发明在意识状态检测工作中更加适用。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1是基于情绪视听刺激和面部表情的意识状态检测系统的示意性框图；图2是情绪类型与面部表情特征集处理模块的示意性框图；图3是面部表情特征集提取模块的示意性框图；图4是动作单元识别模块的示意性框图；图5是情绪视听刺激和面部表情的意识状态检测设备的示意性框图；图6是不同动作单元随时间变化的强度曲线。
具体实施方式
17.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
18.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
19.应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
20.本发明公开至少一实施例提供一种基于情绪视听刺激和面部表情的意识状态检测系统、意识状态检测设备，其通过情绪视听刺激诱发用户的面部表情进行意识状态的检测，能够捕捉评估者难以发现的快速且微弱的行为反应，并且能够补充昏迷评估量表crs-r，给出客观且准确的意识状态标签。
21.下面结合附图对本发明公开的几个实施例进行详细说明，但是本发明并不限于这些具体的实施例。
22.本发明公开的实施例提供一种基于情绪视听刺激和面部表情的意识状态检测系
统。图1为本发明实施例提供的一种基于情绪视听刺激和面部表情的意识状态检测系统的示意性框图。
23.示例性地，如图1所示，本发明公开的实施例提供一种基于情绪视听刺激和面部表情的意识状态检测系统包括情绪素材库模块100、情绪类型与面部表情特征集采集模块200、标准情绪素材库模块300和意识状态检测模块400。
24.所述情绪素材库模块100用于存储样本情绪视频，所述样本情绪视频可以唤起用户的不同情绪以诱发面部表情；所述情绪素材库模块100中包括欢乐、自豪、搞笑、亲切、悲伤、愤怒、恐惧以及厌恶在内的两种以上情绪类型的样本情绪视频单元。其中，每种情绪类型的样本视频单元至少包括4~5个样本视频。
25.所述情绪类型与面部表情特征集处理模块200，用于处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，选取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。
26.其中，如图2所示，所述情绪类型与面部表情特征集处理模块200包括以下子模块：面部图像数据采集模块201和面部表情特征集提取模块202。
27.所述面部图像数据采集模块201，用于记录用户观看情绪素材库中每个样本视频时的面部表情特征。其中，所述用户为无脑损伤病史且矫正视力正常的健康受试者以及由昏迷评估量表crs-r评估为微意识状态和植物状态的受试者。
28.所述面部表情特征集提取模块202，用于获取面部表情特征随时间变化的强度曲线，对强度曲线进行时域分析，对每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性进行计算并排序，取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。
29.如图3所示，所述面部表情特征集提取模块202包括动作单元（action unit，au）识别模块2021和情绪相关的面部表情特征集获取模块2022。
30.所述动作单元识别模块2021用于获得用户在观看每个样本视频时产生的面部表情特征随时间变化的强度曲线，动作单元au是由面部活动编码系统（facial action coding system, facs）定义的，用来描述不同的面部肌肉动作变化。
31.如图4所示，所述动作单元识别模块2021包括人脸追踪和面部特征点检测模块20211、人脸对齐模块20212、外界信息屏蔽模块20213、图像特征提取模块20214和动作单元检测模块20215。
32.所述人脸追踪和面部特征点检测模块20211，通过使用约束局部神经域模型（constrained local neural field，clnf）中的人脸追踪器和特征点检测器依次对面部图像数据采集模块201得到的面部表情特征进行脸部追踪和人脸特征点提取。
33.所述人脸对齐模块20212，通过使用相似性变换将所述人脸追踪和面部特征点检测模块20211得到的所有人脸特征点映射到同一的参考框架之下。
34.所述外界环境图像屏蔽模块20213，通过凸包算法包围人脸对齐后的人脸特征点，以实现对周围环境图像的屏蔽。
35.所述图像特征提取模块20214，用于提取通过人脸对齐后图像局部区域的梯度方向直方图（histograms of oriented gradient，hog）的外观特征和由进行人脸追踪时clnf模型输出的非刚性参数和人脸的特征点参数组成的几何特征。
36.所述动作单元检测模块20215，根据图像特征提取模块20214输出的外观特征和几何特征，通过支持向量回归（support vector regression, svr）获得不同动作单元au随时间变化的强度曲线。在本实例中，使用svr获得17个动作单元au随时间变化的强度曲线，如图6所示。
37.所述情绪相关的面部表情特征集获取模块2022，用于计算每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性，通过时域分析和相关性分析获得每种情绪类型下强度最大且与对应情绪类型最相关的au特征集，即面部表情特征数据集。
38.具体地，所述时域分析的过程包括：计算每种情绪类型下的每个样本情绪视频引发的所有动作单元au在整个时间窗内强度的平均值，将所有样本情绪视频的强度均值作为此情绪类型的时域特征，并进行排序，选取强度排名前a的动作单元au进行相关性分析。在本实例中，设置a=5。
39.所述相关性分析的过程包括：计算每种情绪类型下经过时域分析获得的强度排名前a的动作单元集aus分别与对应的样本情绪视频的听觉特征和视觉特征的互相关系数，用动作单元au与听觉特征和视频特征的互相关系数的平均值来表征动作单元au与对应情绪类型的相关性，并进行排序，选取相关性较高的前b个动作单元au作为对应情绪类型下的面部表情特征集。在本实例中，设置b=3。
40.所述听觉特征通过使用希尔伯特变换来提取样本情绪视频的声音包络得到。
41.所述视觉特征，包括视觉运动特征和亮度特征。其中，视觉运动特征通过提取相邻帧的每个像素点的光流向量，即位移的方向和大小，然后平均所有像素位置的向量的长度得到。亮度特征通过将视频序列的图像从rgb格式转换到hsv彩空间，得到其中的v分量，计算当前帧的v矩阵均值得到。
42.所述标准情绪素材库模块300，用于存储标准样本情绪视频；所述标准样本情绪视频通过得到，筛选的过程具体为：示例性地，在本实例中使用svm分类器对情绪类型进行筛选。将情绪类型与面部表情特征处理模块200得到的面部表情特征数据集的90%作为训练集，输入至svm分类器进行训练，剩余10%作为测试集，对每种情绪类型与除该种情绪类型外的其他种类的情绪类型分别进行分类识别，并进行十折交叉验证。根据svm分类器输出的识别率进行排序，取识别率排序前m的情绪类型作为能够稳定诱发面部表情特征的情绪类型，其对应的样本情绪视频作为标准样本情绪视频。本实例中，设置m=1。
43.所述意识状态检测模块400，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。
44.具体地，使用不同意识状态用户在观看标准情绪素材库的面部表情和用户的标签作为训练集，输入svm分类器进行训练，将待测者观看标准情绪素材库而产生的面部表情特征输入至svm分类器，得到意识状态标签。所述意识状态标签根据用户的意识状态划分为健康状态标签、微意识状态标签和植物状态标签。
45.例如，在本发明的一些实施例中，本发明公开的基于情绪视听刺激和面部表情的意识状态检测系统还可以包括还可以包括一个或多个处理器以及一个或多个存储器。处理器被配置为处理数据信号，且可以包括各种计算结构，例如复杂指令集计算机(cisc)结构、结构精简指令集计算机(risc)结构或者一种实行多种指令集组合的结构。存储器可以保存
处理器执行的指令和/或数据。这些指令和/或数据可以包括代码，用于实现本技术实施例描述的一个或多个模块的一些功能或全部功能。例如，存储器包括动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存(flash memory)、光存储器(optical memory)，或其他的本领域技术人员熟知的存储器。
46.例如，在本发明公开的一些实施例中，情绪素材库模块100、情绪类型与面部表情特征集采集模块200、标准情绪素材库模块300和意识状态检测模块400包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的情绪素材库模块100、情绪类型与面部表情特征集采集模块200、标准情绪素材库模块300和意识状态检测模块400的一些功能或全部功能。
47.本发明公开的一实施例还提供一种基于情绪视听刺激和面部表情的意识状态检测设备，图5为意识状态检测设备的示意性框图，所述意识状态检测设备包括面部视频采集系统和情绪视听刺激和面部表情的意识状态检测系统。所述面部视频采集系统用于在用户观看情绪素材库时，采集用户观看情绪素材库中每个样本视频时产生的面部表情特征。
48.例如，在一些实例中，所述面部视频采集系统可以为摄像机、手机、平板电脑等带有录像功能的设备。
49.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
50.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

技术特征：

1.一种基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述意识状态检测系统包括：情绪素材库模块，用于存储样本情绪视频；情绪类型与面部表情特征集处理模块，用于处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，选取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集；标准情绪素材库模块，用于存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。2.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述情绪素材库模块中包括欢乐、自豪、搞笑、亲切、悲伤、愤怒、恐惧以及厌恶在内的两种以上情绪类型的样本情绪视频单元；每种情绪类型的样本视频单元至少包括4~5个样本视频。3.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述情绪类型与面部表情特征集处理模块包括以下子模块：面部图像数据采集模块，用于记录用户观看情绪素材库中每个样本视频时的面部表情特征；面部表情特征集提取模块，用于获取面部表情特征随时间变化的强度曲线，对强度曲线进行时域分析，对每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性进行计算并排序，取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。4.根据权利要求3所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述面部表情特征集提取模块包括以下子模块：动作单元识别模块，用于获得用户在观看每个样本视频时产生的面部特征随时间变化的强度曲线；情绪相关的面部表情特征集获取模块，用于通过时域分析和相关性分析获得每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征数据集。5.根据权利要求4所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述动作单元识别模块包括以下子模块：人脸追踪和面部特征点检测模块，通过约束局部神经域模型中的人脸追踪器和特征点检测器依次对用户进行脸部追踪和人脸特征点提取；人脸对齐模块，通过使用相似性变换将人脸特征点映射到同一的参考框架之下；外界环境图像屏蔽模块，用于通过使用凸包算法包围人脸对齐后的人脸特征点，实现对周围环境图像的屏蔽；图像特征提取模块，用于提取通过人脸对齐后图像局部区域的梯度方向直方图的外观特征和由进行人脸追踪时约束局部神经域模型输出的非刚性参数和人脸的特征点参数组成的几何特征；动作单元检测模块，用于基于外观特征和几何特征，使用支持向量回归获得所有动作
单元随时间变化的强度曲线。6.根据权利要求4所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，情绪相关的面部表情特征集获取模块包括时域分析和相关性的过程；其中，时域分析的过程包括：计算每种情绪类型下的所有动作单元在整个时间窗内强度均值，作为时域特征，并进行排序，选取强度排名前a的动作单元；相关性分析的过程包括：计算时域分析获得的时域强度特征排名前a的动作单元与对应的情绪样本视频中的听觉特征和视觉特征的互相关系数，并进行排序，将相关性排序的前b个动作单元作为对应情绪类型下的面部表情特征集。7.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到，其中，筛选的过程包括：基于面部表情特征数据集训练svm分类器，并进行十折交叉验证，对svm分类器输出的识别率进行排序，取识别率排序前m的情绪类型对应的样本情绪视频作为标准样本情绪视频。8.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述意识状态检测模块获得的意识状态标签包括健康状态标签、微意识状态标签和植物状态标签。9.一种基于情绪视听刺激和面部表情的意识状态检测设备，其特征在于，所述意识状态检测设备包括面部视频采集系统和权利要求1~8任一项所述的情绪视听刺激和面部表情的意识状态检测系统；其中，所述面部视频采集系统用于在用户观看情绪素材库时，采集用户观看情绪素材库中每个样本视频时产生的面部表情特征。

技术总结

本发明公开了一种基于情绪视听刺激和面部表情的意识状态检测系统、设备，所述系统包括：情绪素材库模块，存储样本情绪视频；情绪类型与面部表情特征集处理模块，处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，获取面部表情特征数据集；标准情绪素材库模块，存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。本发明基于情绪视听刺激诱导用户产生自发的面部表情特征，实现了客观、便利且准确地检测用户的意识状态。意识状态。意识状态。