李良;高娜
【摘 要】提出了一种基于LBP层次特征提取的表情识别算法.将图像分成许多子块,并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征,对人脸图像的眼睛和口部作粗定位.采用局部二值模式(LBP)的层次特征提取法,对图像进行分块操作,求出每个子块的LBP直方图,然后将基于整体特征得到的LBP直方图与基于局部特征得到的LBP直方图连接起来,作为整幅图像的LBP直方图.将层次特征提取法所提取的LBP直方图作为嵌入式隐马尔可夫模型(EHMM)的初始向量,即形成观察序列.对JAFFE人脸库中的7种基本表情进行了测试,结果表明该方法能有效提高表情识别率. 【期刊名称】《河南理工大学学报（自然科学版）》
【年(卷),期】2013(032)006
【总页数】4页(P732-735)
【关键词】面部表情识别;特征提取;特征组合;LBP直方图
【作 者】李良;高娜
【作者单位】河南理工大学电气工程与自动化学院,河南焦作454000;河南理工大学电气工程与自动化学院,河南焦作454000
【正文语种】中 文
【中图分类】TP391.4
0 引言
人脸表情识别技术随着人们对表情信息的日益重视而受到关注，且成为目前研究的热点，并在和谐人机交互、情感机器人等方面有着广泛的应用.人脸表情识别一般包括3部分:脸部定位、脸部特征提取和表情分类.该研究的一个难点就是如何提取出完整、鲁棒、紧凑且富有区分性的表情特征，以提高分类的准确程度.
20世纪90年代，K.Mase和A.Pentland首先使用光流法组成表情特征向量，并利用表情特征向量构建人脸表情识别系统.北京科技大学的王志良教授领导的团队，将人脸表情识别算法
电子元器件样品应用于机器人的情感控制研究中.2004年，郑文明在面部表情识别方面，提出了基于核典型相关分析、偏最小二乘回归等多种识别方法，并负责开发了自动面部表情识别系统.2006年，国家自然科学基金对人脸表情识别的相关研究正式立项.结合机器学习理论，研究新的识别算法，借鉴与人类情感相关的研究成果以及研究鲁棒性的表情识别将成为表情识别研究今后的发展趋势［1-2］.当前主要的分类识别方法有:线性分类器识别、神经网络分类器(ANN)识别、支持向量机(SVM)分类识别、隐马尔可夫模型(HMM)等.
本文提出了基于局部二值模式(LBP)的层次特征提取法，结合分层和分块的思想，分两次对图像进行分块，分别提取图像的整体和局部信息，更好地提取描述人脸表情的特征信息.并将层次特征提取法所提取的LBP直方图作为嵌入式隐马尔可夫模型的初始向量，充分利用了层次特征提取法计算简洁快速和嵌入式马尔可夫模型分类识别高精度的特点.
1 基于LBP的层次特征提取法
人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和相对位置的各种变化才使得人脸表情千差万别.因此，对这些部件的形状和结构变化的几何描述，可以作为人脸表情识别的重要特征.
表情识别主要包括两个技术环节，首先是人脸的检测与定位，然后进行表情特征提取与识别，即从输入的图像中检测和定位人脸，然后再提出对表情识别有用的信息并进行分类识别.
1.1 传统的LBP特征提取法
将LBP算子用于图像处理中的特征提取时，首先将人脸图像划分多个子块，得到多个互不重叠的区域;然后得到各个分块的LBP直方图，分别计算各个分块所有像素点的LBP值，并根据所求LBP值得到该分块的LBP直方图;将各个分块的LBP直方图按照一定顺序连接起来，得到图像的LBP直方图作为整个图像的特征描述.
当特征提取的目标面向表情识别时，传统的基于LBP的特征提取方法存在3个问题.
(1)传统方法得到的LBP直方图只是对图像整体特征的一个描述，缺少局部细节信息，如嘴角的上扬程度、眼睛的睁合度等.
(2)由常识可知，当面部表情发生变化时，人脸大部分区域的灰度值变化并不明显，只有部分区域随此明显改变，而该方法缺少对这些区域的关注.
(3)在实际的研究和应用中可以发现，对图像存在着整体信息和局部信息的共同需求，仅仅进行一次子块的划分往往是不够的.
1.2 基于LBP的层次特征提取法
采用层次特征提取法对人脸进行分块操作时，需要以其面部部分器官为基准.根据人脸的结构特征和灰度性质，采用特征点和特征部位定位方法，实现对面部特征点及眉毛、眼睛、鼻子等器官的定位(图1).
1.2.1 人脸特征点定位
通过灰度积分投影方法，分别对人脸图像的眼睛、眉毛、嘴这3个特征点进行定位，具体操作如下.
(1)由于眼睛和眉毛是人脸图像中头发以下距离较近的黑区域，对应着水平灰度投影区域的两个相邻极小值点.对人脸图像上半区域进行水平积分投影处理，将得到灰度直方图曲线.如图1(b)水平投影曲线所示，横轴表示原图像矩阵的行标，纵轴为水平方向的灰度积分值.较大面积的深头发区域造成了箭头1处的极小值点，而箭头2和箭头3所指的两个极小值
点分别对应眉毛和眼睛垂直方向的位置.
火花塞中心电极
机器人定位(2)以上一步所到的垂直位置中心，往上、下分别选取宽度为σ个像素的条形区域，对所选区域做垂直积分投影，如图1(b)中的垂直投影曲线所示，横轴为原图像矩阵的列标，纵轴为垂直投影灰度积分值.在列标对称中心(即面部左右对称轴附近)的两边各有一个最低点，即箭头4，5所指的极小值点，它们分别表示左眼和右眼瞳孔的水平位置.通过第一步和第二步，可以定位左眼和右眼的位置.
(3)同理，由于嘴是下半人脸区域中较深的区域，首先对下半人脸区域进行水平积分投影操作，选取所得灰度投影曲线的谷点即为嘴的垂直位置，再以此为中心，往上、下分别选取宽度为σ个像素点的条形区域，并做垂直积分投影，根据得到投影曲线的最低点确定嘴的水平位置.
龙虾地笼1.2.2 层次特征的提取步骤
当特征点定位后，可以进行层次特征的提取步骤如下.
第1步，表情发生变化时，以眼睛、嘴、眉毛区域的变化最大，为突出这些变化显著的部位，
将图像分为两层，即分两次对图像进行不同的分块操作.通过第一层分块提取识别相关的整体特征信息，通过第二层分块提取眼睛、嘴、眉毛区域的局部特征信息.
第2步，将人脸图像在水平方向平均分为5个部分，垂直方向平均分成3部分，这样划分得到了3×5=15个子块.通过像素点LBP值计算得出每个子块的LBP直方图 ，其中0＜i＜15.并将每个子块的直方图相连得到基于整体特征的LBP直方图作为图像的第一层.
第3步，图像的第二层.先定位出人眼、眉、嘴器官，并得到眉毛和眼、嘴的两个矩形分块，如图2(a)所示.以眼、嘴矩形块的水平位置和垂直位置为基础，对第二层图像进行分块操作，将图像分为9个分块(图2(b)).
同理，根据计算得出每个子块的LBP直方图，其中0＜j＜9.由于眼、眉和嘴3个区域所包含的表情特征信息量更多，所以在获取第二层LBP直方图L2时，采用了权重策略赋予这两个子块权重以更好地描述人脸表情特征.在此基础上，将每个子块的直方图相连得到基于局部特征的LBP直方图为
第4步，将第二步所得基于整体特征的LBP直方图L1与第三步所得基于局部特征的LBP直方图L2连接起来，作为整幅图像的LBP直方图
通过改进，得到图像直方图L既包含了图像的全局信息，也包含了表情识别相关的局部信息，突出了眉、眼和嘴对于表情识别的贡献，有利于表情的表示(图3).
制作交通工具2 基于层次特征提取与EHMM模型的试验分析
试验通过采用基于LBP的层次特征提取法和嵌入式隐马尔可夫模型相结合的方式，在Matlab环境中实现人脸表情识别的过程，获取该方法对不同表情的识别率.
试验流程如图4所示，首先，对JAFFE人脸库中所有图像进行预处理，即通过灰度映射变换把图像标准化为64像素×64像素，而且每个像素是256个灰度级，并且通过均衡化使得图像灰度层次分布更加均匀，避免光照等对识别效果的影响.然后，利用层次特征提取法对图像进行处理，把所得具有增强信息的LBP算子直方图作为原始图像提取的特征信息.同时，为7种表情中的每一个都建立一个EHMM模型.提取待识别表情图片的特征向量后分配到每个表情的EHMM状态中，进而计算表情特征序列在每个表情EHMM中的概率值 p(O|λ).
表1 7种表情的识别结果Tab.1 Recognition results of seven kinds of expression394 0 4 1 1 0 0 94.00悲伤 7 1 86 2 5 2 1 3 86.00害怕 2 3 1 95 0 0 1 0 95.00生气 4 0 4 0 92 2 1 1 92.
00厌恶 5 2 4 0 2 90 0 2 90.00高兴 1 0 0 0 0 2 97 1 97.00中性 6 1 4 0 2 2 1 88 88.00总数/%惊讶惊讶 悲伤 害怕 生气 厌恶 高兴 中性识别率100100 100 100 100 100 100 91.80
电镀马赛克
