2019年#0月计算机工程与设计Oct.2019
第40卷第#0期COMPUTER ENGINEERING AND DESIGN Vol.40No.#0
徐守坤⑴，邱亮1，李宁⑴2，石林1
(1.常州大学信息科学与工程学院数理学院，江苏常州213164；
2.闽江学院福建省信息处理与智能控制重点实验室，福建福州350108)
摘要：使用传统的YOLOv2网络训练出来的行人检测模型在背景简单以及行人遮掩不严重的情况下，检测效果良好，但是当背景复杂以及行人遮掩严重的时候，检测效果较差%针对此问题，在YOLOv2网络中添加HOGCSLBP特征提取层，根据维度聚类方法对INRIA数据集目标聚类分析的结果调整YOLOv2网络的先验框个数与维度值％实验结果表明，在误检率为0.1时该算法的漏检率为9.13%，与传统的YOLOv2网络相比漏检率降低了 5.27%，说明此方法有效可行。 关键词：YOLOv2网络；HOGCSLBP特征；维度聚类；先验框；漏检率
中图法分类号：TP391.4#文献标识号：A文章编号：#000-7024(2019)#0296405
doi：#0.#6208/j.issnl000-7024.2019.#0.039
Pedestrian detection based on HOG-CSLBP and YOLOv2
XU Shou-kun1,QIU Liang1,LI Ning#2,SHI Lin1
(1.School of Mathematics and Physics,School of Information Science and Engineering,Changzhou University,
Changzhou213164,China# 2.Fujian Provincial Key Laboratory of Information Processing
and Intelligent Control,MiiAiang University&Fuzhou350108,China)
Abstract:The pedestrian detection model trained using the traditional YOLOv2network has good detection effects in the case of a simple background and the pedestrians are not severely blocked.However,when the background is complex and the pedes--rians are severely blocked&the detection effect of the model is poor.To solve this problem&the HOG-CSLBP feature extraction layer was added into YOLOv2network&and the anchor boxes number and dimension value of YOLOv2network were adjusted according to the results of clustering analysis of INRIA data set target.Experimental results show that the leakage rate of the proposed method is9.#3%when the fals
e detection rate is0.1.Compared with the traditional YOLOv2network&the leakage rate is reduced by5.27%&which indicates that the method is effective and feasible.
Key words：YOLOv2network；HOG-CSLBP feature；dimension clustering；anchor boxes；leakage rate
3引言
行人检测是通过使用计算机视觉技术判断输入的图像或者是视屏序列中是否存在行人，并快速准确判断出行人的位置，广泛应用于视屏监控、无人驾驶、机器人导航等领域⑴3+。由于行人检测受复杂的背景、不同的光照条件以及行人穿着、姿势、视角等多方面因素的影响，使得行人检测具有挑战性以及亟待解决的问题。
目前行人检测方法主要分为两大类*47,—类是基于机器学习的方法，一类是基于模型的方法。基于机器学习的方法主要是通过提取行人的有效特征建立分类器，并使用该分类器对行人进行检测和识别。Li等8提出使用梯度方向直方图HOG特征以及线性支持向量机分类器，在多视角下对行人能够进行较高精度检测，但由于检测速度慢，不能满足实时性要求。Kong等9提出将改进的Adaboost 算法及级联技术应用到行人检测中提高了检测速度，但是 容易受环境因素的影响，使得漏检率提高。基于模型的方法主要是将人体结构当作是多个部件的组成，并利用这些
收稿日期：201808-13；修订日期：2018#024
基金项目：福建省信息处理与智能控制重点实验室开放课题基金项目（MJUKF201740）
作者简介：徐守坤（972-），男，吉林省吉林市人，博士，教授，CCF高级会员，研究方向为人工智能、普适计算等；邱亮（993-），男，四川绵阳人，硕士研究生，研究方向为数据处理、图像处理；李宁（1974），男，甘肃沁阳人，博士，副教授，CCF会员，研究方向为数据与信息处理；石林（979-），男，江苏常州人，硕士，副教授，CCF会员，研究方向为数据处理、图像识别。
E-mail:
第40卷第10期徐守坤，邱亮，李宁，等：基于HOG-CSLBP及YOLOv2的行人检测・2965・
部件的几何关系进行建模。Zhixuan等*0+提出使用Edgelet-LBP的方法，通过构建人体码元字典进行行人检测，由于计算量大、鲁棒性差导致不能应用到实时的行人检测系统中。Ouyang等［⑴提出根据人体部位之间的相互约束，使用深度模型学习行人身体不同部位特征可以解决行人遮挡问题，但是提高了误检率。Lecun等［⑵提出使用基于卷积稀疏编码的无监督方法检测行人，虽然该方法克服了区域特征的空间限制，但是训练该模型不仅耗时且难以运用到实际环境当中。刘建国等［⑶提出基于YOLOv2的行人检测方法，该方法以YOLOv2为基础，先对行人提取LBP特征突出行人轮廓，降低了
对行人的误检率，由于行人检测容易受环境因素以及行人的穿着、姿势以及视角影响的原因，使得漏检率不稳定，满足不了用于实际环境的要求。
基于上述原因，本文在YOLOv2网络的第一层卷积层前添加特征提取层，该特征提取层采用HOG和CSLBP特征融合的方法即HOGCSLBP提取行人特征，然后使用YOLOv2网络对提取的行人特征进行训练及检测。该特征提取层对输入的样本图像进行预处理，突出样本图像中行人轮廓特征信息以及降低YOLOv2网络在训练过程中学习到错误的特征，从而提高行人的检测精度以及减少计算量。
1基于HOG-CSLBP提取行人特征
变粒度HOG特征主要描述物体形状轮廓的全局特征，而CSLBP特征描述的是物体局部的细节纹理。在实际检测环境中有背景干扰时，使用变粒度HOG特征描述行人轮廓的全局特征时，提取的行人特征效果降低，由于CSLBP纹理特征对灰度变换具有不变性的原因，因此使用CSLBP纹理特征描述行人局部的细节纹理可以保证行人检测的正确率；若当提取行人的CSLBP纹理特征与背景相似时，利用变粒度HOG特征的鲁棒性描述行人的形状轮廓全局特征，就能起到对行人的主导描述作用，保证行人检测的准确性。
1.1基本原理
1.1.1变粒度HOG特征
HOG特征是一种刻画局部区域轮廓信息的有效描述符，所用的块（Block）粒度固定为2X2的单元（cell），导致获得的特征信息有限。Khan等提出了一种能够表征更多空间信息的变粒度HOG特征，如图#所示。
图#变粒度HOG特征
在图#中，5个图分别表示不同粒度的HOG特征。其中图#（a）与图#（b）是垂直结构与水平结构的块都对应一个18维特征向量，其块粒度分别为1X2与2X1的cell 结构；图#$）与图#（d）是水平结构与垂直结构的块都对应一个27维特征向量，其块粒度分别为3X1与1X3的cell结构；图#（e）是HOG特征中原始的块结构。通过变换不同的cell结构获取描述细节的Block以及描述局部或整体的Block，从而获得变粒度HOG特征，提高了传统HOG 特征的描述能力。海马ゆう
1.1.2CSLBP特征
纹理是灰度在空间以一定的形式变化而产生的模式，体现了物体表面具有缓慢变化或者是周期性变化的结构。Uliyan等*5+提出了一种描述图像纹理特征的算子，即CSLBP局部纹理特征，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低以及抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。式（1）为CSLBP编码定义
N/2-1
f C SLBP%g（22十（N/2））⑵（1）
0=0
式中：十（n/2））2计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值f的大小关系进行计算，如式（2%所示
由式（1）与式（2）可以看出CSLBP局部纹理特征是通过使用图像对角位置像素对进行编码，其编码流程如图2所示。
□
S S
(b)
111
图2CSLBP编码流程
图2（a）是某图像3X3的像素区域，首先按照对角线箭头的方向对像素值作比较，利用式（2）计算出g2, 2十（N/2））的值，然后再使用式（1）计算得到二进制数据的CSLBP特征值，如图2（b）所示。由于使用该算子在行人图像中移动可以明显突出行人区域的纹理特征信息的原因，因此提高了行人检测的准确率。
1.2HOG-CSLBP特征提取
基于上述描述，本文分别使用变粒度HOG和CSLBP 的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征，然后将提取的变粒度HOG特征和CSLBP纹理特征进行融合得到HOGCSLBP特征，最后将HOGCSLBP特征提交给YOLOv2网络进行训练以及检测。其HOGCS
-
・2966・计算机工程与设计2019年
LBP特征提取、YOLOv2网络行人检测以及训练过程如图3所示。
图3HOG-CSLBP特征提取、YOLOv2行人检测训练流程
2基于HOG-CSLBP及YOLOv2的行人检测
YOLOv2网络由19层卷积层和5层最大池化层构成，该网络不仅检测速度快，而且检测准确率高。由于YOLOv2网络没有全连接层的原因，所以输入的图片尺寸大小是不固定的，增强了模型的泛化能力，并且YOLOv2网络的anchor机制预测候选框通过使用K-means聚类方法确定anchor boxes的个数以及宽高维度。
2.1改进的YOLOv2
YOLOv2网络的这种结构设计，使得它在目标检测领域中脱颖而出，若是直接将该网络用于行人检测不仅计算耗时高，而且不能保证行人检测的准确率，因此不能满足实际环境中使用的要求。为了让YOLOv2网络适用于行人检测，本文以YOLOv2网络为基础，并对该网络进行如下改进：
(1)HOGCSLBP特征提取层
由于YOLOv2网络对输入的样本图片进行无差别特征提取的原因，使得该网络在训练过程中学习到错误的特征，从而对行人检测的结果造成影响以及计算耗时高的问题。另一方面，行人检测的图像多以道路、车辆、建筑为背景，导致YOLOv2网络提取的行人特征信息相对于输入的样本图片信息非常的少，不能保证行人检测的准确率。为了提高行人检测的准确率、降低计算量和分析难度，本文在YOL
Ov2网络的第一层卷积层之前添加HOGCSLBP特征提取层，先对输入的样本图片进行预处理，突出行人轮廓特征信息，降低YOLOv2网络在训练过程中学习到错误的特征，从而提高行人检测的准确率。
(2)anchor与宽高维度的参数调整
因为VOC2007与VOC2012这两个数据集类别丰富，所以传统的YOLOv2网络中的anchor参数是通过这两个数据集进行聚类分析确定的。虽然传统的YOLOv2网络由VOC2007与VOC2012数据集进行聚类确定的anchor参数具有普适性，但是因为检测行人误检率以及漏检率高的原因并不适用于行人检测。另一方面，在行人检测的过程中，候选框的比值是固定不变的，并不会因为行人姿态的变化以及行人处于不同的背景而发生变化。因此，本文使用行人数据集通过聚类分析确定anchor个数与宽高维度的值。2.2目标框聚类分析
YOLOv2网络使用维度聚类的方法确定候选框的参数值，候选框的参数值在网络训练的过程中，随着迭代次数的增加不断接近真实框的值，而维度聚类方法采用的是K-mans算法。YOLOv2网络通过该算法对目标框进行聚类分析，然后使用维度聚类方法得到的目标框学习HOG-CS-LBP特征提取层提取的特征，并以最终的聚类结果：作为anchor个数的值以及聚类中心box的维度作为anchor维度的值。由于YOLOv2网络的维度聚类方法使用欧氏距离公式的原因，使得检测准确率受到候选框尺寸大小的影响，而IOU距离是由候选框与真实框的交集除以它们的并集得到的，从而就避免了使用欧式距离公式
造成的影响，所以本文在维度聚类方法的基础上使用IOU距离公式替代欧式距离公式，如式(3)所示，聚类目标函数如式(4)所示dQbox，centroid)%1—IOUQbox，centroid)(3)
i=k
S%min((1—IOU(box—truth))(4)
i%0
式(4)中的参数b o x、truth A k分别表示的是候选框、目标真实框以及anchor个数的值。
3实验结果与分析
本文在GPU6.0GB、中央处理器16.0GB、Ubun-tul6.04系统的环境下进行实验，使用Darknet-19深度学习框架搭建YOLOv2网络，以及对样本数据处理采用的是Python和Opencv。由于INRIA数据集背景复杂、拍摄条件多样、行人相互遮掩等多方面的原因，本文采用INRIA 数据集作为实验数据，该数据集包含有训练集和测试集，其中训练集由614张正样本和1218张负样本组成，测试集由288张正样本和453张负样本组成。
3.1anchor参数对行人检测的精度和速度的影响
anchor参数值设定的好与坏，将会影响到YOLOv2网络对行人检测的精度和速度。由于参数值的设定与聚类目标函数S中参数k相关的原因，因此本文通过改变k的取值确定anchor的最佳值，如图4所示。
12345678
%的取值
图4目标函数变化趋势
从图4中可以看出，目标函数S随着k值不断增大
,
第40卷第10期徐守坤，邱亮，李宁，等：基于HOG-CSLBP及YOLOv2的行人检测・2967・
它的变化越来越缓慢。当％的取值小于4时，目标函数S 的变化趋势非常快，虽然它的目标聚类速度很快，但是不能保证行人检测的精度。当％的取值大于4时，目标函数S 的变化趋势比较缓慢，虽然保证了行人的检测精度，但是 目标聚类速度缓慢影响行人检测速度。当％的取值等于4时，正好是目标函数S变化趋势的一个拐点，行人的检测精度与目标聚类速度相对于％的其它取值都是最优的。所以本文在实验过程中，将目标函数S中参数b的取值定为4(
木醋液3.2误判率测试
为了验证YOLOv2网络中添加的HOGCSLBP特征提取层的有效性，本文以负样本为测试数据，将与没有改进的YOLOv2网络进行误判能力的测试，测试结果如图5
从图5中可以看出，横坐标表示YOLOv2网络学习的行人特征个数，纵坐标表示YOLOv2网络误判负样本图片 个数。当网络学习的特征个数越多时，负样本的误判个数也不断降低且改进的YOLOv2网络的收敛速度更快，但是当传统的YOLOv2网络与改进的YOLOv2网络学习的行人 特征数一样时，改进的YOLOv2网络的误判负样本个数比传统的YOLOv2网络的误判负样本个数要少很多，即改进的YOLOv2网络的误判率低于传统的YOLOv2网络的误判率。说明了在YOLOv2网络中添加HOGCSLBP特征提取层，能够减少网络学习错误的特征。
3.3漏检率测试
虽然本文在YOLOv2网络的基础上进行了改进并降低了误检率，但是在行人检测中漏检是普遍存在的问题。为了验证本文提出的行人检测方法漏检率的优劣，本文采用LAMR*6+(log-average miss rate)指标作为漏检率的评判标准。由于LAMR指标表示的是平均每张测试样本图片的误检数在［io—2,102+范围之内与漏检率之间关系的原因&因此本文以INRIA的测试数据集为实验数据且在误检率相同的条件下，对本文提出的行人检测方法、HOG+SVM行人检测方法、Faster-RCNN行人检测方法以及传统的YOLOv2网络的行人检测方法进行了漏检率测试，测试结果见表1。
表1漏检率对比
方法HOG+SVM Faster-RCNN YOLOv2本文算法
一个度导航误检率0.10.10.10.1
漏检率
45.98%14.40%11.20%9.13%
从表#中可以看出，在误检率相等的条件下，传统的HOG+SVM行人检测方法的漏检率比Faster-RCNN^ YOLOv2网络以及本文提出的行人检测方法的漏检率高很多，本文算法的漏检率是最低的。相比于传统的YOLOv2网络行人检测方法，本文算法将行人检测的漏检率降低了2.07%，与Faster-RCNN行人检测方法相比，本文算法将行人检测的漏检率降低了5.27%，说明了本文提出的行人检测方法在表1所列的方法中具有最佳的检测效果，以及本文算法是有效可行的。网络取书
3・4行人检测线型灯
本文将基于HOG-CSLBP及YOLOv2网络的行人检测方法训练出来的模型用于行人检测，并与传统的YOLOv2网络训练出来的行人检测模型进行了对比，检测结果如图6，图7所示。
图6YOLOv2网络的行人检测结果
从图6、图7中可以看出，使用传统的YOLOv2网络训练出来的行人检测模型的检测效果比基于HOGCSLBP 及YOLOv2网络训练出来的行人检测模型的检测效果差，因为传统的YOLOv2网络在训练过程中是无差别学习训练样本图片中所有的信息，而本文提出的行人检测方法是在传统的YOLOv2网络基础上添加了HOGCSLBP特征提取层，由于该特征提取层突出了行人轮廓的特征信息、减少了网络在训练的过程中学习到非行人特征信息以及降低了漏检率的原因，使得检测效果优于传统YOLOv2网络的行人检测效果
。
翻转立方体
・2968・计算机工程与设计2019年
图7基于HOGCSLBP及YOLOv2网络的行人检测结果
4结束语
当背景比较简单或行人相互遮掩不是很严重的时候，将YOLOv2网络用于行人检测当中可以很好地检测出行人，但是在背景比较复杂或行人相互遮掩严重的时候，使用传统的YOLOv2网络训练出来的行人检测模型存在漏检和误检的问题。针对此问题，本文提出在YOLOv2网络的第一层卷积层前添加HOGCSLBP特征提取层，由于该特征提取层突出了行人轮廓特征信息以及降低了YOLOv2网络在训练模型的过程中学习到错误的特征信息的原因&从而降低了模型的误检率。为了提高行人检测的精度和速度&本文使用维度聚类的方法并把该方法中的欧氏距离公式替换成IOU距离公式&然后对行人数据集进行聚类分析，通过聚类的结果调整YOLOv2网络的anchor个数以及维度值。实验结果表明&本文算法在背景复杂或行人相互遮掩严重的情况下行人检测效果良好&且本文算法的检测性能优于表1中其它算法的检测性能。由于现实场景复杂多变且行人检测易受外在因素影响&还要增加外在的辅助信息与行人特征相结合的实验&进一步提高该算法的鲁棒性。
参考文献：
*+WANG Xiao,CHEN Jun,FANG Wenhua,et al.Pedestrian detection algorithm based on significant area[J[.Computer Engineering and Design,2015,36(2)：520-523(in Chinese).[王晓，陈军，方稳华，等.基于显著区域的行人检测算法*+计算机工程与设计，2015,36(2)：520-523..
[2+XU Chao,YAN Shengye.Improved pedestrian detection method of convolutional neural network[J[.Computer Application,2017,37(6)：1708-1715(in Chinese).[徐超，闫胜业.改进的卷积神经网络行人检测方法*+计算机应用，2017,37(6)：17081715.
[3+He M,Luo H,Chang Z,et al.Pedestrian detection with semantic regions of interest[J[.Sensors&2017,17(11)：
2699-2708.
[4+Cao J&Pang Y,Li X.Learning multilayer channll features for pedestrian detection[J[.IEEE Transactions on Image Processing,2017,26(7)：3210-3220.
[5+Park K,Kim S,Sohn K.Unified multi-spectral pedestrian detection based on probabilistic fusion networks[J[.Pattern Recognition&2018&80(2)：233-245.
*+HUANG Chengdu,HUANG Wenguang,YAN Bin.Pedes--rian detection based on Codebook backgr
ound modeling[J[.
Sensorsand Microsystems201736(3)：144-146(in Chi-nese).[黄成都，黄文广，闫斌.基于Codebook背景建模的视频行人检测[J+传感器与微系统，2017&36(3)：144-146..
[7+Myung KW,Qu LT,Lim JS.A neuro-fuzzy pedestrian detection method using convolutional multiblock HOG[J[.Tran-sactionsoftheKoreanInstituteofElectricalEngineers2017 66(7)：1117-1122.
[8+Li F,Zhang R,You F.Fast pedestrian detection and dynamic tracking for intelligent vehicles within V2V cooperative environment[J[.IET Image Processing,2017,11(10)：833-840. [9+Kong KK,Hong KS.Design of coupled strong classifiers in AdaBoost framework and its application to pedestrian detection [J+.Pattern Recognition Letters,2015,68:63-69.
[10]Li Zhixuan&Zhao Yanyun.Pedestrian detection in single
frame by edgelet-LBP part detectors[C]//IEEE Internatio-nalConferenceon Advanced VideoandSignalBasedSurveil-lance.0EEEComputerSociety&2013：420-425.
[11]Ouyang W,Wang X.Joint deep learning for pedestrian detec
tion[C]//IEEE International Conference on Computer Vision,2014：2056-2063.
[12]Lecun Y,Kavukcuoglu K,Farabet C.Convolutional net
works and applications in vision[C]//IEEE International SymposiumonCircuitsandSystems&2011：253-256.
[13]LIU Jianguo,LUOJie,WANG Shuaishuai,et al.Research on
pedestrian detection method based on YOLOv2[J].Digital Manufacturing Science,2018,44(5)：183-189(in Chinese).[刘建国，罗杰，王帅帅，等.基于YOLOv2的行人检测方法研究[J].数字制造科学，2018,44(5)：183-189..
[14]Khan MA,AkramT,Sharif M,et al.An implementation of
normaldistributionbasedsegmentationandentropycontro l ed featuresselectionforskinlesion detection and classification [J+6BmcCancer,2018,18(1)：6386
[15+UliyanDM,JalabHA,WahabAWA6Copymoveimagefor-gerydetectionusingHessianandcentersymmetriclocalbinary pa t ern[C+//OpenSystems6IEEE,2015：7-116
[16+Do l arP,Wojek C,SchieleB,etal6Pedestriandetection：Anevaluationofthestateoftheart[J+6IEEE Transactions on Pattern Analysis g Machine Intelligence,2015,34(4)：
743-761.
