现代电子技术
Modern Electronics Technique
Feb.2022Vol.45No.4
2022年2月15日第45卷第4期
0引言
人脸识别利用摄像设备采集人脸图像，是一项根据待检测目标面部特征信息进行身份识别的技术。随着计算机网络技术的普及与应用，人脸识别技术在闸机门禁、考勤管理、人脸支付等众多领域应用广泛[1⁃3]。传统生物识别技术[4⁃5]诸如指纹识别、声音识别以及虹膜识别等，或受内外因素干扰影响严重而识别效率低下，或对 软件、硬件设施要求高而难以普及推广应用。与传统生物识别技术相比，人脸识别技术可通过视频监控设备更加直观、便捷地检验人员身份信息，具有简洁、高效、经济以及可拓展性等特点，可应用于安全验证、视频监控、人员控制等诸多方面。传统的人脸识别方法[6⁃9]主要使用手工进行面部特征检测器的设计，在无约束环境中该特征信息极易受到外界因素干扰的影响，导致人脸识别算法鲁棒性降低。当前传统的人脸识别方法已逐步被
DOI ：10.16652/j.issn.1004⁃373x.2022.04.026
引用格式：李志华，张见雨，魏忠诚.基于MTCNN 和Facenet 的人脸识别系统设计[J].现代电子技术，2022，45（4）：139⁃143.
基于MTCNN 和Facenet 的人脸识别系统设计
李志华1，2，张见雨1，2，魏忠诚1，
2
（1.河北工程大学信息与电气工程学院，河北邯郸056038；2.河北省安防信息感知与处理重点实验室，河北邯郸
056038）
摘
要：由于传统人脸识别系统多采用手工进行特征设定，存在识别精度低、速度慢等缺点，因此文中设计一种基于
MTCNN 和Facenet 的人脸识别系统。采用MTCNN 模型进行人脸边框回归，通过三阶级联卷积神经网络对人脸图像进行从
粗到细的提取；采用Facenet 模型进行人脸特征向量提取，构建本地人脸特征库；通过比对待识别人脸特征向量与本地人脸特征库中向量间的欧氏距离，输出识别结果。为验证系统性能，从检测速度与检测精度两方面进行测试。实验结果表明，文中所设计的系统识别速度达25f/s 以上，当特征向量间的欧氏距离的阈值设定为0.60时，在数据集LFW 上的识别率最高达到99.27%。该系统检测速度满足实时性的同时具有较高的检测精度。
关键词：深度学习；卷积神经网络；人脸识别；MTCNN ；Facenet ；系统设计；特征提取；边框回归中图分类号：TN911.23⁃34；TP391
文献标识码：A
文章编号：1004⁃373X （2022）04⁃0139⁃05
Design of face recognition system based on MTCNN and Facenet
LI Zhihua 1，2，ZHANG Jianyu 1，2，WEI Zhongcheng 1，2
蛋白层析系统（1.School of Information and Electrical Engineering ，Hebei University of Engineering ，Handan 056038，China ；2.Hebei Key Laboratory of Security &Protection Information Sensing and Processing ，Handan 056038，China ）
mi.10bt.info
Abstract ：As the traditional face recognition systems mostly conduct feature setting with manual ，which has the disadvantages of low recognition accuracy and slow speed ，a face recognition system based on MTCNN and Facenet is designed.The MTCNN model is used for face frame regression ，and three⁃class convolution neural network is used to extract face images from coarse to fine.The Facenet model is used to extract face feature vector to construct local face feature database.The Euclidean distance between the face feature vector to be recognized and the vector in local face feature database was compared
to output the recognition results.The detection speed and detection accuracy were tested to verify the system performance.The
experimental results show that the recognition speed of the system designed in this paper is more than 25f/s ，and the highest recognition rate on data set LFW is 99.27%when the threshold of Euclidean distance between feature vectors is set to 0.60.The detection speed of the system can me
et the real⁃time performance and has high detection accuracy.Keywords ：deep learning ；convolutional neural network ；face recognition ；MTCNN ；Facenet ；system design ；feature
extraction ；box regression
收稿日期：2021⁃06⁃21修回日期：2021⁃07⁃30
基金项目：国家重点研发计划项目（2018YFF0301004）；河北省自然科学基金（F2018402251）
139
现代电子技术
2022年第45卷
基于卷积神经网络的深度学习方法[10⁃12]所代替，深度学习方法的优势在于利用数量庞大的数据集进行特征训练，进而学习到待检测目标深层次的最佳特征。
本文基于深度学习模型MTCNN [13]以及Facenet [14]模型，对人脸识别系统[15⁃16]展开设计。主要利用MTCNN 模型进行人脸检测以及图像提取，采用Facenet 模型进行人脸特征的提取，并通过构建本地人脸特征库，完成对人脸图像的实时识别。经过实验验证，本文设计的人脸识别系统人脸识别速度在满足实时性的同时，人脸识别精度在数据集LFW 上最高达到了99.27%。
1
基础工作
1.1
MTCNN 模型
多任务卷积神经网络（Multi ⁃Task Convolutional Neural Network ，MTCNN ）是由PNet （Proposal Network ）、RNet （Refine Network ）、Onet （Output Network ）三个级联的卷积神经网络构成的人脸检测深度学习模型，在人脸区域预测及人脸关键点标记点时，依次经过三层网络对
人脸图像进行由粗到精的提取。斗拱模型
图1为MTCNN 对输入图像的处理流程。首先，为了满足对不同尺寸人脸图像信息的检测，对测试图片进行尺度变换，构造出图片金字塔；其次，将构建好的图片金字塔送入PNet ，通过浅层、简单的卷积神经网络初步获取人脸区域的候选窗口；再输入到相较于PNet 多一个全连接层的RNet ，对候选窗口进行高精度过滤，对人脸区域进一步优化；最后，使用更复杂的网络ONet 对模型性能进行优化，完成对人脸区域的最终边框回归以
及特征点的标记。
图1MTCNN 人脸图像处理流程
1.2
Facenet 模型
Facenet 模型通过将人脸图像特征映射到多维空
间，采用计算欧氏空间距离的方法进行人脸相似度的判断。鉴于同一个人的人脸图像之间的欧氏空间距离较小，不同人脸图像之间的欧氏空间距离较大，通过对人脸图像特征向量之间的欧氏空间距离设置阈值，就可以达到区分人脸的效果。设2个n 维向量a （x 11，x 12，…，x 1n ）与b （x 21，x 22，…，x 2n ），则它们之间的欧氏距离公式如下：
d =
∑k =1
n (x 1k -x 2k )2
（1）
Facenet 采用基于深度神经网络的图像映射方法和
基于三元组的损失函数训练神经网络。图2为FaceNet 网络结构图。先将人脸训练数据Batch 送入到深度卷积神经网络进行特征的训练提取，再采用L2范式进行归一化操作，得到128维的人脸特征向量，最后采用基于
三元组的损失函数对得到的人脸特征向量进行微调。
图2FaceNet 网络结构
Facenet 模型的学习过程如图3所示，其中使用
Anchor （a ）表示从训练集中随机选取的样本数据，Positive （p ）表示随机选取的和Anchor 属于同
一类的样本，Negative （n ）表示随机选取的和Anchor 不同类的样本，（a ，p ，n ）
表示一个三元组。
图3Facenet 模型的学习过程
要保证Positive 和Anchor 之间的距离D （a ，p ）尽可能小，Negative 和Anchor 之间的距离D （a ，n ）尽可能大，学习目标为：
f (x
a i
)-f (x p i )22
+α<
f (x a i )-f (x n
i )22
∀[]f ()x
a i
,f ()x p i
,f
(x n i
)∈τ
（2）
式中，τ是训练集中所有可能的三元组的集合。陶瓷运输
优化目标如下：
L =∑i
N
éëùû f (x a i )-f (x p i )22- f (x a i )-f (x n i )2
2+α+
（3）式中，“+”表示“[]”内的值大于0时取该值为损失值，小于0时损失值为0。
2
人脸识别系统总体设计
2.1
人脸识别系统框架设计
整个人脸识别框架设计主要包括人脸信息采集以及人脸识别两个模块。图4为人脸识别系统实现框图。一方面，通过摄像设备采集构建得到人员图像库，通过人脸图像提取以及人脸特征提取操作构建人脸特征库。另一方面，摄像设备采集人员图像信息，然后对采集到的人员图像信息进行人脸图像信息提取，进一步对得到的人脸图像信息进行人脸特征的提取，获取待识别的人脸特征向量；最后将待检测的特征向量与已构建的特征
140
第4期
库中的信息进行比对，
输出识别结果。图4人脸识别系统实现框图
2.2
人脸信息采集模块设计
人脸信息采集模块的主要作用是采集获取待识别
的人脸特征向量，并添加到新构建的本地人脸特征库。其工作流程如图5
所示。
图5人脸信息采集流程图
具体工作及实现方法如下：
1）人员图像采集。通过对OpenCV 库的
VideoCapture （）函数的调用，利用摄像头完成人员活动视频数据流的读取，截取特定数量的视频帧作为数据
集，并进行姓名信息的标记。
2）人脸图像提取。对于采集到有标记的人员图像
数据，利用MTCNN 模型进行人脸图像的检测与提取。利用边框回归进行人脸检测的同时，将人脸图像信息输出到本地人脸图像库。
3）人脸特征提取。针对本地人脸图像库，利用
Facenet 模型进行人脸特征向量的提取，每张人脸图像经过深度学习网络会提取到一个128维的特征向量。
4）构建人脸特征库。构建本地人脸特征库主要对提取的人脸特征向量及其对应的标签信息进行存储。
人脸特征向量与标签信息的存储均是txt 文件形式，用字符串记录姓名标签信息，对人脸特征向量逐行进行存储。2.3
人脸识别模块设计
人脸识别模块主要是完成待检测人员的人脸识别，即通过摄像头实时获取人脸检测的识别信息。人脸识别模块的工作流程如图6所示，其中重要步骤具体实现如下：1）载入人脸特征库。人脸信息采集模块得到本地
人脸特征库，其存储的人脸特征向量以及人名标签信息将用于人脸识别模块识别结果的输出。其中，人脸标签信息将会以json 格式载入，人脸特征向量则会通过
numpy 模块以矩阵格式载入。
2）特征匹配。人脸识别模块将提取到的人脸特征
向量与本地存储的人脸特征库中的特征向量进行匹配操作，以获取待检测人脸姓名标签信息。该模块通过计算待检测人脸特征向量与本地人脸特征库里向量之间的距离，进行匹配结果的判断。
3）识别结果输出。比较待检测的人脸向量与载入
的本地人脸库的特征向量之间的欧氏距离d 与设定阈值的大小，如果欧氏距离d 大于设定的阈值，认为特征
匹配失败，输出“unknown ”；如果小于设定的阈值，则认为人脸特征向量匹配成功，输出与特征向量相对应的人
名标签信息。
图6人脸识别流程
3
实验方法
3.1
实验环境
为检测本文设计的基于MTCNN 与Facenet 的人脸李志华，等：基于MTCNN 和Facenet 的人脸识别
系统设计141
现代电子技术2022年第45卷
识别系统性能，进行人脸识别实验。实验数据采用人脸
识别常用的数据集LFW（Labeled Faces in the Wild）。
本次实验主要运行硬件环境与软件环境，配置信息如
表1所示。
表1配置信息表
序号1 2 3 4 5
名称
CPU
GPU
操作系统
编程语言
深度学习框架
配置
IntelⓇCore TM i5⁃8265U
NVIDIA GeForce MX150
Windows10
Python
TensorFlow
3.2实验结果与分析
3.2.1检测速度测试
本文系统主要通过计算人脸检测模块的运行时间来衡量检测速度，具体通过统计每秒识别的图片数量进行速度评测。一般认为，应用程序检测速度达到20f/s 以上即符合实时性要求。实验对系统检测速度测试主要采用以下两种方法进行：
方法一：对固定数目的人脸图像进行识别，统计总的检测时间，计算平均每秒检测的图片数。实验从数据集LFW中每次随机选取2000张图片进行检测，共计进行4组测试，测试结果如表2所示。
表2检测速度实验结果
组别1
2 3 4图片数量/张
2000
2000
2000
2000
活动装置
耗时/s
58.63
60.32
59.21
62.34
由表2统计结果可知，检测2000张图片总耗时约60s，平均检测单张图片耗时约30ms，每秒识别图片数量30张以上。
方法二：利用摄像头进行视频流的获取，对视频帧进行实时人脸识别速度检测。实验通过已采集的实验室人员图像信息进行人脸识别速度测试。图7为系统采集的部分人员图像，图8为对采集的部分图像进行人脸图像的提取结果，图9为系统经过比对输出的带有人脸检测框以及姓名标签的识别结果。经系统测试结果得知，检测速度在每秒25张左右。
综合以上两种检测速度测试方法所得实验结果可知，检测速度均达到25f/s以上，说明本文设计的基于MTCNN和Facenet的人脸识别系统人脸检测速度符合
实时性要求。
图7
人员图像采集
图8
人脸提取图像
图9识别结果
3.2.2检测精度测试
测试程序通过对测试集给出的图片进行识别，判断是否属于同一人的人脸信息，进而得出人脸识别准
确率。实验从数据集LFW中共计随机选取4000对人脸图像组成测试集。其中，测试集的一半属于同一人的2张人脸图片，另一半为2个人的不同人脸图片。对特征向量间的欧氏距离设定阈值，大于该阈值认为人脸特征匹配不成功，小于该阈值则认为匹配成功。表3为不同阈值下测得的人脸识别准确率，在阈值设定为0.60时，人脸识别准确率最高达到了99.27%。
表3不同阈值下的人脸识别率
阈值
0.50
0.55
0.60
0.65
0.70
0.75
准确率/%
96.25
98.40
99.27
气动真空阀
98.35
95.71
88.25
142
第4期
为比较基于MTCNN和Facenet的人脸识别算法的优越性，选取常用的人脸识别算法Deepface与DeepID2+进行对比。对本文程序进行实验，特征向量匹配时欧氏距离阈值设定为0.60。表4为不同人脸识别算法模型识别准确率的结果。
表4不同模型的识别准确率
模型Deepface DeepID2+本文算法准确率/%
97.23
98.45
99.27
由表4实验结果表明，本文设计的基于人脸检测模型MTCNN以及人脸识别模型Facenet的人脸识别系统，在公用数据集LFW上识别准确率要高于人脸识别算法Deepface与DeepID2+。
4结语
针对传统人脸识别系统识别精度低、速度慢等问题，本文利用深度学习模型MTCNN和Facenet先后完成人脸提取以及人脸特征向量提取。实验结果表明，本文设计的基于MTCNN和Facenet系统检测速度在满足实时性的情况下，在数据集LFW上人脸识别率最高达到了99.27%，证实了系统具有显著性能。
注：本文通讯作者为张见雨。
参考文献
[1]李慧颖，李薇，邢艳芳，等.基于TensorFlow的人脸识别系统设
计[J].计算机时代，2020（9）：61⁃63.
[2]孙鹏.人脸识别技术研究与应用进展概述[J].科技传播，2019，
11（24）：130⁃131.
[3]张天宇.人脸识别技术在视频监控中的应用[J].中国新通信，2020，22（13）：120.
[4]王飞龙.人脸识别技术及其安全性综述[J].信息记录材料，2018，19（12）：229⁃230.
[5]王利彬.人脸识别的过去和未来[J].中国公共安全，2019（12）：42⁃46.
[6]张广才，何继荣，高文朋.基于深度学习的人脸识别研究[J].无
线互联科技，2019，16（19）：133⁃135.
[7]杨彩凤，刘涛.非负矩阵分解算法用于人脸识别研究综述[J].
安庆师范大学学报（自然科学版），2020，26（3）：62⁃69. [8]程实，沐燕舟，赵赟.一种基于改进JDA算法的人脸检测方法[J].计算机与数字工程，2019，47（11）：2871⁃2875.
[9]王灵珍，赖惠成.基于多任务级联CNN与中心损失的人脸识
别[J].计算机仿真，2020，37（8）：398⁃403.
[10]王嘉鑫，邹科文，陈义明.基于卷积神经网络的人脸识别[J].
电脑知识与技术，2016，12（29）：187⁃190.
[11]邓良，许庚林，李梦杰，等.基于深度学习与多哈希相似度加
权实现快速人脸识别[J].计算机科学，2020，47（9）：163⁃168.
[12]于艺春.基于神经网络算法的人脸识别[J].电子技术与软件
工程，2019（24）：247⁃248.
[13]FLORIAN S，DMITRY K，JAMES P.Facenet：a unified embedding for face recognition and clustering[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Boston：
IEEE，2015：815⁃823. [14]ZHANG K P，ZHANG Z P，LI Z F，et al.Joint face detection and alignment using multitask cascaded convolutional networks[J].IEEE signal processing letters，2016，23（10）：1499⁃1503.
[15]孙玥，杨国为.基于人脸识别的学生考勤系统的研究[J].现代
电子技术，2020，43（10）：116⁃118.
[16]胡禛昊.基于人脸识别算法的门禁系统设计与实现[J].通讯
世界，2018（10）：294⁃296.
作者简介：李志华（1978—），女，河北邯郸人，博士，副教授，硕士生导师，研究方向为无线传感器网络与物联网、图像处理。
张见雨（1992—），男，河南周口人，硕士，研究方向为计算机视觉、图像处理。
魏忠诚（1987—），男，河南商丘人，博士，副教授，硕士生导师，研究方向为智慧安防物联网。
李志华，等：基于MTCNN和Facenet的人脸识别系统设计143
