G06F3/01 G06K9/00 G06Q10/10
1.一种基于微表情识别的审批指令生成方法,其特征在于,包括:
接收终端发送的审批申请,其中所述审批申请指定了审批的类型;
根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
判断所述微表情识别结果是否属于预设的恶意微表情列表;
若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并根据所述审批的类型生成审批指令。
2.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部的步骤,包括:
根据所述审批申请,通过所述终端的麦克风语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;
判断所述全身图像是否包括所述指定肢体动作;
若所述全身图像包括所述指定肢体动作,则判定活体验证通过;
从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
3.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像的步骤,包括:
将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;
将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;
调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;
将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
4.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:
获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;
利用测试集的样本数据验证所述初始微表情识别模型;
若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
5.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:
获取已经训练完成的已有神经网络模型的各层权重参数;
将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;
利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
6.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:
若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
7.根据权利要求1所述的基于微表情识别的审批指令生成方法,其特征在于,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:
若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;
向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;
将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;
若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
8.一种基于微表情识别的审批指令生成装置,其特征在于,包括:
审批申请接收单元,用于接收终端发送的审批申请,其中所述审批申请指定了审批的类型;
初始图像获取单元,用于根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
面部图像获取单元,用于对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
微表情识别单元,用于将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
恶意微表情判断单元,用于判断所述微表情识别结果是否属于预设的恶意微表情列表;
审批指令生成单元,用于若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并根据所述审批的类型生成审批指令。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
本申请涉及到计算机领域,特别是涉及到一种基于微表情识别的审批指令生成方法、装置、计算机设备和存储介质。
传统方法对于风险行为的审批,只能通过书面数据等材料的判断,来确定风险行为是否属于恶意行为,无法准确快捷筛选出恶意行为。然而,这种审核书面数据的方式来进行,容易被恶意申请人钻空子,例如通过伪造材料等方式欺骗审核人员。并且这种审核书面数据的方式,需要对书面材料进行核实,从而需要进行大量保密数据的查询,涉及到权限等方面的要求,门槛高流程复杂。因此传统方法在防止风险行为方面缺乏准确快捷的风险控制方案。
本申请的主要目的为提供一种基于微表情识别的审批指令生成方法、装置、计算机设备和存储介质,旨在准确快捷地鉴别风险行为。
为了实现上述发明目的,本申请提出一种基于微表情识别的审批指令生成方法,包括以下步骤:
接收终端发送的审批申请,其中所述审批申请指定了审批的类型;
根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
判断所述微表情识别结果是否属于预设的恶意微表情列表;
若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并根据所述审批的类型生成审批指令。
进一步地,所述根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部的步骤,包括:
根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;
判断所述全身图像是否包括所述指定肢体动作;
若所述全身图像包括所述指定肢体动作,则判定活体验证通过;
从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
进一步地,所述对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像的步骤,包括:
将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;
将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;
调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;
将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
进一步地,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:
获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;
利用测试集的样本数据验证所述初始微表情识别模型;
若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
进一步地,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:
获取已经训练完成的已有神经网络模型的各层权重参数;
将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;
利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
进一步地,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:
若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
进一步地,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:
若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;
向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;
将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;
若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
本申请提供一种基于微表情识别的审批指令生成装置,包括:
审批申请接收单元,用于接收终端发送的审批申请,其中所述审批申请指定了审批的类型;
初始图像获取单元,用于根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
面部图像获取单元,用于对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
微表情识别单元,用于将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
恶意微表情判断单元,用于判断所述微表情识别结果是否属于预设的恶意微表情列表;
审批指令生成单元,用于若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并根据所述审批的类型生成审批指令。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于微表情识别的审批指令生成方法、装置、计算机设备和存储介质,接收终端发送的审批申请;对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像;对所述初始图像进行区域识别处理从而识别出面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算;若微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。从而实现了准确快捷的审批指令生成。
图1为本申请一实施例的基于微表情识别的审批指令生成方法的流程示意图;
图2为本申请一实施例的基于微表情识别的审批指令生成装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种基于微表情识别的审批指令生成方法,包括以下步骤:
S1、接收终端发送的审批申请,其中所述审批申请指定了审批的类型;
S2、根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
S3、对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
S4、将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
S5、判断所述微表情识别结果是否属于预设的恶意微表情列表;
S6、若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并根据所述审批的类型生成审批指令。
如上述步骤S1所述,接收终端发送的审批申请。传统方法对于的审批,只能通过书面数据等材料的判断,来确定是否属于恶意,无法准确快捷筛选出恶意。本申请利用微表情识别技术,以准确快捷地判断出是否属于恶意,以实现有效的审批指令生成。其中,所述审批申请指人发送的对意图事项进行审批的申请。进一步地,所述审批申请还可以包括审批材料,例如借款人的身份证号、姓名、收入情况、抵押物状况和信用情况等。其中,所述审批可以为任意审批,例如为贷款审批等。
如上述步骤S2所述,根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。其中,通过所述终端的摄像头,采集所述终端对应的用户的初始图像的方式例如为:通过所述终端的摄像头,以视频模式采集所述终端对应的用户的视频数据,从所述视频数据中根据预设的图像选择规则采集初始图像;或者,通过所述终端的摄像头,以照相模式采集所述终端对应的用户的多张图像,并以所述多张图像中的一张或者多张作为所述初始图像。所述活体验证的方式例如包括:根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述用户的全身图像,其中所述全身图像包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则判定活体验证通过。
如上述步骤S3所述,对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像。由于初始图像可以包括较大的区域,而本申请通过面部区域进行微表情识别即可,因此通过区域识别处理从而识别出面部区域,从而减少数据计算量,减轻计算负担。其中对所述初始图像进行区域识别处理从而识别出面部区域的方式可为任意可行方式,例如:将所述初始图像划分为多个区域,将多个区域与预设的面部区域进行对比,将相似程度不超过阈值的区域作为面部区域;或者,所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域,将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域,调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
如上述步骤S4所述,将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成。其中神经网络模型可以为任意模型,例如VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等,优选DPN模型。DPN(DualPath Network)是神经网络结构,在ResNeXt的基础上引入了DenseNet的核心内容,使得模型对特征的利用更加充分。上述DPN、ResNeXt和DenseNet是现有的网络结构,在此不在赘述。据此,通过基于神经网络模型训练完成的微表情识别模型对所述面部图像进行运算,从而得到微表情识别结果。其中所述微表情识别结果包括:开心、生气、害怕、惊讶等类型,还可细分为喜笑颜开、怒火中烧、胆颤心惊、大吃一惊等类型。
如上述步骤S5所述,判断所述微表情识别结果是否属于预设的恶意微表情列表。预设的恶意微表情列表记录了具体的恶意微表情,例如假意微笑、心存窃喜等。若所述微表情识别结果属于预设的恶意微表情列表,例如为假意微笑,则表明很可能属于恶意申请,不应通过。
如上述步骤S6所述,若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。预设的恶意微表情列表是用于区分微表情是否恶意的判断标准。若所述微表情识别结果不属于预设的恶意微表情列表,表明表情正常,属于正常申请,应该进行正常的审批程序,据此生成审批指令。其中,所述审批指令用于指示对所述审批申请按照预设的审批程序进行审批。
在一个实施方式中,所述根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部的步骤S2,包括:
S201、根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;
S202、判断所述全身图像是否包括所述指定肢体动作;
S203、若所述全身图像包括所述指定肢体动作,则判定活体验证通过;
S204、从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
如上所述,实现了先进行活体识别,再采集所述终端对应的用户的初始图像。为了防止静态图像、伪造视频等欺骗摄像头以进行欺诈贷款的行为,本实施方式采用活体识别的方式以保证用户为活体用户。具体地,根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述用户的全身图像,其中所述全身图像包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则将所述全身图像作为所述初始图像。即,若用户为活体用户,那么将根据语音提示做出指定肢体动作,因此所述全身图像包括所述指定肢体动作可以表明用户为活体用户。因此此时的全身图像是可用的,据此将所述全身图像作为所述初始图像。进一步地,所述指定肢体动作包括多种,所述若所述全身图像包括所述指定肢体动作,则判定活体验证通过,包括:采集所述多幅全身图像中出现多种所述指定肢体动作的图像,并标记为活体验证图像;判断所述活体验证图像中的所述指定肢体动作出现的顺序是否与预设顺序相同;若相同,则判定活体验证通过。
在一个实施方式中,所述对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像的步骤S3,包括:
S301、将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;
S302、将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;
S303、调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;
S304、将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
如上所述,实现了对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像。其中,眼睛图像数据为标准的可用于标识眼睛特征的图像数据(例如预先采集得到的人的眼睛图像区域的数据),嘴巴图像数据为标准的可用于标识嘴巴特征的图像数据(例如预先采集得到的人的嘴巴图像区域的数据),所述图像数据例如为图像像素(三原等)等。而具体比对图像数据的方法可采用任意的传统比较方式,在此不赘述。进一步地,若所述眼睛区域大于划分的单个区域,则以差值不超过预设数值的多个连续的区域为眼睛区域;同理,以差值不超过预设数值的多个连续的区域为鼻子区域。由于人的面部中的五官是按一定的几何结构比例分布的,若确定眼睛区域与嘴巴区域,即可获知大致的面部轮廓。据此,调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,同时使所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合,再将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤S4之前,包括:
S401、获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
S402、将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;
S403、利用测试集的样本数据验证所述初始微表情识别模型;
S404、若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
如上所述,实现了设置微表情识别模型。本实施方式基于神经网络模型以训练出微表情识别模型。其中神经网络模型可为VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等,优选DPN模型。其中,随机梯度下降法就是随机取样一些训练数据,替代整个训练集,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经迭代到最优解了,可以提高训练速度。进一步地,训练的过程还可以采用反向传导法则更新所述神经网络模型各层的参数。其中反向传导法则(BP)建立在梯度下降法的基础上,BP网络的输入输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性,有利于神经网络模型各层的参数的更新。从而获得初始微表情识别模型。再利用测试集的样本数据验证所述初始微表情识别模型,若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤S4之前,包括:
S411、获取已经训练完成的已有神经网络模型的各层权重参数;
S412、将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;
S413、利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
S414、若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
如上所述,实现了采用迁移学习,快速获得微表情识别模型。若具有已经训练好的神经网络模型,即可以免去训练的步骤,从而直接得到初始微表情识别模型。即将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数,以获得初始微表情识别模型,从而省去了训练步骤。为了防止初始微表情识别模型并不适用,还利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别,若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。从而保证最终获得的微表情识别模型正确可用。
在一个实施方式中,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤S5之后,包括:
S7、若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
如上所述,实现了向所述终端返回审批不通过的信息。如前述,预设的恶意微表情列表是判断所述用户的微表情是否恶意的标准,从而判断所述贷款是否为恶意贷款。若所述微表情识别结果属于预设的恶意微表情列表中,表明用户存在恶意的可能性很高,从而则判定所述为恶意,并向所述终端返回审批不通过的信息。进一步地,在向所述终端返回审批不通过的信息之后,将所述终端对应的用户记为嫌疑用户,以便在以后所述用户进行下一次贷款申请时作为参考。
在一个实施方式中,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤S5之后,包括:
S51、若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;
S52、向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;
S53、将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;
S54、若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
如上所述,实现了将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。本实施方式采用的共识机制可为任意共识机制,优选股份授权证明机制。其中股份授权证明机制是指,所有区块链节点投选出多个委托区块链节点,从而多个委托区块链节点代表所有区块链节点对是否将数据记录入区块链做出判断,从而避免当区块链节点数量过多时区块链运作缓慢的缺点。并且,为了防止部分审核区块链节点不能参与审核(例如部分审核区块链节点未开机,或者通讯故障等原因)而导致最终决定不准确,本实施方式还采用向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点的方式,以确定能够审核的审核区块链节点,并记为最终审核区块链节点,将所述微表情识别结果发送给多个所述最终审核区块链节点,从而既减少了不必要的网络开销,又能保证后续判断的准确性(排除了不能参与审核的节点)。其中预设的区块链记录条件例如为所述审核结果为通过的最终审核区块链节点数量大于预设阈值。
本申请的基于微表情识别的审批指令生成方法,接收终端发送的审批申请;对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像;对所述初始图像进行区域识别处理从而识别出面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算;若微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。从而实现了准确快捷的审批指令生成。
参照图2,本申请实施例提供一种基于微表情识别的审批指令生成装置,包括:
审批申请接收单元10,用于接收终端发送的审批申请;
初始图像获取单元20,用于根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;
面部图像获取单元30,用于对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;
微表情识别单元40,用于将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;
恶意微表情判断单元50,用于判断所述微表情识别结果是否属于预设的恶意微表情列表;
审批指令生成单元60,用于若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。
如上述单元10所述,接收终端发送的审批申请。传统方法对于的审批,只能通过书面数据等材料的判断,来确定是否属于恶意,无法准确快捷筛选出恶意。本申请利用微表情识别技术,以准确快捷地判断出是否属于恶意,以实现有效的审批指令生成。其中,所述审批申请指人发送的对意图事项进行审批的申请。进一步地,所述审批申请还可以包括审批材料,例如借款人的身份证号、姓名、收入情况、抵押物状况和信用情况等。
如上述单元20所述,根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。其中,通过所述终端的摄像头,采集所述终端对应的用户的初始图像的方式例如为:通过所述终端的摄像头,以视频模式采集所述终端对应的用户的视频数据,从所述视频数据中根据预设的图像选择规则采集初始图像;或者,通过所述终端的摄像头,以照相模式采集所述终端对应的用户的多张图像,并以所述多张图像中的一张或者多张作为所述初始图像。所述活体验证的方式例如包括:根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述用户的全身图像,其中所述全身图像包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则判定活体验证通过。
如上述单元30所述,对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像。由于初始图像可以包括较大的区域,而本申请通过面部区域进行微表情识别即可,因此通过区域识别处理从而识别出面部区域,从而减少数据计算量,减轻计算负担。其中对所述初始图像进行区域识别处理从而识别出面部区域的方式可为任意可行方式,例如:将所述初始图像划分为多个区域,将多个区域与预设的面部区域进行对比,将相似程度不超过阈值的区域作为面部区域;或者,所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域,将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域,调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
如上述单元40所述,将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成。其中神经网络模型可以为任意模型,例如VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等,优选DPN模型。DPN(DualPath Network)是神经网络结构,在ResNeXt的基础上引入了DenseNet的核心内容,使得模型对特征的利用更加充分。上述DPN、ResNeXt和DenseNet是现有的网络结构,在此不在赘述。据此,通过基于神经网络模型训练完成的微表情识别模型对所述面部图像进行运算,从而得到微表情识别结果。其中所述微表情识别结果包括:开心、生气、害怕、惊讶等类型,还可细分为喜笑颜开、怒火中烧、胆颤心惊、大吃一惊等类型。
如上述单元50所述,判断所述微表情识别结果是否属于预设的恶意微表情列表。预设的恶意微表情列表记录了具体的恶意微表情,例如假意微笑、心存窃喜等。若所述微表情识别结果属于预设的恶意微表情列表,例如为假意微笑,则表明很可能属于恶意申请,不应通过。
如上述单元60所述,若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。预设的恶意微表情列表是用于区分微表情是否恶意的判断标准。若所述微表情识别结果不属于预设的恶意微表情列表,表明表情正常,属于正常申请,应该进行正常的审批程序,据此生成审批指令。其中,所述审批指令用于指示对所述审批申请按照预设的审批程序进行审批。
在一个实施方式中,所述初始图像获取单元20,包括:
全身图像采集子单元,用于根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;
指定肢体动作判断子单元,用于判断所述全身图像是否包括所述指定肢体动作;
活体验证通过判定子单元,用于若所述全身图像包括所述指定肢体动作,则判定活体验证通过;
初始图像获取子单元,用于从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
如上所述,实现了先进行活体识别,再采集所述终端对应的用户的初始图像。为了防止静态图像、伪造视频等欺骗摄像头以进行欺诈贷款的行为,本实施方式采用活体识别的方式以保证用户为活体用户。具体地,根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述用户的全身图像,其中所述全身图像包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则将所述全身图像作为所述初始图像。即,若用户为活体用户,那么将根据语音提示做出指定肢体动作,因此所述全身图像包括所述指定肢体动作可以表明用户为活体用户。因此此时的全身图像是可用的,据此将所述全身图像作为所述初始图像。进一步地,所述指定肢体动作包括多种,所述若所述全身图像包括所述指定肢体动作,则判定活体验证通过,包括:采集所述多幅全身图像中出现多种所述指定肢体动作的图像,并标记为活体验证图像;判断所述活体验证图像中的所述指定肢体动作出现的顺序是否与预设顺序相同;若相同,则判定活体验证通过。
在一个实施方式中,所述面部图像获取单元30,包括:
眼睛区域获取子单元,用于将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;
嘴巴区域获取子单元,用于将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;
重合处理子单元,用于调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;
面部图像标记子单元,用于将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
如上所述,实现了对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像。其中,眼睛图像数据为标准的可用于标识眼睛特征的图像数据,嘴巴图像数据为标准的可用于标识嘴巴特征的图像数据,所述图像数据例如为图像像素(三原等)等。而具体比对图像数据的方法可采用任意的传统比较方式,在此不赘述。进一步地,若所述眼睛区域大于划分的单个区域,则以差值不超过预设数值的多个连续的区域为眼睛区域;同理,以差值不超过预设数值的多个连续的区域为鼻子区域。由于人的面部中的五官是按一定的几何结构比例分布的,若确定眼睛区域与嘴巴区域,即可获知大致的面部轮廓。据此,调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,同时使所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合,再将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
在一个实施方式中,所述装置,包括:
样本数据获取单元,用于获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
训练单元,用于将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;
验证单元,用于利用测试集的样本数据验证所述初始微表情识别模型;
微表情识别模型标记单元,用于若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
如上所述,实现了设置微表情识别模型。本实施方式基于神经网络模型以训练出微表情识别模型。其中神经网络模型可为VGG16模型、VGG19模型、VGG-F模型、ResNet152模型、ResNet50模型、DPN131模型、IXception模型、AlexNet模型和DenseNet模型等,优选DPN模型。其中,随机梯度下降法就是随机取样一些训练数据,替代整个训练集,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经迭代到最优解了,可以提高训练速度。进一步地,训练的过程还可以采用反向传导法则更新所述神经网络模型各层的参数。其中反向传导法则(BP)建立在梯度下降法的基础上,BP网络的输入输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性,有利于神经网络模型各层的参数的更新。从而获得初始微表情识别模型。再利用测试集的样本数据验证所述初始微表情识别模型,若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述装置,包括:
权重参数获取单元,用于获取已经训练完成的已有神经网络模型的各层权重参数;
初始化单元,用于将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;
测试验证单元,用于利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;
微表情识别模型获取单元,用于若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
如上所述,实现了采用迁移学习,快速获得微表情识别模型。若具有已经训练好的神经网络模型,即可以免去训练的步骤,从而直接得到初始微表情识别模型。即将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数,以获得初始微表情识别模型,从而省去了训练步骤。为了防止初始微表情识别模型并不适用,还利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别,若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。从而保证最终获得的微表情识别模型正确可用。
在一个实施方式中,所述装置,包括:
异常判定单元,用于若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
如上所述,实现了向所述终端返回审批不通过的信息。如前述,预设的恶意微表情列表是判断所述用户的微表情是否恶意的标准,从而判断所述贷款是否为恶意贷款。若所述微表情识别结果属于预设的恶意微表情列表中,表明用户存在恶意的可能性很高,从而则判定所述为恶意,并向所述终端返回审批不通过的信息。进一步地,在向所述终端返回审批不通过的信息之后,将所述终端对应的用户记为嫌疑用户,以便在以后所述用户进行下一次贷款申请时作为参考。
在一个实施方式中,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述装置,包括:
审核区块链节点获取单元,用于若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;
确认信息发送单元,用于向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;
记录申请发送单元,用于将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;
记录单元,用于若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
如上所述,实现了将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。本实施方式采用的共识机制可为任意共识机制,优选股份授权证明机制。其中股份授权证明机制是指,所有区块链节点投选出多个委托区块链节点,从而多个委托区块链节点代表所有区块链节点对是否将数据记录入区块链做出判断,从而避免当区块链节点数量过多时区块链运作缓慢的缺点。并且,为了防止部分审核区块链节点不能参与审核(例如部分审核区块链节点未开机,或者通讯故障等原因)而导致最终决定不准确,本实施方式还采用向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点的方式,以确定能够审核的审核区块链节点,并记为最终审核区块链节点,将所述微表情识别结果发送给多个所述最终审核区块链节点,从而既减少了不必要的网络开销,又能保证后续判断的准确性(排除了不能参与审核的节点)。其中预设的区块链记录条件例如为所述审核结果为通过的最终审核区块链节点数量大于预设阈值。
本申请的基于微表情识别的审批指令生成装置,接收终端发送的审批申请;对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像;对所述初始图像进行区域识别处理从而识别出面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算;若微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。从而实现了准确快捷的审批指令生成。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于微表情识别的审批指令生成方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情识别的审批指令生成方法。
上述处理器执行上述基于微表情识别的审批指令生成方法,包括以下步骤:接收终端发送的审批申请;根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;判断所述微表情识别结果是否属于预设的恶意微表情列表;若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。
在一个实施方式中,所述根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部的步骤,包括:根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则判定活体验证通过;从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
在一个实施方式中,所述对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像的步骤,包括:将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;利用测试集的样本数据验证所述初始微表情识别模型;若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:获取已经训练完成的已有神经网络模型的各层权重参数;将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
在一个实施方式中,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,接收终端发送的审批申请;对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像;对所述初始图像进行区域识别处理从而识别出面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算;若微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。从而实现了准确快捷的审批指令生成。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现基于微表情识别的审批指令生成方法,包括以下步骤:接收终端发送的审批申请;根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部;对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成;判断所述微表情识别结果是否属于预设的恶意微表情列表;若所述微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。
在一个实施方式中,所述根据所述审批申请,通过所述终端的摄像头采集所述终端对应的用户的多幅全身图像,根据预设的活体验证规则,利用所述多幅全身图像对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部的步骤,包括:根据所述审批申请,通过所述终端的麦克风,语音提示所述终端对应的用户做出指定肢体动作,并通过所述终端的摄像头以采集所述终端对应的用户的多幅全身图像,其中所述多幅全身图像中的至少一张包括所述终端对应的用户的面部;判断所述全身图像是否包括所述指定肢体动作;若所述全身图像包括所述指定肢体动作,则判定活体验证通过;从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像,其中所述初始图像至少包括所述终端对应的用户的面部。
在一个实施方式中,所述对所述初始图像进行区域识别处理从而识别出面部区域,并将所述面部区域范围内的图像作为面部图像的步骤,包括:将所述初始图像划分为多个区域,将每个区域的图像数据与预设的眼睛图像数据进行对比,得到每个区域图像数据与眼睛图像数据的差值,将差值不超过预设数值的区域记为眼睛区域;将每个区域的图像数据与预设的嘴巴图像数据进行比较,得到每个区域图像数据与嘴巴图像数据的差值,将差值不超过预设数值的区域记为嘴巴区域;调用标准面部图像,并通过等比例缩小或者放大操作,使所述标准面部图像中的眼睛区域的中心与所述初始图像中的眼睛区域的中心重合,以及所述标准面部图像中的嘴巴区域的中心与所述初始图像中的嘴巴区域的中心重合;将所述初始图像中与经过所述等比例缩小或者放大操作后的标准面部图像重叠的区域记为面部区域,并将所述面部区域范围内的图像作为面部图像。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:获取指定数量的样本数据,并将样本数据分成训练集和测试集;其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;将训练集的样本数据输入到预设的神经网络模型中进行训练,得到初始微表情识别模型,其中,训练的过程中采用随机梯度下降法;利用测试集的样本数据验证所述初始微表情识别模型;若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算,从而得到微表情识别结果,其中,所述微表情识别模型基于人脸图像,以及与所述人脸图像关联的微表情类别组成的样本数据训练而成的步骤之前,包括:获取已经训练完成的已有神经网络模型的各层权重参数;将所述各层权重参数初始化为初始微表情识别模型的各层初始权重参数;利用测试集的样本数据验证所述初始微表情识别模型,其中,所述样本数据包括人脸图像,以及与所述人脸图像关联的微表情类别;若验证通过,则将所述初始微表情识别模型记为所述微表情识别模型。
在一个实施方式中,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:若所述微表情识别结果属于预设的恶意微表情列表,则判定所述审批申请异常,并向所述终端返回审批不通过的信息。
在一个实施方式中,所述审批指令生成方法应用于审批终端,所述审批终端是预先构建的区块链网络中的一个区块链节点,所述判断所述微表情识别结果是否属于预设的恶意微表情列表的步骤之后,包括:若所述微表情识别结果属于预设的恶意微表情列表,则在预先搭建的区块链网络中,获取根据所述区块链网络的预设共识机制投选出的多个审核区块链节点;向所有所述审核区块链节点发送连接确认信息,并将回复所述连接确认信息的审核区块链节点记为最终审核区块链节点;将指定数据记录申请发送给所述最终审核区块链节点,并接收所述最终审核区块链节点的审核结果,并判断所述审核结果是否满足预设的区块链记录条件,其中所述指定数据记录申请附带有所述审批申请对应的用户和所述微表情识别结果;若所述审核结果满足预设的区块链记录条件,则将所述审批申请对应的用户和所述微表情识别结果记录入所述区块链网络中。
本申请的计算机可读存储介质,接收终端发送的审批申请;对所述终端对应的用户进行活体验证;并在活体验证通过之后,从所述多幅全身图像中选取至少一张作为所述终端对应的用户的初始图像;对所述初始图像进行区域识别处理从而识别出面部图像;将所述面部图像输入到预设的基于神经网络模型训练完成的微表情识别模型中进行运算;若微表情识别结果不属于预设的恶意微表情列表,则判定所述审批申请正常,并生成审批指令。从而实现了准确快捷的审批指令生成。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
本文发布于:2023-04-13 22:30:47,感谢您对本站的认可!
本文链接:https://patent.en369.cn/patent/1/86777.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
留言与评论(共有 0 条评论) |