基于人体姿势识别的火灾逃生技能教学监测系统

阅读：评论：0

1.本发明属于智能教学、技术领域，尤其涉及一种基于人体姿势识别的火灾逃生技能教学监测系统。

背景技术：

2.室内火灾最初发生在室内的某个房间或某个部位，然后由此蔓延到相邻区域，楼层，最后蔓延到整个建筑物，最终导致重大经济损失甚至威胁到生命安全。为减少此类事件发生，人们通过一些技术模拟火灾发生现场，通过火灾模拟演练为众普及火灾扑救以及消防应急等方面的知识，使众在火灾发生时能及时作出反应并到正确的处理方式。
3.随着互联网和人工智能技术的日趋成熟，将这些技术应用到传统的教学过程中，推动教育技术的智能化改革，已成为当前的研究热点。火灾逃生技能的教学是智能消防的重要部分，是加深医人们对所学理论知识的理解应用，降低火灾发生时的损失。

技术实现要素：

4.为满足用户对于更强烈的操控感和沉浸感的需求，以及保证实景火灾模拟的安全性，本发明提供了一种基于人体姿势识别的火灾逃生技能教学监测系统，方便开展基于人体姿势识别的火灾逃生技能深度教学，以便客观、及时获得教学效果的反馈信息，从而较为精准地提高学习质量，促进火灾逃生技能的发展。
5.本发明具体采用以下技术方案：一种基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：由相连接的视频采集模块、视频分析模块、对抗网络模块、结果统计模块和结果推送模块组成；所述视频采集模块由多个摄像头组成，所述摄像头安装在虚拟火灾现场，用于对虚拟火灾现场进行逃生视频采集，并将采集的逃生视频通过yolo神经网络传送至视频分析模块；所述视频分析模块接收视频采集模块发送的逃生视频，并将逃生视频与进行数据分析提取，得到人体骨骼形状参数，并通过yolo神经网络将人体骨骼形状参数进行回归；所述对抗网络模块包括生成模型和判别模型，用于获取视频分析模块中人体骨骼形状参数生成对应模型，并将该模型与样本进行判别，得到相应姿势：通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集；通过光流法对所述规范视频进行预处理，得到与所述规范视频对应的第二图集；通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集；通过卷积神经网络获取所述第二图集中每一目标图对应的目标图特征向量，以组成第二图特征向量集；所述结果统计模块用于获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的相似度，以得到所述逃生视频与所述规范视频的平
均相似度；以及将所述逃生视频与所述规范视频的平均相似度进行评分；所述结果推送模块接收所述评分结果并进行推送。
6.进一步地，还包括与结果统计模块连接的信息录入模块，由评分规则录入单元以及逃生规则录入单元组成。
7.进一步地，所述评分规则录入单元用于设置与平均相似度相对应的评分，所述逃生规则录入单元用于设置逃生规则，所述逃生规则包括摄像头所摄录的逃生现场区域、预设逃生最大时长以及实时摄录到的人脸视频与预设的人脸视频相匹配；当满足逃生规则的情况下，所述结果统计模块才进行评分的计算。
8.进一步地，所述通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集具体包括：将所述第一图集中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；其中，将目标图进行预处理为依序对所述目标图进行灰度化、边缘检测和二值化处理；将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集。
9.对于第二图特征向量集也同理类似。
10.进一步地，所述获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的相似度具体包括：获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的欧氏距离后求平均欧氏距离值，以所述平均欧氏距离值作为所述第一图特征向量集与所述第二图特征向量集之间的相似度。
11.进一步地，所述信息录入模块还包括视频质量检测录入单元和人员基础数据录入单元；所述视频质量检测录入单元用于录入用于实时检测的规范视频；所述人员基础数据录入单元用于录入用户信息。
12.进一步地，所述结果统计模块在向结果推送模块传输评分结果之前，首先对数据信息进行匹配，得到对应于操作视频的用户信息；并将评分结果、扣分原因、用户信息、操作视频记录到后台服务器管理系统的比对记录中；再将评分结果、扣分原因、用户信息、逃生视频反馈至结果推送模块。
13.相比于现有技术，本发明及其优选方案实现了对火灾模拟训练的自动化监控和评分，能够有效提高火灾模拟训练的效果，一方面降低了人力物力的支出成本，通过一次性的设备装置构建就能批量进行评分，另一方面因为所基于的是机器学习产生的客观规则，准确性也比人工评价更为准确。因此具有较高的实用价值和社会意义。
附图说明
14.下面结合附图和具体实施方式对本发明进一步详细的说明：图1为本发明实施例系统组成功能框图；图2为本发明实施例第一图集功能框图；图3为本发明实施例第二图集功能框图。
15.图中：1-视频采集模块、2-高清摄像头、3-视频分析模块、4-对抗网络模块、5-结果统计模块、6-结果推送模块、7-后台服务器、8-评分规则录入单元、9-逃生规则录入单元、10-信息录入模块、201-第一图集、2011-第一图特征向量集、202-第二图集、2021-第二图特征向量集。
具体实施方式
16.下面将对通过实施例对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅为本发明的一部分实施例，而不是全面的实施例。基于本发明中的实施例，本领域普遍技术人员在没有做出创造性劳动的前提下所获得的的其他所有实施例，都属于本发明保护的范围。
17.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
18.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
19.请参阅图1至图3，本发明实施例提供的技术方案为：基于人体姿势识别的火灾逃生技能教学监测系统，该系统由视频采集模块1、视频分析模块3、对抗网络模块4、结果统计模块5、结果推送模块6以及后台服务器7组成。
20.其中，视频采集模块1与视频分析模块3连接，视频分析模块3与对抗网络模块(生成模型和判别模型)4连接，对抗网络模块(生成模型和判别模型)4与结果统计模块5连接，结果统计模块5与结果推送模块连接6，后台服务器7分别与视频采集模块1、视频分析模块3、抗网络模块(生成模型和判别模型)4、结果统计模块5以及结果推送模块6连接。
21.此外，为了实现信息的录入还包括由评分规则录入单元8、逃生规则录入单元9等构成的信息录入模块10，评分规则录入单元8用于设置与平均相似度相对应的评分；逃生规则录入单元9则用于设置逃生规则，包括摄像头所摄录的逃生现场区域、预设逃生最大时长以及实时摄录到的人脸视频与预设的人脸视频相匹配；可以设置为，当满足逃生规则的情况下，结果统计模块才进行评分的计算。
22.具体地，视频采集模块由多个高清摄像头2组成，高清摄像头安装在虚拟火灾现场,其数量根据操作现场区域而定，用于对虚拟火灾现场进行逃生视频采集，并把采集的逃生视频通过yolo神经网络传送至视频分析模块3；视频分析模块3接收视频采集模块1发送的逃生视频，并将逃生视频与规范视频均进行视频拆分，得到与操作视频对应的待对比图集，及与规范视频对应的原始图集；通过光流法对操作视频进行预处理，得到与操作视频对应的第一图集201；通过光流法对操作视频进行预处理，得到与操作视频对应的第一图集201，包括以下步骤：1、获取操作视频中各帧图片的各像素点对应的速度矢量特征；2、若操作视频中存在至少一帧图片的速度矢量特征未保持连续变化，将对应图片
组成操作视频中的第一图集201。
23.当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场，这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
24.定义光流以点为基础，具体来说，设(u，v)为图像点(x，y)的光流，则把(x，y，u，v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
25.给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。
26.运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到与待比对视频对应的第一图集201。
27.同理，通过光流法对规范视频进行预处理，得到与规范视频对应的第二图集202；在通过光流法对规范视频进行预处理时，其过程与通过光流法对操作视频进行预处理相同，通过光流法进行预处理，即可得到与规范视频对应的第二图集202，不再赘述。其中，第一图集201中所包括图片的第一总张数不超过第二图集202中所包括图片的第二总张数，一般是第一图集201中所包括图片的第一总张数等于第二图集202中所包括图片的第二总张数。
28.通过卷积神经网络获取第一图集201中每一目标图对应的目标图特征向量，以组成第一图特征向量集2011；通过卷积神经网络获取第一图集201中每一目标图对应的目标图特征向量，以组成第一图特征向量集2011，包括以下步骤：1、将第一图集201中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；2、其中，将目标图进行预处理为依序对目标图进行灰度化、边缘检测和二值化处理；3、将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；4、将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；5、将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集2011。
29.通过卷积神经网络获取第二图集202中每一目标图对应的目标图特征向量，以组成第二图特征向量集2021；在通过卷积神经网络获取与第二目标图集中每一目标图片对应的目标图片特征向量时，其过程与通过卷积神经网络获取与第一目标图集中每一目标图片对应的目标图片
特征向量相同。由于第二目标图集中每一目标图片均获取了对应的目标图片特征向量，即可组成第二图特征向量集2021。
30.结果统计模块5获取第一图特征向量集2011中各图片特征向量与第二图特征向量集2021中对应图片特征向量的相似度，以得到操作视频与规范视频的平均相似度；结果统计模块5将操作视频与规范视频的平均相似度在满足操作规则的前提下进行评分；以及在系统基础数据中进行匹配，得到对应于操作视频的人名信息；以及将评分结果、扣分原因、人名信息、火灾逃生视频记录到后台管理系统的比对记录中；以及将评分结果、扣分原因、人名信息操作视频反馈至结果推送模块6中；结果推送模块6接收评分结果、人名信息以及逃生视频，叠加后记录在后台管理系统的操作记录中，并在逃生时段结束后将将评分结果、扣分原因、人名信息推送至系统管理员和本人，系统管理员可以随时查系统中的记录后台服务器7：起到数据中转分发作用，是整个系统的中央枢纽。
31.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
32.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
33.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
34.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
35.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
36.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。本专利不局限于
上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于人体姿势识别的火灾逃生技能教学监测系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

技术特征：

1.一种基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：由相连接的视频采集模块、视频分析模块、对抗网络模块、结果统计模块和结果推送模块组成；所述视频采集模块由多个摄像头组成，所述摄像头安装在虚拟火灾现场，用于对虚拟火灾现场进行逃生视频采集，并将采集的逃生视频通过yolo神经网络传送至视频分析模块；所述视频分析模块接收视频采集模块发送的逃生视频，并将逃生视频与进行数据分析提取，得到人体骨骼形状参数，并通过yolo神经网络将人体骨骼形状参数进行回归；所述对抗网络模块包括生成模型和判别模型，用于获取视频分析模块中人体骨骼形状参数生成对应模型，并将该模型与样本进行判别，得到相应姿势：通过光流法对所述操作视频进行预处理，得到与所述操作视频对应的第一图集；通过光流法对所述规范视频进行预处理，得到与所述规范视频对应的第二图集；通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集；通过卷积神经网络获取所述第二图集中每一目标图对应的目标图特征向量，以组成第二图特征向量集；所述结果统计模块用于获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的相似度，以得到所述逃生视频与所述规范视频的平均相似度；以及将所述逃生视频与所述规范视频的平均相似度进行评分；所述结果推送模块接收所述评分结果并进行推送。2.根据权利要求1所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：还包括与结果统计模块连接的信息录入模块，由评分规则录入单元以及逃生规则录入单元组成。3.根据权利要求2所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：所述评分规则录入单元用于设置与平均相似度相对应的评分，所述逃生规则录入单元用于设置逃生规则，所述逃生规则包括摄像头所摄录的逃生现场区域、预设逃生最大时长以及实时摄录到的人脸视频与预设的人脸视频相匹配；当满足逃生规则的情况下，所述结果统计模块才进行评分的计算。4.根据权利要求1所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：所述通过卷积神经网络获取所述第一图集中每一目标图对应的目标图特征向量，以组成第一图特征向量集具体包括：将所述第一图集中每一目标图进行预处理，得到与各目标图对应的预处理后图片，及与每一预处理后图片对应的图片像素矩阵；其中，将目标图进行预处理为依序对所述目标图进行灰度化、边缘检测和二值化处理；将与各预处理后图片对应的图片像素矩阵输入至卷积神经网络模型中输入层，得到与各预处理后图片对应的特征图；将各特征图输入至卷积神经网络模型中池化层，得到与各特征图对应的一维向量；将与各特征图对应的一维向量输入至卷积神经网络模型中全连接层，得到与各特征图对应的目标图特征向量，以组成第一图特征向量集。5.根据权利要求1所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：所述获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图
片特征向量的相似度具体包括：获取所述第一图特征向量集中各图片特征向量与所述第二图特征向量集中对应图片特征向量的欧氏距离后求平均欧氏距离值，以所述平均欧氏距离值作为所述第一图特征向量集与所述第二图特征向量集之间的相似度。6.根据权利要求3所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：所述信息录入模块还包括视频质量检测录入单元和人员基础数据录入单元；所述视频质量检测录入单元用于录入用于实时检测的规范视频；所述人员基础数据录入单元用于录入用户信息。7.根据权利要求6所述的基于人体姿势识别的火灾逃生技能教学监测系统，其特征在于：所述结果统计模块在向结果推送模块传输评分结果之前，首先对数据信息进行匹配，得到对应于操作视频的用户信息；并将评分结果、扣分原因、用户信息、操作视频记录到后台服务器管理系统的比对记录中；再将评分结果、扣分原因、用户信息、逃生视频反馈至结果推送模块。

技术总结

本发明提出一种基于人体姿势识别的火灾逃生技能教学监测系统，由相连接的视频采集模块、视频分析模块、对抗网络模块、结果统计模块和结果推送模块组成；为方便开展基于人体姿势识别的火灾逃生技能深度教学，以便客观、及时获得教学效果的反馈信息，从而较为精准地提高学习质量，促进火灾逃生技能的发展。促进火灾逃生技能的发展。促进火灾逃生技能的发展。