视频处理方法、装置、存储介质及设备与流程

阅读：评论：0

1.本技术涉及安防领域，特别涉及一种视频处理方法、装置、存储介质及设备。

背景技术：

2.随着科学技术的不断进步，基于视频进行安全防范被各行各业广泛应用。
3.相关技术采用的安防手段通常是将拍摄设备采集到的视频通过显示屏幕展示，进而依靠人工盯屏的方式来判断拍摄区域是否发生安全异常。
4.然而，人工查看视频不但是一件工作量巨大且效率低下的事情，而且还存在不能及时并准确识别安全异常的风险。

技术实现要素：

5.本技术实施例提供了一种视频处理方法、装置、存储介质及设备。所述技术方案如下：
6.一方面，提供了一种视频处理方法，所述方法包括：
7.获取拍摄设备采集的视频流，对所述视频流进行解码，得到多帧图像；
8.确定所述拍摄设备的拍摄区域的区域类型，所述区域类型包括出入口区域和危险品存放区域；
9.按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析；
10.响应于得到的分析结果指示所述拍摄区域内出现安全异常，确定所述安全异常对应的告警等级；
11.按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示。
12.在一种可能的实现方式中，所述按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示，包括：
13.响应于所述告警等级大于目标等级，按照第一发送方式向所述目标设备发送第一类告警提示；
14.其中，所述第一类告警提示中携带目标图像，所述目标图像是所述多帧图像中图像内容与所述安全异常关联的图像；
15.所述第一发送方式包括以应用内消息的形式发送和以应用外消息的形式发送；所述应用内消息通过所述目标设备上安装的目标应用展示，所述应用外消息不通过所述目标应用展示。
16.在一种可能的实现方式中，所述方法还包括：
17.获取多个转码参数；根据所述多个转码参数分别对所述视频流进行转码，得到多种转码视频流；
18.基于当前网络带宽和所述目标设备的设备参数，在所述多种转码视频流中确定目标转码视频流，向所述目标设备发送所述目标转码视频流。
19.在一种可能的实现方式中，所述方法还包括：
20.将所述视频流由原始视频格式转封装为多个目标视频格式，得到多种转封装视频流；
21.基于所述目标设备支持播放的视频格式，在所述多种转封装视频流中确定目标转封装视频流，向所述目标设备发送所述目标转封装视频流。
22.在一种可能的实现方式中，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：
23.响应于所述拍摄区域为出入口区域，在所述多帧图像中选取车辆图像；
24.对所述车辆图像进行车牌区域检测；基于得到的车牌区域检测结果，在所述车辆图像中裁剪出车牌区域；
25.基于第一识别模型识别所述车牌区域的车牌字符；其中，所述第一识别模型是基于标注有车牌字符的样本车辆图像训练得到的。
26.在一种可能的实现方式中，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：
27.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
28.对所述活体图像中包括的目标活体进行骨骼关键点检测；
29.基于得到的骨骼关键点检测结果，通过第二识别模型识别所述目标活体的动作类型；其中，所述第二识别模型是基于标注有危险动作类型的样本活体图像训练得到的。
30.在一种可能的实现方式中，所述多帧图像为红外图像；所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：
31.响应于所述拍摄区域为危险品存放区域，基于所述红外图像确定所述拍摄区域当前的温度；
32.响应于所述拍摄区域当前的温度高于目标温度，基于所述红外图像，通过第三识别模型识别所述拍摄区域的起火位置；其中，所述第三识别模型是基于标注有起火位置的样本红外图像训练得到的。
33.在一种可能的实现方式中，所述方法还包括：
34.响应于所述拍摄区域内存在目标活体，获取所述目标活体的当前位置；
35.以所述目标活体的当前位置作为起点，以所述拍摄区域的出口位置作为终点，根据所述拍摄区域在目标时长后的过火范围，为所述目标活体确定移动路线，所述移动路线用于指示所述目标活体离开所述拍摄区域。
36.在一种可能的实现方式中，所述方法还包括：
37.获取所述拍摄区域当前的环境信息；
38.获取所述拍摄区域存放的危险品的类型和所述危险品的总量；
39.根据所述环境信息、所述危险品的类型和所述危险品的总量，确定火势进展速度；
40.根据所述火势进展速度和所述起火位置，确定所述拍摄区域在所述目标时长后的过火范围。
41.在一种可能的实现方式中，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：
42.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
43.对所述目标活体进行人脸识别；响应于识别到的人脸与目标人脸模板不匹配，基于所述目标活体在所述活体图像中的位置信息，识别所述目标活体在所述拍摄区域内的移动方向。
44.另一方面，提供了一种视频处理装置，所述装置包括：
45.第一处理模块，被配置为获取拍摄设备采集的视频流，对所述视频流进行解码，得到多帧图像；
46.第一确定模块，被配置为确定所述拍摄设备的拍摄区域的区域类型，所述区域类型包括出入口区域和危险品存放区域；
47.第二处理模块，被配置为按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析；
48.第二确定模块，被配置为响应于得到的分析结果指示所述拍摄区域内出现安全异常，确定所述安全异常对应的告警等级；
49.发送模块，被配置为按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示。
50.在一种可能的实现方式中，所述发送模块，被配置为：
51.响应于所述告警等级大于目标等级，按照第一发送方式向所述目标设备发送第一类告警提示；
52.其中，所述第一类告警提示中携带目标图像，所述目标图像是所述多帧图像中图像内容与所述安全异常关联的图像；
53.所述第一发送方式包括以应用内消息的形式发送和以应用外消息的形式发送；所述应用内消息通过所述目标设备上安装的目标应用展示，所述应用外消息不通过所述目标应用展示。
54.在一种可能的实现方式中，所述装置还包括：
55.转码模块，被配置为获取多个转码参数；根据所述多个转码参数分别对所述视频流进行转码，得到多种转码视频流；基于当前网络带宽和所述目标设备的设备参数，在所述多种转码视频流中确定目标转码视频流，向所述目标设备发送所述目标转码视频流。
56.在一种可能的实现方式中，所述装置还包括：
57.转封装模块，被配置为将所述视频流由原始视频格式转封装为多个目标视频格式，得到多种转封装视频流；基于所述目标设备支持播放的视频格式，在所述多种转封装视频流中确定目标转封装视频流，向所述目标设备发送所述目标转封装视频流。
58.在一种可能的实现方式中，所述第二处理模块，被配置为：
59.响应于所述拍摄区域为出入口区域，在所述多帧图像中选取车辆图像；
60.对所述车辆图像进行车牌区域检测；基于得到的车牌区域检测结果，在所述车辆图像中裁剪出车牌区域；
61.基于第一识别模型识别所述车牌区域的车牌字符；其中，所述第一识别模型是基于标注有车牌字符的样本车辆图像训练得到的。
62.在一种可能的实现方式中，所述第二处理模块，被配置为：
63.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
64.对所述活体图像中包括的目标活体进行骨骼关键点检测；
65.基于得到的骨骼关键点检测结果，通过第二识别模型识别所述目标活体的动作类型；其中，所述第二识别模型是基于标注有危险动作类型的样本活体图像训练得到的。
66.在一种可能的实现方式中，所述多帧图像为红外图像；所述第二处理模块，被配置为：
67.响应于所述拍摄区域为危险品存放区域，基于所述红外图像确定所述拍摄区域当前的温度；
68.响应于所述拍摄区域当前的温度高于目标温度，基于所述红外图像，通过第三识别模型识别所述拍摄区域的起火位置；其中，所述第三识别模型是基于标注有起火位置的样本红外图像训练得到的。
69.在一种可能的实现方式中，所述装置还包括：
70.路线规划模块，被配置为响应于所述拍摄区域内存在目标活体，获取所述目标活体的当前位置；以所述目标活体的当前位置作为起点，以所述拍摄区域的出口位置作为终点，根据所述拍摄区域在目标时长后的过火范围，为所述目标活体确定移动路线，所述移动路线用于指示所述目标活体离开所述拍摄区域。
71.在一种可能的实现方式中，所述路线规划模块，还被配置为：
72.获取所述拍摄区域当前的环境信息；
73.获取所述拍摄区域存放的危险品的类型和所述危险品的总量；
74.根据所述环境信息、所述危险品的类型和所述危险品的总量，确定火势进展速度；
75.根据所述火势进展速度和所述起火位置，确定所述拍摄区域在所述目标时长后的过火范围。
76.在一种可能的实现方式中，所述第二处理模块，被配置为：
77.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
78.对所述目标活体进行人脸识别；响应于识别到的人脸与目标人脸模板不匹配，基于所述目标活体在所述活体图像中的位置信息，识别所述目标活体在所述拍摄区域内的移动方向。
79.另一方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现上述的视频处理方法。
80.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述的视频处理方法。
81.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的视频处理方法。
82.本技术实施例提供的视频处理方法会对拍摄设备采集的视频流自动进行分析，并
根据分析结果来自动确定拍摄区域是否出现安全异常，而在确定出现安全异常的情况下也会自动进行告警提示，由于整个过程无需人工参与全部自动完成，因此省时省力、效率较高且较为及时。另外，该种视频处理方法能够自适应地对不同类型的拍摄区域进行不同类别的内容分析，识别效果好，可以精准地确定安全异常；另外，不同的告警等级对应不同的发送方式和告警提示，丰富了告警方式。
附图说明
83.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
84.图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图；
85.图2是根据一示例性实施例示出的一种视频处理方法的流程图；
86.图3是根据一示例性实施例示出的另一种视频处理方法的流程图；
87.图4是根据一示例性实施例示出的一种视频处理装置的结构示意图；
88.图5是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
89.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
90.本技术中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。
91.这些术语只是用于将一个元素与另一个元素区别开。例如，在不脱离各种示例的范围的情况下，第一元素能够被称为第二元素，并且类似地，第二元素也能够被称为第一元素。第一元素和第二元素都可以是元素，并且在某些情况下，可以是单独且不同的元素。
92.另外，至少一个是指一个或一个以上，例如，至少一个元素可以是一个元素、两个元素、三个元素等任意大于等于一的整数个元素。而至少两个是指两个或者两个以上，例如，至少两个元素可以是两个元素、三个元素等任意大于等于二的整数个元素。
93.需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
94.下面对本发明实施例提供的视频处理方法所涉及的实施环境进行介绍。
95.图1是根据一示例性实施例示出的一种视频处理方法的实施环境示意图。
96.参见图1，该实施环境包括：拍摄设备101、流媒体服务器102和目标设备103。其中，拍摄设备101具有视频拍摄功能，比如拍摄设备101为摄像头。流媒体服务器102为私有化部署，且与拍摄设备101之间建立有网络连接；该网络连接既可以是有线网络连接，也可以是
无线网络连接，本技术在此不做限制。
97.拍摄设备101负责对拍摄区域进行拍摄，并基于流式协议将采集到的视频流推送至流媒体服务器102；进而，流媒体服务器102可以基于流式协议将拍摄设备101采集的视频流再转推给目标设备103，以供相关人员在线观看。其中，目标设备103上安装有目标应用，该目标应用也被称为视频监控客户端或视频监控服务或视频监控软件，相应地，该目标设备103也被称为监控平台，相关人员可以通过该目标应用查看拍摄区域的视频画面。
98.需要说明的第一点是，目标设备103可以为固定式设备，比如台式电脑或者连接有大屏幕的其他计算机设备；目标设备103还可以为移动式设备，比如智能手机或者平板电脑。另外，转推给目标设备103的视频流有可能不是拍摄设备101采集的原始视频流，而是经过流媒体服务器102转码或转封装后的视频流，详见后文描述。
99.在一种可能的实现方式中，上述流式协议包括但不限于：rtsp(real time streaming protocol，实时流传输协议)或rtmp(real time messaging protocol(实时消息传输协议)，本技术在此不做限制。
100.在另一种可能的实现方式中，拍摄设备101除了具有视频采集功能之外，还具有计算处理能力，比如拍摄设备101采集到视频流后，可以基于人工智能技术直接对该视频流进行内容分析(也称视频分析)，进而基于分析结果判断该拍摄区域内是否出现安全异常，并在出现安全异常的情况下生成告警提示，进而通过流媒体服务器102将生成的告警提示推送至目标设备103。
101.综上所述，基于流媒体服务器102，拍摄设备101能够实时上报视频流及相应的告警提示到监控平台。其中，拍摄设备101通过对视频流进行内容分析，可以完成诸如行为识别、区域入侵检测、火情识别等。示例性地，针对火情识别，该拍摄设备101的类型为红外摄像头，即通过红外热成像来完成火情识别。
102.在另一种可能的实现方式中，还可以由流媒体服务器102基于人工智能技术对拍摄设备101采集到的视频流进行内容分析，本技术在此不做限制。
103.需要说明的第二点是，上述拍摄设备101的个数为至少一个，具体个数可以根据目标场所的区域大小设置。在一种可能的实现方式中，本技术实施例对目标场所的不同区域分别安装拍摄设备，之后对不同类型的拍摄区域设置不同类别的内容分析方式，进而实现动态实时检测目标场所的安全异常，并对出现安全异常的情况进行告警提示。示例性地，被拍摄的目标场所可以为危险品存放场所，比如液化气站，本技术在此不做限制。
104.图2是根据一示例性实施例示出的一种视频处理方法的流程图。在一种可能的实现方式中，该方法应用于图1所示的流媒体服务器中，即拍摄设备负责采集视频流并推流至流媒体服务器，进而由流媒体服务器基于该视频流进行视频分析并在确定出现安全异常的情况下生成告警提示。该方法包括以下步骤。
105.201、流媒体服务器获取拍摄设备采集的视频流，对该视频流进行解码，得到多帧图像。
106.其中，该拍摄设备既可以为固定式摄像头，也可以为移动式摄像头，本技术在此不做限制。流媒体服务器在获取到视频流后会对视频流进行解码，换一种表达方式，流媒体服务器会对视频流进行逐帧分割，也即将视频流拆分成帧，进而得到一帧一帧的单独图像。
107.202、流媒体服务器确定拍摄设备的拍摄区域的区域类型，其中，该区域类型包括
出入口区域和危险品存放区域。
108.在一种可能的实现方式中，可以预先建立拍摄设备的设备标识与拍摄区域的区域类型之间的对应关系表，并将该对应关系表存储在流媒体服务器中。这样，流媒体服务器在接收到拍摄设备推送的视频流后，便可根据拍摄设备的设备标识确定相应拍摄区域的区域类型。
109.需要说明的是，区域类型的划分与被拍摄的目标场所相关。
110.示例性地，假设目标场所用于存放危险品，则拍摄区域的类型包括但不限于：出入口区域和危险品存放区域。其中，危险品可以为易燃品，比如液化气、石油或者天然气等，本技术在此不做限制。而如果目标场所为商场，则拍摄区域的类型包括但不限于出入口区域、餐饮区域、娱乐休闲区域等。
111.203、流媒体服务器按照与确定的区域类型匹配的内容分析方式，对该多帧图像进行内容分析。
112.以目标场所包括出入口区域和危险品存放区域为例，则上述内容分析方式包括但不限于：对出入口区域进行车牌识别，对危险品存放区域进行行为识别、区域入侵检测或者火情识别等，本技术在此不做限制。
113.204、流媒体服务器响应于得到的分析结果指示拍摄区域内出现安全异常，确定安全异常对应的告警等级；按照与确定的告警等级匹配的发送方式，向目标设备发送与确定的告警等级匹配的告警提示。
114.在一种可能的实现方式中，可以预先建立安全异常与告警等级之间的对应关系表，并将该对应关系表存储在流媒体服务器中。这样，流媒体服务器在确定拍摄区域内出现安全异常后，便可根据该对应关系表确定相应的告警等级。
115.在另一种可能的实现方式中，可以设置三种告警等级，分别为第一等级、第二等级和第三等级，其中，第三等级的告警级别最高，第二等级的告警级别次之，第三等级的告警级别最高。示例性地，将火情对应的告警等级设置为第三等级，将危险行为对应的告警等级设置为第二等级，将外来车辆入侵和陌生人员入侵对应的告警等级设置为第三等级。
116.本技术实施例提供的视频处理方法会对拍摄设备采集的视频流自动进行分析，并根据分析结果来自动确定拍摄区域是否出现安全异常，而在确定出现安全异常的情况下也会自动进行告警提示，由于整个过程无需人工参与全部自动完成，因此省时省力，效率较高，且较为及时。另外，该种视频处理方法能够自适应地对不同类型的拍摄区域进行不同类别的内容分析，识别效果好，可以精准地确定安全异常；另外，不同的告警等级对应不同的发送方式和告警提示，丰富了告警方式，该种有区分式的告警方式，可以有效并及时地通知到相关人员，以使相关人员迅速做出相应措施，用户体验好。
117.上述图2所示仅为本技术的基本流程，下面基于一种具体实现方式，来对本技术提供的方案进行进一步阐述，图3是根据一示例性实施例示出的另一种视频处理方法的流程图。以拍摄设备、流媒体服务器和目标设备进行交互为例，参见图3，包括以下步骤。
118.301、拍摄设备将采集到的视频流推送至流媒体服务器。
119.拍摄设备和流媒体服务器之间基于流式协议进行视频数据传输，由于拍摄设备采集到的视频数据是以流的形式进行传输，因此被称为视频流。相应地，拍摄设备还可被称为推流端，而流媒体服务器也被称为接流端。
120.302、流媒体服务器对视频流进行解码，得到多帧图像。
121.对视频流进行解码的步骤可参考上述步骤201，此处不再赘述。
122.在一种可能的实现方式中，流媒体服务器在接收到视频流(也称原始视频流)后，还可能对原始视频流进行转码，以得到具有不同码率、帧率或分辨率的视频流；还可能对原始视频流进行转封装，以得到具有不同视频格式的视频流。即，本技术实施例还包括转码和转封装步骤。
123.针对转码过程，流媒体服务器获取多个转码参数；其中，转码参数可以为码率、帧率或分辨率，本技术在此不做限制。以转码参数为分辨率为例，则多个转码参数中的每个转码参数都用于指示不同的分辨率，比如转码参数为3个，分别指示720*480、1280
×
720和1920
×
1080这三种不同的分辨率。之后，流媒体服务器根据多个转码参数分别对原始视频流进行转码，得到多种转码视频流。
124.考虑到网络带宽和设备性能，流媒体服务器可以基于当前网络带宽和目标设备的设备参数，在多种转码视频流中确定适合目标设备播放的目标转码视频流，进而向目标设备发送目标转码视频流。其中，上述设备参数用于指示设备性能，比如用于指示目标设备的显示性能。
125.需要说明的第一点是，本技术实施例还可以基于用户需求向目标设备发送转码视频流。示例性地，在将目标转码视频流发送给目标设备后，如果相关人员通过在目标设备上操作切换为更低分辨率的转码视频流，则流媒体服务器向目标设备推送被选中的转码视频流。
126.需要说明的第二点是，上述转码操作除了由流媒体服务器执行之外，还可以由专门的转码服务器执行，即图1所示的实施环境中还包括转码服务器，其中，转码服务器与流媒体服务器连接。流媒体服务器可以将原始视频流发送给转码服务器进行转码，而转码服务器在转码完毕后，再将转码视频流发送至流媒体服务器，进而由流媒体服务器向目标设备发送转码视频流。
127.针对转封装过程，流媒体服务器将原始视频流由原始视频格式转封装为多个目标视频格式，得到多种转封装视频流。示例性地，假设原始视频格式是flv(flash video，流媒体)，那么目标视频格式可以是mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)或avi(audio video interleaved，即音频视频交错)等，本技术在此不做限制。之后，流媒体服务器可以基于目标设备支持播放的视频格式，在多种转封装视频流中确定目标转封装视频流，进而向目标设备发送目标转封装视频流。
128.需要说明的第三点是，上述目标设备支持播放的视频格式，包括：目标设备安装的视频监控客户端支持播放的视频格式；或，目标设备安装的浏览器支持播放的视频格式，本技术在此不做限制。针对后者，目标设备还可以通过浏览器播放拍摄设备采集的视频画面。
129.303、流媒体服务器确定拍摄设备的拍摄区域的区域类型；按照与该区域类型匹配的内容分析方式，对该多帧图像进行内容分析。
130.在一种可能的实现方式中，以被拍摄的目标场所包括出入口区域和危险品存放区域为例，则可以对出入口区域进行车牌识别，对危险品区域进行行为识别、火情识别和区域入侵检测等，本技术在此不做限制。
131.3031、响应于拍摄区域为出入口区域，在该多帧图像中选取车辆图像；对车辆图像
进行车牌区域检测；基于得到的车牌区域检测结果，在车辆图像中裁剪出车牌区域；基于第一识别模型识别车牌区域的车牌字符；其中，第一识别模型是基于标注有车牌字符的样本车辆图像训练得到的。
132.在本技术实施例中，在该多帧图像中选择车辆图像属于目标检测(object detection)任务。其中，目标检测任务用于对图像中的人、车辆、动物、植物等目标的位置和类别进行检测和识别。在本步骤中，目标即为车辆。
133.通常来讲，目标检测包含检测和识别两个任务，检测任务用于确定目标在图像中的具体位置，识别任务用于对检测出的目标进行类别判断。换一种表达方式，目标检测通常包括两个过程:一个过程是预测目标的类别，另一个过程是在该目标周围绘制一个边界框(bounding box)。
134.在一种可能的实现方式中，以被检测目标为行人为例，则目标检测结果会给出行人的位置信息(xb,yb,width,height)。其中，(xb,yb)为检测出来的边界框的起始点坐标，width和height分别指代该边界框的宽度和高度。
135.在另一种可能的实现方式中，基于目标检测算法对多帧图像进行目标检测。其中，使用的目标检测算法包括但不限于：faster r-cnn(convolutional neural networks,卷积神经网络)、mask r-cnn、yolo(you only look once)、yolov2、yolov3等，本技术在此不做限制。
136.其中，在识别到车辆图像后，可以基于训练好的机器学习模型对车辆图像进行车辆区域检测；其中，该机器学习模型是基于标注有车辆区域的样本车辆图像训练得到的。
137.在一种可能的实现方式中，针对车牌识别，响应于识别到的车牌字符与预先存储的车牌字符不一致，确定出现安全异常。
138.3032、响应于拍摄区域为危险品存放区域，在多帧图像中选取活体图像，该活体图像中包括目标活体；对该活体图像中包括的目标活体进行骨骼关键点检测；基于得到的骨骼关键点检测结果，通过第二识别模型识别目标活体的动作类型；其中，第二识别模型是基于标注有危险动作类型的样本活体图像训练得到的。
139.在该多帧图像中选择活体图像同样属于目标检测任务，可以参考上述步骤3031执行，此处不再赘述。
140.在一种可能的实现方式中，目标活体为行人，相应地，活体图像为行人图像，上述骨骼关键点检测为人体骨骼关键点检测。其中，人体骨骼关键点检测以上述行人图像作为输入来检测人体关键部位的位置。示例性地，人体骨骼关键点包括但不限于：左眼、右眼、左耳、右耳、鼻子、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左踝、右踝等。
141.其中，危险动作类型包括但不限于抽烟、摔倒、拾起危险品等，本技术在此不做限制。在一种可能的实现方式中，针对行为识别，响应于识别到的动作类型与预先存储的危险行为类型一致，确定出现安全异常。
142.在本技术实施例中，响应于拍摄设备为红外摄像头，该多帧图像为红外图像；其中，红外图像是红外摄像头采集目标在红外波段的辐射形成的影像，这个图像可以是灰度图像，也可以彩图像。利用红外热成像原理还可以识别火情，详见下述步骤3033。
143.3033、响应于拍摄区域为危险品存放区域，基于红外图像确定拍摄区域当前的温
度；响应于拍摄区域当前的温度高于目标温度，基于红外图像，通过第三识别模型识别拍摄区域的起火位置；其中，第三识别模型是基于标注有起火位置的样本红外图像训练得到的。
144.在一种可能的实现方式中，利用红外热成像原理检测红外图像，从而确定拍摄区域当前的温度。为了更加准确地识别火情，在确定拍摄区域当前的温度高于目标温度的情况下，还可以进一步来识别起火位置；如果识别到起火位置，则确定出现安全异常。即，针对火情识别，响应于拍摄区域当前的温度高于目标温度且识别到起火位置，确定出现安全异常。
145.需要说明的是，上述第一识别模型、第二识别模型和第三识别模型均为机器学习模型，比如卷积神经网络，本技术在此不做限制。
146.在另一种可能的实现方式中，如果识别到火情且拍摄区域内有活体存在，则可以根据火情进展规划逃生路线。即，本技术实施例还包括如下步骤：响应于拍摄区域内存在目标活体，获取目标活体的当前位置；以目标活体的当前位置作为起点，以拍摄区域的出口位置作为终点，根据拍摄区域在目标时长后的过火范围，为目标活体确定移动路线，其中，移动路线用于指示目标活体离开拍摄区域。
147.在另一种可能的实现方式中，由于拍摄区域当前的环境信息、危险品的类型和危险品的总量，均会影响火情进展，因此通过如下方式获取拍摄区域在目标时长后的过火范围：获取拍摄区域当前的环境信息；获取拍摄区域存放的危险品的类型和危险品的总量；根据拍摄区域当前的环境信息、危险品的类型和危险品的总量，确定火势进展速度；根据火势进展速度和起火位置，确定拍摄区域在目标时长后的过火范围。示例性地，上述环境信息包括但不限于风力或湿度等，本技术实施例在此不做限制。
148.3034、响应于拍摄区域为危险品存放区域，在多帧图像中选取活体图像，该活体图像中包括目标活体；对目标活体进行人脸识别；响应于识别到的人脸与目标人脸模板不匹配，基于目标活体在活体图像中的位置信息，识别目标活体在拍摄区域内的移动方向。
149.基于上述步骤3031可知，目标活体在活体图像中的位置信息在选取活体图像阶段即可得到。在本技术实施例中，如果活体图像为多帧，则连接目标活体在每帧活体图像中的位置信息，即可形成目标活体的运动轨迹，实现对目标活体进行跟踪，通过跟踪目标活体即可识别到目标活体的移动方向。其中，识别到的人脸与目标人脸模板不匹配，即表明目标活体为出现在拍摄区域的陌生人。
150.在一种可能的实现方式中，针对区域入侵识别，响应于拍摄区域内出现陌生人且陌生人不是朝远离拍摄区域的方向移动，确定出现安全异常。
151.304、流媒体服务器响应于得到的分析结果指示拍摄区域内出现安全异常，确定安全异常对应的告警等级；按照与告警等级匹配的发送方式，向目标设备发送与告警等级匹配的告警提示。
152.在一种可能的实现方式中，按照与告警等级匹配的发送方式，向目标设备发送与告警等级匹配的告警提示，包括如下几种方式。
153.3041、响应于告警等级大于目标等级，按照第一发送方式向目标设备发送第一类告警提示。
154.其中，第一类告警提示中可以携带目标图像，该目标图像是图像内容与安全异常关联的图像。比如识别到危险行为，则目标图像中包括正在执行该危险行为的活体。另外，
目标图像的帧数可以为一帧或多帧。除目标图像之外，第一类告警提示中还可以携带文本提示或语音提示，本技术在此不做限制。
155.示例性地，如前文所述，以告警等级分为三级为例，则目标等级可以为第一等级，本技术在此同样不做限制。
156.在另一种可能的实现方式中，第一发送方式包括以应用内消息的形式发送和以应用外消息的形式发送；其中，应用内消息通过目标设备上安装的视频监控客户端展示，应用外消息不通过视频监控客户端展示。
157.该种联合推送告警提示的方式，即便视频监控客户端出现问题或者视频监控客户端未启动，相关人员依然可以通过应用外消息接收到该告警提示，确保了安全异常能够及时被处理。其中，应用外消息包括但不限于短消息或者即时通讯消息等，本技术在此不做限制。
158.3042、响应于告警等级小于目标等级，按照第二发送方式向目标设备发送第二类告警提示。其中，第二发送方式可以为以应用内消息的形式发送，第二类告警提示中可以携带文本提示或语音提示，本技术在此不做限制。
159.305、目标设备展示流媒体服务器推送的告警提示。
160.在本技术实施例中，告警提示可以在视频监控客户端内以弹窗的形式展示；或者，在短消息客户端内以短消息的形式展示；或者，在即时通讯客户端内以即时通讯消息的形式展示；或者，在浏览器客户端内以网页的形式展示，本技术实施例在此不做限制。示例性地，具体采用何种展示方式来展示告警提示，与告警提示的发送方式相关。
161.本技术实施例提供的视频处理方法会对拍摄设备采集的视频流自动进行分析，并根据分析结果来自动确定拍摄区域是否出现安全异常，而在确定出现安全异常的情况下也会自动进行告警提示，由于整个过程无需人工参与全部自动完成，因此省时省力，效率较高，且较为及时。另外，该种视频处理方法能够自适应地对不同类型的拍摄区域进行不同类别的内容分析，识别效果好，可以精准地确定安全异常；另外，不同的告警等级对应不同的发送方式和告警提示，丰富了告警方式，该种有区分式的告警方式，可以有效并及时地通知到相关人员，以使相关人员迅速做出相应措施，用户体验好。
162.图4是根据一示例性实施例示出的一种视频处理装置的结构示意图。参见图4，该装置包括：
163.第一处理模块401，被配置为获取拍摄设备采集的视频流，对所述视频流进行解码，得到多帧图像；
164.第一确定模块402，被配置为确定所述拍摄设备的拍摄区域的区域类型，所述区域类型包括出入口区域和危险品存放区域；
165.第二处理模块403，被配置为按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析；
166.第二确定模块404，被配置为响应于得到的分析结果指示所述拍摄区域内出现安全异常，确定所述安全异常对应的告警等级；
167.发送模块405，被配置为按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示。
168.本技术实施例提供的视频处理装置会对拍摄设备采集的视频流自动进行分析，并
根据分析结果来自动确定拍摄区域是否出现安全异常，而在确定出现安全异常的情况下也会自动进行告警提示，由于整个过程无需人工参与全部自动完成，因此省时省力，效率较高，且较为及时。另外，该种视频处理方法能够自适应地对不同类型的拍摄区域进行不同类别的内容分析，识别效果好，可以精准地确定安全异常；另外，不同的告警等级对应不同的发送方式和告警提示，丰富了告警方式，该种有区分式的告警方式，可以有效并及时地通知到相关人员，以使相关人员迅速做出相应措施，用户体验好。
169.在一种可能的实现方式中，所述发送模块，被配置为：
170.响应于所述告警等级大于目标等级，按照第一发送方式向所述目标设备发送第一类告警提示；
171.其中，所述第一类告警提示中携带目标图像，所述目标图像是所述多帧图像中图像内容与所述安全异常关联的图像；
172.所述第一发送方式包括以应用内消息的形式发送和以应用外消息的形式发送；所述应用内消息通过所述目标设备上安装的目标应用展示，所述应用外消息不通过所述目标应用展示。
173.在一种可能的实现方式中，所述装置还包括：
174.转码模块，被配置为获取多个转码参数；根据所述多个转码参数分别对所述视频流进行转码，得到多种转码视频流；基于当前网络带宽和所述目标设备的设备参数，在所述多种转码视频流中确定目标转码视频流，向所述目标设备发送所述目标转码视频流。
175.在一种可能的实现方式中，所述装置还包括：
176.转封装模块，被配置为将所述视频流由原始视频格式转封装为多个目标视频格式，得到多种转封装视频流；基于所述目标设备支持播放的视频格式，在所述多种转封装视频流中确定目标转封装视频流，向所述目标设备发送所述目标转封装视频流。
177.在一种可能的实现方式中，所述第二处理模块，被配置为：
178.响应于所述拍摄区域为出入口区域，在所述多帧图像中选取车辆图像；
179.对所述车辆图像进行车牌区域检测；基于得到的车牌区域检测结果，在所述车辆图像中裁剪出车牌区域；
180.基于第一识别模型识别所述车牌区域的车牌字符；其中，所述第一识别模型是基于标注有车牌字符的样本车辆图像训练得到的。
181.在一种可能的实现方式中，所述第二处理模块，被配置为：
182.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
183.对所述活体图像中包括的目标活体进行骨骼关键点检测；
184.基于得到的骨骼关键点检测结果，通过第二识别模型识别所述目标活体的动作类型；其中，所述第二识别模型是基于标注有危险动作类型的样本活体图像训练得到的。
185.在一种可能的实现方式中，所述多帧图像为红外图像；所述第二处理模块，被配置为：
186.响应于所述拍摄区域为危险品存放区域，基于所述红外图像确定所述拍摄区域当前的温度；
187.响应于所述拍摄区域当前的温度高于目标温度，基于所述红外图像，通过第三识
别模型识别所述拍摄区域的起火位置；其中，所述第三识别模型是基于标注有起火位置的样本红外图像训练得到的。
188.在一种可能的实现方式中，所述装置还包括：
189.路线规划模块，被配置为响应于所述拍摄区域内存在目标活体，获取所述目标活体的当前位置；以所述目标活体的当前位置作为起点，以所述拍摄区域的出口位置作为终点，根据所述拍摄区域在目标时长后的过火范围，为所述目标活体确定移动路线，所述移动路线用于指示所述目标活体离开所述拍摄区域。
190.在一种可能的实现方式中，所述路线规划模块，还被配置为：
191.获取所述拍摄区域当前的环境信息；
192.获取所述拍摄区域存放的危险品的类型和所述危险品的总量；
193.根据所述环境信息、所述危险品的类型和所述危险品的总量，确定火势进展速度；
194.根据所述火势进展速度和所述起火位置，确定所述拍摄区域在所述目标时长后的过火范围。
195.在一种可能的实现方式中，所述第二处理模块，被配置为：
196.响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；
197.对所述目标活体进行人脸识别；响应于识别到的人脸与目标人脸模板不匹配，基于所述目标活体在所述活体图像中的位置信息，识别所述目标活体在所述拍摄区域内的移动方向。
198.上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
199.需要说明的是：上述实施例提供的视频处理装置在进行视频处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频处理装置与视频处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
200.图5是根据一示例性实施例示出的的一种计算机设备500的结构示意图。其中，该计算机设备500可以是前述的流媒体服务器。
201.该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条程序代码，所述至少一条程序代码由所述处理器501加载并执行以实现上述各个方法实施例提供的视频处理方法。当然，该计算机设备500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备500还可以包括其他用于实现设备功能的部件，在此不做赘述。
202.在一示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的视频处理方法。例如，所述计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、光盘只读存储器(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
203.在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述视频处理方法。
204.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
205.以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：

1.一种视频处理方法，其特征在于，所述方法包括：获取拍摄设备采集的视频流，对所述视频流进行解码，得到多帧图像；确定所述拍摄设备的拍摄区域的区域类型，所述区域类型包括出入口区域和危险品存放区域；按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析；响应于得到的分析结果指示所述拍摄区域内出现安全异常，确定所述安全异常对应的告警等级；按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示。2.根据权利要求1所述的方法，其特征在于，所述按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示，包括：响应于所述告警等级大于目标等级，按照第一发送方式向所述目标设备发送第一类告警提示；其中，所述第一类告警提示中携带目标图像，所述目标图像是所述多帧图像中图像内容与所述安全异常关联的图像；所述第一发送方式包括以应用内消息的形式发送和以应用外消息的形式发送；所述应用内消息通过所述目标设备上安装的目标应用展示，所述应用外消息不通过所述目标应用展示。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多个转码参数；根据所述多个转码参数分别对所述视频流进行转码，得到多种转码视频流；基于当前网络带宽和所述目标设备的设备参数，在所述多种转码视频流中确定目标转码视频流，向所述目标设备发送所述目标转码视频流。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述视频流由原始视频格式转封装为多个目标视频格式，得到多种转封装视频流；基于所述目标设备支持播放的视频格式，在所述多种转封装视频流中确定目标转封装视频流，向所述目标设备发送所述目标转封装视频流。5.根据权利要求1所述的方法，其特征在于，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：响应于所述拍摄区域为出入口区域，在所述多帧图像中选取车辆图像；对所述车辆图像进行车牌区域检测；基于得到的车牌区域检测结果，在所述车辆图像中裁剪出车牌区域；基于第一识别模型识别所述车牌区域的车牌字符；其中，所述第一识别模型是基于标注有车牌字符的样本车辆图像训练得到的。6.根据权利要求1所述的方法，其特征在于，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；对所述活体图像中包括的目标活体进行骨骼关键点检测；
基于得到的骨骼关键点检测结果，通过第二识别模型识别所述目标活体的动作类型；其中，所述第二识别模型是基于标注有危险动作类型的样本活体图像训练得到的。7.根据权利要求1所述的方法，其特征在于，所述多帧图像为红外图像；所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：响应于所述拍摄区域为危险品存放区域，基于所述红外图像确定所述拍摄区域当前的温度；响应于所述拍摄区域当前的温度高于目标温度，基于所述红外图像，通过第三识别模型识别所述拍摄区域的起火位置；其中，所述第三识别模型是基于标注有起火位置的样本红外图像训练得到的。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：响应于所述拍摄区域内存在目标活体，获取所述目标活体的当前位置；以所述目标活体的当前位置作为起点，以所述拍摄区域的出口位置作为终点，根据所述拍摄区域在目标时长后的过火范围，为所述目标活体确定移动路线，所述移动路线用于指示所述目标活体离开所述拍摄区域。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：获取所述拍摄区域当前的环境信息；获取所述拍摄区域存放的危险品的类型和所述危险品的总量；根据所述环境信息、所述危险品的类型和所述危险品的总量，确定火势进展速度；根据所述火势进展速度和所述起火位置，确定所述拍摄区域在所述目标时长后的过火范围。10.根据权利要求1所述的方法，其特征在于，所述按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析，包括：响应于所述拍摄区域为危险品存放区域，在所述多帧图像中选取活体图像，所述活体图像中包括目标活体；对所述目标活体进行人脸识别；响应于识别到的人脸与目标人脸模板不匹配，基于所述目标活体在所述活体图像中的位置信息，识别所述目标活体在所述拍摄区域内的移动方向。11.一种视频处理装置，其特征在于，所述装置包括：第一处理模块，被配置为获取拍摄设备采集的视频流，对所述视频流进行解码，得到多帧图像；第一确定模块，被配置为确定所述拍摄设备的拍摄区域的区域类型，所述区域类型包括出入口区域和危险品存放区域；第二处理模块，被配置为按照与所述区域类型匹配的内容分析方式，对所述多帧图像进行内容分析；第二确定模块，被配置为响应于得到的分析结果指示所述拍摄区域内出现安全异常，确定所述安全异常对应的告警等级；发送模块，被配置为按照与所述告警等级匹配的发送方式，向目标设备发送与所述告警等级匹配的告警提示。12.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储
有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至10中任一项权利要求所述的视频处理方法。13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至10中任一项权利要求所述的视频处理方法。

技术总结

本申请公开了一种视频处理方法、装置、存储介质及设备，属于安防领域。该方法包括：获取拍摄设备采集的视频流，对该视频流进行解码，得到多帧图像；确定拍摄设备的拍摄区域的区域类型；按照与区域类型匹配的内容分析方式，对多帧图像进行内容分析；响应于得到的分析结果指示拍摄区域内出现安全异常，确定安全异常对应的告警等级；按照与告警等级匹配的发送方式，向目标设备发送与告警等级匹配的告警提示。该方法无需人工参与全部自动完成，省时省力、效率较高且较为及时。另外，该方法能够自适应地对不同类型的拍摄区域进行不同类别的内容分析，识别效果好；而不同的告警等级对应不同的发送方式和告警提示，丰富了告警方式。丰富了告警方式。丰富了告警方式。