一种基于视频结构化技术的车路协同系统的制作方法

阅读：评论：0

1.本发明涉及一种车路协同系统，特别是涉及一种基于视频结构化技术的车路协同系统，属于交通领域。

背景技术：

2.车路协同是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
3.目前车路协同系统中，更多的是采用基于机器视觉的交通态势感知方法的应用，在人、车、路之间的信息交互存在成本低、数据正确率高、实时性高对交通干扰小的优点，但是申请人发现其相较于视频结构化技术来说，存在特征信息识别不足的方面，不能对目标的可能行为过程进行提前判断，而这点又在车路协同系统中占据重要地位，因此，怎样研究出一种基于视频结构化技术的车路协同系统是当前亟待解决的问题。

技术实现要素：

4.本发明要解决的技术问题是提供一种基于视频结构化技术的车路协同系统，该车路协同系统能够实现通过视频结构化技术对目标特征进行准确快速的记录，并对目标可能行为进行提前预测来确保交通安全的功能，解决了现有技术中不能对目标可能行为进行提前预测的问题。
5.为解决上述问题，提供以下技术方案：
6.设计一种基于视频结构化技术的车路协同系统，包括车载系统、信号灯预测系统和云端数据中心，所述信号灯预测系统包括多个监控视频平台、解码模块、目标检测模块、追踪模块、路人属性分类模块、车辆属性分类模块、仿真分析模块、信号灯通信模块、图像叠加模块和检索模块；
7.所述车载系统包括车载显示屏、车载摄像头、车辆状态信息采集模块和车载通信模块，所述云端数据中心包括主控处理模块、发布管理服务器、信息管理服务器和多个服务子模块。
8.进一步的，多个所述监控视频平台采用监控摄像头制成。
9.进一步的，所述解码模块用于将输入到系统内的视频进行图片解码。
10.进一步的，所述目标检测模块使用的算法采用yolo系列、ssd、rcnn系列中的一种。
11.进一步的，所述追踪模块用于进行监控视频连续帧关联，通过轨迹分析得出目标行为。
12.进一步的，所述路人属性分类模块用于对行人特征进行分类，所述车辆属性分类模块用于对车辆的型号以及颜进行分类。
13.进一步的，所述检索模块用于快速检索已经存入数据库的结构化数据。
14.进一步的，所述图像叠加模块用于将结构化数据叠加到原始图片帧上。
15.进一步的，所述信号灯通信模块和车载通信模块采用dsrc、wifi、dsr、gsm/gprs、3g、rfid、wlan、bluetooth中的一种或多种方式进行通信。
16.与现有技术相比，本发明的有益效果在于：
17.1、本发明中，通过将视频结构化技术将其和车路协同系统进行整合，利用视频结构化技术具备的目标行为预测能力，使得车路协同系统在运行过程中能够提前预测各个目标的轨迹路径，从而方便进行及时反应处理，可以有效提高交通的安全系数。
18.2、本发明中，通过设计多个服务子模块对车路协同数据进行处理，方便实现对应业务的服务功能，以便能够提高整个系统的服务效率。
19.参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
附图说明
20.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
21.图1为按照本发明的一种基于视频结构化技术的车路协同系统的一优选实例的主结构示意图；
22.图2为按照本发明的一种基于视频结构化技术的车路协同系统的一优选实例的信号灯预测系统结构图；
23.图3为按照本发明的一种基于视频结构化技术的车路协同系统的一优选实例的车载系统结构图；
24.图4为按照本发明的一种基于视频结构化技术的车路协同系统的一优选实例的云端数据中心结构图。
25.图中：1、车载系统；11、车载显示屏；12、车载摄像头；13、车辆状态信息采集模块；14、车载通信模块；2、信号灯预测系统；21、监控视频平台；22、解码模块；23、目标检测模块；24、追踪模块；25、路人属性分类模块；26、车辆属性分类模块；27、仿真分析模块；28、信号灯通信模块；29、图像叠加模块；210、检索模块；3、云端数据中心；31、主控处理模块；32、发布管理服务器；33、信息管理服务器；34、服务子模块。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.如图1-图4所示，本实施例提供的一种基于视频结构化技术的车路协同系统，包括车载系统1、信号灯预测系统2和云端数据中心3，信号灯预测系统2包括多个监控视频平台21、解码模块22、目标检测模块23、追踪模块24、路人属性分类模块25、车辆属性分类模块26、仿真分析模块27、信号灯通信模块28、图像叠加模块29和检索模块210，信号灯预测系统
2将叠加之后的图片序列进行编码，然后通过rtmp方式将画面分析结果利用信号灯通信模块28实时发送给云端数据中心3的信息管理服务器33进行统一管理。
28.车载系统1包括车载显示屏11、车载摄像头12、车辆状态信息采集模块13和车载通信模块14，车载系统1通过车辆状态信息采集模块13采集自身车辆状态信息，通过车载摄像头12采集车载监控画面数据，并将上述两种数据通过现有技术处理bsm数据包的形式利用车载通信模块14发送给云端数据中心3，同时车载通信模块14接收云端数据中心3广播的rsm类型的数据包，通过现有技术校准后发送到车载显示屏11上显示，云端数据中心3包括主控处理模块31、发布管理服务器32、信息管理服务器33和多个服务子模块34，发布管理服务器32用于对多个服务子模块34进行发布管理，主控处理模块31在接收到多个服务子模块34的注册请求时，存储对应服务子模块34的接口信息和路由信息。
29.多个监控视频平台21采用监控摄像头制成，在将视频接入到系统时通过以下两种方式，一种就是直接从摄像头直接接入，常见ip摄像机都支持rtsp/28181国标/设备sdk方式接入；第二种就是从视频管理平台接入，所谓管理平台，其实就是管理所有的摄像机视频数据，摄像机先接入平台，其他系统如果需要视频数据，需要通过sdk/协议再从平台接入，这种方式的好处是平台已经适配了所有前端摄像机，其他系统平台接入视频时逻辑更简单。
30.解码模块22用于将输入到系统内的视频进行图片解码，常见解码库可以采用ffmpeg。
31.目标检测模块23使用的算法采用yolo系列、ssd、rcnn系列中的一种，解码之后得到每帧rgb格式的图片，将图片依次输入目标检测模型，gpu加速推理后得到每帧中感兴趣的目标，主要作用是从单帧图像中锁定感兴趣的目标。
32.追踪模块24用于进行监控视频连续帧关联，通过轨迹分析得出目标行为，具体通过计算前后帧每两目标区域之间的iou来关联目标，并赋予该目标唯一标识符。
33.路人属性分类模块25用于对行人特征年龄、性别、穿着、交通工具进行分类，车辆属性分类模块26用于对车辆的型号以及颜进行分类。
34.检索模块210用于快速检索已经存入数据库的结构化数据，在检索之前先将前面产生的结构化数据存入数据库同时将其与标识符关联起来，或者与视频时间戳关联，达到方便快速检索的目的。
35.图像叠加模块29用于将结构化数据叠加到原始图片帧上，按照数据格式使用opencv图像库将其绘制到图片，便于实时查看画面分析结果。
36.信号灯通信模块28和车载通信模块14采用dsrc、wifi、dsr、gsm/gprs、3g、rfid、wlan、bluetooth中的一种或多种方式进行通信。
37.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情
况理解上述术语的具体含义。
38.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于视频结构化技术的车路协同系统，其特征在于，包括车载系统(1)、信号灯预测系统(2)和云端数据中心(3)，所述信号灯预测系统(2)包括多个监控视频平台(21)、解码模块(22)、目标检测模块(23)、追踪模块(24)、路人属性分类模块(25)、车辆属性分类模块(26)、仿真分析模块(27)、信号灯通信模块(28)、图像叠加模块(29)和检索模块(210)；所述车载系统(1)包括车载显示屏(11)、车载摄像头(12)、车辆状态信息采集模块(13)和车载通信模块(14)，所述云端数据中心(3)包括主控处理模块(31)、发布管理服务器(32)、信息管理服务器(33)和多个服务子模块(34)。2.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，多个所述监控视频平台(21)采用监控摄像头制成。3.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述解码模块(22)用于将输入到系统内的视频进行图片解码。4.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述目标检测模块(23)使用的算法采用yolo系列、ssd、rcnn系列中的一种。5.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述追踪模块(24)用于进行监控视频连续帧关联，通过轨迹分析得出目标行为。6.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述路人属性分类模块(25)用于对行人特征(年龄、性别、穿着、交通工具)进行分类，所述车辆属性分类模块(26)用于对车辆的型号以及颜进行分类。7.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述检索模块(210)用于快速检索已经存入数据库的结构化数据。8.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述图像叠加模块(29)用于将结构化数据叠加到原始图片帧上。9.根据权利要求1所述的一种基于视频结构化技术的车路协同系统，其特征在于，所述信号灯通信模块(28)和车载通信模块(14)采用dsrc、wifi、dsr、gsm/gprs、3g、rfid、wlan、bluetooth中的一种或多种方式进行通信。

技术总结

本发明公开了一种基于视频结构化技术的车路协同系统，属于交通领域，包括车载系统、信号灯预测系统和云端数据中心，所述信号灯预测系统包括多个监控视频平台、解码模块、目标检测模块、追踪模块、路人属性分类模块、车辆属性分类模块、仿真分析模块、信号灯通信模块、图像叠加模块和检索模块，所述车载系统包括车载显示屏、车载摄像头、车辆状态信息采集模块和车载通信模块，所述云端数据中心包括主控处理模块、发布管理服务器、信息管理服务器和多个服务子模块；由此，该车路协同系统能够实现通过视频结构化技术对目标特征进行准确快速的记录，并对目标可能行为进行提前预测来确保交通安全的功能。安全的功能。安全的功能。