一种基于视频处理的公交客流获取系统及方法

阅读：评论：0

1.本发明属于公交客流获取领域，具体涉及一种基于视频处理的公交客流获取系统及方法。

背景技术：

2.随着城镇化进程的加快，交通拥堵等问题需要及时解决。作为有效缓解交通拥堵的方法，城市公共交通得到人们的关注。要使城市公交系统高效地运行，公交企业需要获取准确的乘客出行数据。通过这些数据获得出行特征，根据获得的出行特征，公交企业可以有效改善公交线路和时刻表。
3.目前获取公交客流信息的方法主要有以下几种：
4.1)人工采集：公交车上有专人来负责统计上车乘客出发点、目的地、乘车时间等信息。该方法在乘客较少时准确度较高，但是在客流量较大的时候数据受到人为因素的影响较大。
5.2)传感器采集：通过在公交车车门处安装压力传感器、光电传感器等对通过的乘客进行计数。此种方式只能对乘客进行计数，但无法得知具体乘客在何处上下车。
6.3)wifi探针技术：wifi探针技术则是依靠无线网络，依靠如手机等移动设备接入wifi热点获取计算设备的mac地址，实现对被检测设备信息的记录，从而统计车上的人数。此种方法无法对未开启wifi功能的设备进行检测，同样也无法得到某位乘客具体的上下车地点。
7.综上所述，现有公交客流信息获取方法仍然不能准确获取到详细的公交客流信息。

技术实现要素：

8.本发明的目的是为解决现有公交客流信息获取方法不能准确获取到详细的公交客流信息的问题，而提出的一种基于视频处理的公交客流获取系统及方法。
9.本发明为解决上述技术问题所采取的技术方案是：
10.基于本发明的一个方面，一种基于视频处理的公交客流获取系统，所述系统包括摄像头模块、gnss模块和存储控制模块，其中：
11.所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；
12.所述gnss模块用于实时采集公交车的经纬度信息；
13.所述摄像头模块和gnss模块通过usb串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；
14.再结合gnss模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。
15.基于本发明的另一个方面，一种基于视频处理的公交客流获取方法，所述方法具体包括以下步骤：
16.步骤s1、公交车位置信息获取
17.利用gnss模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；
18.步骤s2、公共车客流正面视频信息获取
19.当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；
20.否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；
21.步骤s3、视频信息处理
22.利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；
23.利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；
24.步骤s4、公交客流信息匹配
25.将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；
26.将公交车乘客上、下车的时间点与gnss模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。
27.本发明的有益效果是：
28.本发明提出了一种基于视频处理的公交客流获取系统及方法，利用车载相机获取公交乘客上下车的客流视频，再运用算法处理客流视频获取乘客面部特征和其它外观特征，得到乘客的多特征向量，并对多特征向量之间进行相似度对比从而实现乘客上下车的重识别，最后结合gnss模块中的位置和时间信息就可得知该乘客的上下车地点和时间。本发明方法在大客流量的情况下，仍然能够获得准确详细的公交客流信息。
附图说明
29.图1是本发明的一种基于视频处理的公交客流获取系统的架构图；
30.图2是本发明的一种基于视频处理的公交客流获取方法的流程图；
31.图3是标准特征向量库生成的示意图；
32.图4是乘客多特征示意图；
33.图5是上、下车乘客匹配流程图。
具体实施方式
34.具体实施方式一、结合图1说明本实施方式。本实施方式所述的一种基于视频处理
的公交客流获取系统，所述系统包括摄像头模块、gnss模块(全球导航卫星系统)和存储控制模块，其中：
35.所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；
36.具体地，所述摄像头模块为车载相机，布设摄像头模块的数量取决于公交车内可上、下车出入口的总数量，安装在公交车进口门的前方车顶上以拍摄客流进入公交车的正面视频，安装在出口门的门框上以拍摄客流离开公交车的正面视频；
37.所述gnss模块用于实时采集公交车的经纬度信息；
38.所述摄像头模块和gnss模块通过usb串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；
39.再结合gnss模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。
40.具体实施方式二：本实施方式与具体实施方式一不同的是，所述系统由公交车车载电池供电。
41.其它步骤及参数与具体实施方式一相同。
42.具体实施方式三、结合图2说明本实施方式。基于具体实施方式一所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，所述方法具体包括以下步骤：
43.步骤s1、公交车位置信息获取
44.利用gnss模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；
45.公交客流信息检测系统开始工作时，gnss模块即持续提取信息，gnss模块的工作状态会一直持续到系统停止工作；
46.步骤s2、公共车客流正面视频信息获取
47.当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；
48.否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；
49.步骤s3、视频信息处理
50.利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；
51.利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；
52.步骤s4、公交客流信息匹配
53.将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；
54.将公交车乘客上、下车的时间点与gnss模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。
55.本发明的方法主要有以下有益效果：
56.①
与传统方法相比，通过处理视频帧的方法获取客流信息能够在极短的时间捕捉到乘客目标，从而在客流量较大时能够快速准确获取乘客信息，遗漏情况较少；
57.②
能够获得具体每名乘客的上下车客流信息，该信息对公交系统的规划、建设具有更重要的意义；
58.③
本发明所提出的方法不仅能够用在公交车上，也能够运用在地铁、轻轨或是车站的客流信息的获取上，具有一定的通用性。
59.具体实施方式四：结合图3说明本实施方式。本实施方式与具体实施方式三不同的是，所述步骤s3的具体过程为：
60.步骤s31、利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再通过人像目标检测算法获取到每张图片中上车乘客的目标检测框；
61.步骤s32、利用多目标检测算法将步骤s31的每张图片中的目标检测框替换成跟踪框，并为每一个跟踪目标分配一个跟踪id号；
62.步骤s33、对于任意一位上车乘客，均对上车乘客进行持续跟踪直至离开摄像头模块的拍摄范围，对于某位上车乘客来说，按照该位上车乘客在连续跟踪的各张图片中的跟踪框边缘，分别从连续跟踪的各张图片中截取出该位上车乘客的人像，再对截取出的人像进行矫正，将矫正后的该位上车乘客的全部人像共同存入同一文件夹中形成该位上车乘客的人像集；
63.同理，分别获得每位上车乘客的人像集；
64.步骤s34、对于任意一位上车乘客的人像集，采用人像质量评估算法(包含但不仅限eqface人脸质量评估算法)分别对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位上车乘客的标准人像；
65.同理，分别获得每位上车乘客的标准人像；
66.步骤s35、采用特征提取器(利用图片训练集训练深度学习模型获得特征提取器)分别提取出每位上车乘客对应的标准人像的多种特征，如图4所示，所述多种特征包括面部特征、口罩特征、眼镜特征、帽子特征和服装特征；
67.对于某位上车乘客来说，该位上车乘客的多种特征组成该位上车乘客所对应的标准人像的多特征向量，再将该位上车乘客所对应标准人像的多特征向量存储在存储控制模块中，根据该位上车乘客的跟踪id号以及该位上车乘客所对应标准人像的拍摄时间对该位上车乘客所对应标准人像的多特征向量进行命名；
68.同理，分别得到每位上车乘客所对应标准人像的多特征向量；全部上车乘客对应的多特征向量组成上车乘客的标准特征向量库；
69.步骤s36、利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量。
70.在出口门，也可以通过持续跟踪的方式采集图片，对于每位下车的乘客，将通过连
续跟踪获得的该位下车乘客的各张图片组成人像集，对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位下车乘客的标准人像，将标准人像的多特征向量与标准特征向量库中的多特征向量进行匹配，得到匹配结果。
71.其它步骤及参数与具体实施方式三相同。
72.具体实施方式五：本实施方式与具体实施方式三或四不同的是，所述人像目标检测算法为yolov5目标检测算法。
73.本实施方式的方法可以是yolov5目标检测算法，但是不局限于yolov5目标检测算法。
74.其它步骤及参数与具体实施方式三或四相同。
75.具体实施方式六：本实施方式与具体实施方式三至五之一不同的是，所述多目标检测算法为deep sort多目标跟踪算法。
76.本实施方式的方法可以是deep sort多目标跟踪算法，但是不局限于deep sort多目标跟踪算法。
77.其它步骤及参数与具体实施方式三至五之一相同。
78.具体实施方式七：本实施方式与具体实施方式三至六之一不同的是，所述人像质量评估算法为eqface人脸质量评估算法。
79.本实施方式的方法可以是eqface人脸质量评估算法，但是不局限于eqface人脸质量评估算法。
80.其它步骤及参数与具体实施方式三至六之一相同。
81.具体实施方式八：结合图5说明本实施方式。本实施方式与具体实施方式三至七之一不同的是，所述步骤s4的具体过程为：
82.步骤s41、对于任意的一位下车乘客，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
83.所述步骤s41中，该位下车乘客所对应的多特征向量与标准特征向量库中任意一个多特征向量a的特征相似度的计算方式为：
84.计算出该位下车乘客所对应的多特征向量中的面部特征与标准特征向量库中的多特征向量a中的面部特征的余弦距离d1、计算出下车乘客所对应的多特征向量中的口罩特征与标准特征向量库中的多特征向量a中的口罩特征的余弦距离d2、计算出下车乘客所对应的多特征向量中的眼镜特征与标准特征向量库中的多特征向量a中的眼镜特征的余弦距离d3、计算出下车乘客所对应的多特征向量中的服装特征与标准特征向量库中的多特征向量a中的服装特征的余弦距离d4、计算出下车乘客所对应的多特征向量中的帽子特征与标准特征向量库中的多特征向量a中的帽子特征的余弦距离d5；
85.再加入各个特征的权重系数k1、k2、k3、k4和k5进行融合，将融合结果作为该位下车乘客所对应的多特征向量与标准特征向量库中的多特征向量a的特征相似度；
86.同理，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
87.步骤s42、从该位下车乘客所对应的全部特征相似度中选择出最大的特征相似度，若选择出的特征相似度大于等于设定的阈值，则匹配成功，并将最大的特征相似度所对应的标准人像的上车时间作为该位下车乘客的上车时间点；否则，选择出的特征相似度小于
设定的阈值，则匹配失败，由人工手动对该位下车乘客进行匹配；
88.步骤s43、重复步骤s41和步骤s42，分别获得每位乘客上、下车的时间点；
89.步骤s44、根据gnss模块提取的实时经度、纬度和时间信息，再将gnss模块提取的时间信息转换为标准时间(标准北京时间)后，将转换后的标准时间与每位乘客上、下车的时间点进行匹配，得到每位乘客上、下车时间、每位乘客上、下车地点以及每位乘客的乘坐公交车时间，至此得到公交客流信息。
90.权重系数与相似度阈值通过实验获得。
91.其它步骤及参数与具体实施方式三至七之一相同。
92.具体实施方式九：本实施方式与具体实施方式三至八之一不同的是，所述融合方式为：
93.d＝k1×
d1+k2×
d2+k3×
d3+k4×
d4+k5×
d594.其中，d为融合结果，k1为面部特征对应的权重系数，k2为口罩特征对应的权重系数，k3为眼镜特征对应的权重系数，k4为服装特征对应的权重系数，k5为帽子特征对应的权重系数。
95.其它步骤及参数与具体实施方式三至八之一相同。
96.实施例
97.本发明主要包含摄像头模块、gnss模块和存储控制模块三个部分，整个系统由公交车车载电池供电。其中，摄像头模块包括两个部分若干数量(取决于公交车可上、下车出入口的数量)，一个部分安装在公交车进口门的前方车顶上以拍摄客流进入公交车的正面视频，另一个部分安装在出口门的门框上以拍摄客流离开公交车的正面视频。
98.gnss模块的中文名是“全球导航卫星系统”，它是多个卫星系统的总称。通过卫星信号接收器和解码器，gnss模块可以采集到经纬度坐标、运动速度还有时间等一系列信息，通过usb串口连接gnss模块，读取串口通信数据，即可在控制设备上获取上述信息。
99.存储控制模块识别到车门开关打开时，将开始记录乘客上下车的视频，若开关关闭，则停止记录，以拍摄的当地时间命名视频。存储控制模块存储摄像头采集到的视频并应用相应的处理算法，进行乘客人像检测裁剪、提取人像特征、特征匹配等操作，即可得到每名乘客具体的上下车具体时间。此信息再结合gnss模块获得的数据即可获得每名乘客上下车地点、乘车时间等客流信息。该系统的总体设计如图1所示。
100.该系统工作的步骤如下：
101.步骤1、gnss模块信息的获取：该公交客流信息检测系统开始工作时，gnss模块会持续连接卫星并提取实时信息中的时间、经度和纬度信息，将其时间转化为标准北京时间，并按照一定的格式保存在存储控制模块中，gnss模块的工作状态会一直持续到该系统停止工作；
102.步骤2、公共客流正面视频获取：通过公交车上的开关门开关来控制车载摄像头的开启与关闭，当司机打开上车车门的开关时，拍摄上车客流的摄像头开始记录，关闭时停止记录；下车车门的开关打开时，拍摄下车客流的摄像头开始记录，关闭开关停止记录。将获得的视频存储到存储控制模块；
103.步骤3、视频处理，主要步骤如下：
104.(1)针对乘客上车视频：
105.1)对输入的视频按照一定的帧数间隔进行每秒抽帧形成一系列的帧图片。此步骤主要是减少系统处理图片的数量，加快处理速度同样也能够减少储存空间的浪费。
106.2)利用人像检测算法检测步骤1)获得的帧图片以确定图片中是否存在乘客和锁定乘客位置，若存在乘客则标出人像位置形成人像检测框，可以利用yolov5目标检测算法进行检测；
107.3)通过多目标跟踪算法(包含但不仅限deep sort多目标跟踪算法)将2)中人像检测框替换为跟踪框并为目标分配一个跟踪号(即跟踪id号，在没有发生id切换的条件下，同一乘客在不同视频帧中的id号相同)，沿着跟踪框边缘裁剪人像获得上车乘客人像截图，并持续跟踪乘客目标直至乘客消失在帧图片中。
108.4)在步骤3)中，持续将同一乘客(即相同跟踪id的乘客)的人像截图存入同一文件夹中形成同一乘客的人像集，目的在于收集所有同一乘客在上车视频中所出现的人像图片，从而可以挑选出人像特征最清晰的人像图片作为标准图片，从而提高识别成功率；
109.5)对4)中的人像集运用人脸质量评估算法(包含但不仅限eqface人脸质量评估算法)，对人像进行人脸特征质量打分，从人像集中挑选出分数最高的人像作为该乘客的标准人像；
110.6)对5)中标准人像图片进行矫正完成图片归一化后，利用特征提取器提取乘客标准人像的多种特征向量，其中以面部特征为主其它外观特征(如图4所示，其它外观特征可以包括口罩特征、眼镜特征、服装特征、帽子特征等)为辅组成标准人像的多特征向量，其中特征提取器为利用图片训练集训练深度学习模型获得，主要检测特征点也即关键点的相对位置与颜的分布情况，并量化形成一个多维度的向量称为多特征向量；
111.7)将6)中的标准人像的多特征向量命名为“跟踪id号+拍摄时间”的组合存储在存储控制模块中，采用此命名方式目的在于避免人像图片的命名重复从而导致储存错误，其中拍摄时间指视频拍摄时的北京时间，采用北京时间作为命名部分之一是系统需要将图片与gnss模块获取的经纬度和时间信息通过时间相同来匹配，从而获取每张图片拍摄的位置信息。获取所有上车乘客的标准人像多特征向量得到上车乘客的标准向量库，供下车乘客对比、匹配使用。
112.8)判断视频是否处理完毕，若处理完毕则流程结束。
113.(2)针对乘客下车视频：
114.1)步骤与(1)针对乘客上车视频中1)至3)相同，主要获取下车乘客的人像截图；
115.2)对下车乘客人像图片进行矫正完成图片归一化后利用特征提取器提取乘客多特征向量，供匹配上车乘客的标准向量库使用；
116.3)将2)中的多特征向量命名为“跟踪id号+拍摄时间”存储在存储控制模块中；
117.4)判断视频是否处理完毕，若处理完毕则流程结束。
118.步骤4、公交客流信息匹配：由步骤3获得上车乘客的标准特征向量库与下车乘客的多特征向量，利用余弦距离计算得下车乘客的多特征向量与上车乘客的标准特征向量库中各个特征向量的相似度(d1、d2、...等，数量取决于选取的多特征数量)，加入各个特征的权重系数(k1、k2...)，由公式d＝k1×
d1+k2×
d2+k3×
d3+k4×
d4+k5×
d5获得融合特征相似度。并以最大相似度匹配上下车乘客的多特征向量，如果最大的融合特征相似度大于等于选定阈值，则认为上下车乘客完成匹配即完成重识别，否则认为匹配失败，其中权重系数与相似
度阈值通过实验获得。完成上下车乘客重识别后，由于将乘客多特征向量命名为“跟踪id号+拍摄时间”的组合，因此可获得某乘客上下车的时间点。
119.同时，通过gnss模块获取的实时经度、纬度和时间信息，将时间信息转换为标准的北京时间，将gnss模块与某乘客上下车的时间点通过时间匹配起来，得到该乘客上下车的时间、乘坐公交车时间以及经度和纬度的位置信息，至此得到公交客流信息，并存储在存储控制模块中，供工作人员调用。
120.本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

技术特征：

1.一种基于视频处理的公交客流获取系统，其特征在于，所述系统包括摄像头模块、gnss模块和存储控制模块，其中：所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；所述gnss模块用于实时采集公交车的经纬度信息；所述摄像头模块和gnss模块通过usb串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；再结合gnss模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。2.根据权利要求1所述的一种基于视频处理的公交客流获取系统，其特征在于，所述系统由公交车车载电池供电。3.基于权利要求1所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述方法具体包括以下步骤：步骤s1、公交车位置信息获取利用gnss模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；步骤s2、公共车客流正面视频信息获取当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；步骤s3、视频信息处理利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；步骤s4、公交客流信息匹配将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；将公交车乘客上、下车的时间点与gnss模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。4.根据权利要求3所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述步骤s3的具体过程为：步骤s31、利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再通过人像目标检测算法获取到每张图片中上车乘客的目标检测框；
步骤s32、利用多目标检测算法将步骤s31的每张图片中的目标检测框替换成跟踪框，并为每一个跟踪目标分配一个跟踪id号；步骤s33、对于任意一位上车乘客，均对上车乘客进行持续跟踪直至离开摄像头模块的拍摄范围，对于某位上车乘客来说，按照该位上车乘客在连续跟踪的各张图片中的跟踪框边缘，分别从连续跟踪的各张图片中截取出该位上车乘客的人像，再对截取出的人像进行矫正，将矫正后的该位上车乘客的全部人像共同存入同一文件夹中形成该位上车乘客的人像集；同理，分别获得每位上车乘客的人像集；步骤s34、对于任意一位上车乘客的人像集，采用人像质量评估算法分别对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位上车乘客的标准人像；同理，分别获得每位上车乘客的标准人像；步骤s35、采用特征提取器分别提取出每位上车乘客对应的标准人像的多种特征，所述多种特征包括面部特征、口罩特征、眼镜特征、帽子特征和服装特征；对于某位上车乘客来说，该位上车乘客的多种特征组成该位上车乘客所对应的标准人像的多特征向量，再将该位上车乘客所对应标准人像的多特征向量存储在存储控制模块中，根据该位上车乘客的跟踪id号以及该位上车乘客所对应标准人像的拍摄时间对该位上车乘客所对应标准人像的多特征向量进行命名；同理，分别得到每位上车乘客所对应标准人像的多特征向量；全部上车乘客对应的多特征向量组成上车乘客的标准特征向量库；步骤s36、利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量。5.根据权利要求4所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述人像目标检测算法为yolov5目标检测算法。6.根据权利要求5所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述多目标检测算法为deep sort多目标跟踪算法。7.根据权利要求6所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述人像质量评估算法为eqface人脸质量评估算法。8.根据权利要求7所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述步骤s4的具体过程为：步骤s41、对于任意的一位下车乘客，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；所述步骤s41中，该位下车乘客所对应的多特征向量与标准特征向量库中任意一个多特征向量a的特征相似度的计算方式为：计算出该位下车乘客所对应的多特征向量中的面部特征与标准特征向量库中的多特征向量a中的面部特征的余弦距离d1、计算出下车乘客所对应的多特征向量中的口罩特征与标准特征向量库中的多特征向量a中的口罩特征的余弦距离d2、计算出下车乘客所对应的多特征向量中的眼镜特征与标准特征向量库中的多特征向量a中的眼镜特征的余弦距离
d3、计算出下车乘客所对应的多特征向量中的服装特征与标准特征向量库中的多特征向量a中的服装特征的余弦距离d4、计算出下车乘客所对应的多特征向量中的帽子特征与标准特征向量库中的多特征向量a中的帽子特征的余弦距离d5；再加入各个特征的权重系数k1、k2、k3、k4和k5进行融合，将融合结果作为该位下车乘客所对应的多特征向量与标准特征向量库中的多特征向量a的特征相似度；同理，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；步骤s42、从该位下车乘客所对应的全部特征相似度中选择出最大的特征相似度，若选择出的特征相似度大于等于设定的阈值，则匹配成功，并将最大的特征相似度所对应的标准人像的上车时间作为该位下车乘客的上车时间点；否则，选择出的特征相似度小于设定的阈值，则匹配失败，由人工手动对该位下车乘客进行匹配；步骤s43、重复步骤s41和步骤s42，分别获得每位乘客上、下车的时间点；步骤s44、根据gnss模块提取的实时经度、纬度和时间信息，再将gnss模块提取的时间信息转换为标准时间后，将转换后的标准时间与每位乘客上、下车的时间点进行匹配，得到每位乘客上、下车时间、每位乘客上、下车地点以及每位乘客的乘坐公交车时间，至此得到公交客流信息。9.根据权利要求8所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述融合方式为：d＝k1×
d1+k2×
d2+k3×
d3+k4×
d4+k5×
d5其中，d为融合结果，k1为面部特征对应的权重系数，k2为口罩特征对应的权重系数，k3为眼镜特征对应的权重系数，k4为服装特征对应的权重系数，k5为帽子特征对应的权重系数。

技术总结

一种基于视频处理的公交客流获取系统及方法，它属于公交客流获取领域。本发明解决了现有公交客流信息获取方法不能准确获取到详细的公交客流信息的问题。本发明利用车载相机获取公交乘客上下车的客流视频，再运用算法处理客流视频获取乘客面部特征和其它外观特征，得到乘客的多特征向量，并对多特征向量之间进行相似度对比从而实现乘客上下车的重识别，最后结合GNSS模块中的位置和时间信息就可得知该乘客的上下车地点和时间。本发明方法在大客流量的情况下，仍然能够获得准确详细的公交客流信息。本发明方法可以应用于公交客流获取领域。域。域。