一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法与流程

阅读：评论：0

1.本发明属于汽车技术领域，具体涉及一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法。

背景技术：

2.目前常用的传感器有激光雷达、毫米波雷达、摄像头和超声波雷达等。毫米波雷达和摄像头是adas系统最常见的传感器，具有成本低廉的优点且技术比较成熟，便于实现工业化和产业化应用。摄像头具有成本低，可以识别不同物体，在物体高度和宽度测量精度，行人、道路标志识别的准确度等方面优势较为突出。在车辆前方布置双目摄像头还可以实现定位功能。但是摄像头的检测效果容易受到恶劣环境影响，如雨雾天气和黑天。而毫米波雷达通过发射电磁波实现测距和测速功能，不受光照和天气因素影响，但是无法识别车道线和交通标志等。因此通过将摄像头和雷达结合起来从而实现对道路环境的感知，将摄像头和雷达的优势互补，实现更稳定可靠的adas功能，对于提高行车安全性具有重要意义。多传感器融合可以提高车辆检测和跟踪的精确性且鲁棒性强。按照数据抽象层次，信息融合系统可划分为三个级别：数据级融合、特征级融合和决策级融合。数据级融合直接对传感器观测数据进行融合处理，并对融合后的结果进行特征提取和判断决策，这种数据融合要求传感器是同类的。特征级融合可划分为目标状态信息融合和目标特征信息融合两大类。目标状态信息融合主要用于多传感器目标跟踪领域，对传感器数据完成数据配准后进行数据关联和状态估计。决策级融合是一种高层次融合，先由每个传感器基于自己的数据做出决策，然后在融合中心完成局部决策的融合处理，这种融合方法的数据损失最大，因此精度较低。
3.环境感知处于智能驾驶车辆与外界环境信息交互的关键位置，人类在驾驶过程中所接收的信息大多来自视觉，例如交通标志、行人、车道线等，这些道路视觉信息成为驾驶员控制车辆的主要依据。在智能驾驶车辆中，利用相机代替人类视觉系统，同时结合毫米波雷达提供前方目标的位置和速度，能够精确感知前方行车环境。近年来，计算机视觉技术逐渐成熟，基于视觉的目标检测、图像分类、实例分割等技术飞速发展。
4.因为单目视觉缺少井深信息，而基于帧间匹配进行3d重建得到的井深坐标存在严重偏移的缺点，导致在单目相机与毫米波进行目标航迹id匹配的时候，经常因为单目相机深度信息误差大而导致错误匹配或匹配不到。另一方面，单目相机虽在深度上误差较大，但在目标检测时生成的坐标在相机归一化平面上的投影的二维坐标，是相对较准确的，可以轻视其深度信息，而主要使用其图像2d上的坐标进行计算关联距离与相似度，从而进行匹配，为此我们提出一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法。

技术实现要素：

5.本发明的目的在于提供一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：
7.s1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；
8.s2、处理所述雷达原始数据，得到有效目标的第一目标航迹；
9.s3、处理所述视觉原始图像，得到有效目标的第二目标航迹；
10.s4、将所述第一目标航迹与第二目标航迹进行匹配。
11.优选的，所述s1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过vslam等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息。
12.优选的，所述s1中毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，v
x
,vy)。
13.优选的，所述s2中处理雷达原始数据进行目标跟踪时，具体方法如下：
14.s2.1、去除所述原始数据中的无效目标、静止目标以及冗余数据；
15.s2.2、通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹；
16.s2.3、对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。
17.优选的，所述数据关联的方式具体为公式：
[0018][0019]
式中:d为毫米波雷达测量的目标相对距离；v为毫米波雷达测量的目标相对速度；φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据。
[0020]
优选的，所述s3中处理视觉原始图像进行目标跟踪时时，具体方法如下：
[0021]
s3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度；
[0022]
s3.2、对有效目标进行跟踪，基于deepsort网络，获取有效目标的所述第二目标航迹。
[0023]
优选的，所述s3.1实现步骤的具体内容为训练yolo v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算yolo v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度。
[0024]
优选的，所述s3.2实现步骤的具体步骤为：
[0025]
步骤一：将有效目标的边界框的信息和原始图像传输至deepsort网络，deepsort利用cnn网络对有效目标边界框内的检测块进行特征提取；
[0026]
步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；
[0027]
步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；
[0028]
步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功。
[0029]
优选的，所述s4的具体步骤为：
[0030]
s4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将所述第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；
[0031]
s4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合；
[0032]
s4.3、对第一航迹与第二航迹中的每一对目标，计算所述第一航迹的中心投影坐标点与对应的所述第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；
[0033]
s4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；
[0034]
s4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。
[0035]
优选的，所述s4具体步骤中：
[0036]
欧氏距离表示为：其中(uc,vc)是图像检测和跟踪的目标航迹中心点；(ur,vr)是雷达投影在图像上的航迹点；
[0037]
目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
[0038]
①
将毫米波目标a的三维坐标投影到相机归一化平面，将摄像头目标b也投影到相机归一化平面；
[0039]
②
计算位姿相似度：计算目标a与目标b在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度sd＝func1(d)；
[0040]
③
计算速度相似度：将目标a和目标b的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值max，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度sv＝func2(v)；
[0041]
④
将位姿相似度和速度相似度合并得到综合相似度s＝func3(sd,sv)；其中，sd＝func1(d)＝c1*d，c1为位姿相似度权重系数，sv＝func2(v)＝c2*v，c2为速度相似度权重系数，max取一个极大的值，用作标志拒绝此匹配，s＝func3(sd,sv)＝(c12+c22)
0.5
；
[0042]
图像像素坐标系和世界坐标系的转换关系为：
[0043]
[0044]
式中:rc为镜头旋转矩阵；tc为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；xw yw zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；
[0045]
雷达坐标系和世界坐标系的转换关系：
[0046][0047]
式中:xryrzr为毫米波雷达坐标系；rr为毫米波雷达旋转矩阵；tr为毫米波雷达平移矩阵；
[0048]
雷达坐标到图像像素坐标的转换关系
[0049][0050]
卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：
[0051]
卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；
[0052]
这里使用到了卡尔曼滤波的预测步，系统状态方程为：
[0053]
xk＝ax
k-1
+bu
k-1
+w
k-1
则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：
[0054][0055][0056]
由此实现时间同步，卡尔曼预测的部分。
[0057]
与现有技术相比，本发明的有益效果是：
[0058]
1.本发明单目相机目标，与毫米波目标的关联距离计算方法，即通过弱化单目相机深度信息，强化其2d坐标信息，与毫米波识别的3d信息计算相似度，在不增大计算复杂度的同时，增大匹配的正确率。
[0059]
2.本发明获取视觉和雷达的原始数据，数据更丰富；方法鲁棒性强，对于单目相机缺少井深信息的情况，关联矩阵的计算具有良好的适配，使得相机和毫米波具有补偿作用；航迹融合方法容错率高，保证单个传感器失效时系统仍能正常工作。
附图说明
[0060]
图1为本发明的原理示意框图；
[0061]
图2为本发明的处理图像示意框图；
[0062]
图3为本发明的神经网络结构示意图。
具体实施方式
[0063]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
请参阅图1至图3，本发明提供一种技术方案：一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：
[0065]
s1、通过毫米波雷达和摄像头分别获取原始数据和原始图像：
[0066]
摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过vslam等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息；
[0067]
毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，v
x
,vy)；雷达和摄像头对跟踪目标的探测精度存在差异，导致两个传感器探测到的感知目标和跟踪目标发生偏离；
[0068]
s2、处理雷达原始数据，得到有效目标的第一目标航迹，具体方法如下：
[0069]
s2.1、去除原始数据中的无效目标、静止目标以及冗余数据；
[0070]
s2.2、通过数据关联的方式确定有效目标，并初始化有效目标的航迹，数据关联的方式具体为公式：
[0071][0072]
式中:d为毫米波雷达测量的目标相对距离；v为毫米波雷达测量的目标相对速度；φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据；
[0073]
s2.3、对已经形成的航迹进行跟踪，得到有效目标的第一目标航迹；
[0074]
s3、处理视觉原始图像，得到有效目标的第二目标航迹，具体方法如下：
[0075]
s3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度，具体地：训练yolo v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算yolo v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度等；
[0076]
s3.2、对有效目标进行跟踪，基于deepsort网络，获取有效目标的第二目标航迹，
具体地：
[0077]
步骤一：将有效目标的边界框的信息和原始图像传输至deepsort网络，deepsort利用cnn网络对有效目标边界框内的检测块进行特征提取；
[0078]
步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；运动特征的关联成功定义为：相邻两帧的有效目标的检测框的距离小于阈值，则关联成功；相邻两帧的有效目标的检测框的距离用公式可表示为：式中：dj表示第j个检测框的位置；yi表示第i个跟踪器对目标的预测位置；si表示检测位置与平均跟踪位置之间的协方差矩阵；
[0079]
步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；外观信息关联的成功定义为：相邻两帧的有效目标的外观信息的相似性进行关联，如果距离小于指定的阈值，那么这个关联就是成功的；相邻两帧的有效目标的外观信息的相似性可采用如下公式表示：式中：为每一个跟踪目标成功关联的最近100个成功关联的特征向量的集合；rj为当前图像中第i个检测块的特征向量；
[0080]
步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功；融合匹配采用公式表示如下：c
i，j
＝λd
(1)
(i，j)+(1-λ)d
(2)
(i，j)；
[0081]
s4、将第一目标航迹与第二目标航迹进行匹配，具体方法如下：
[0082]
s4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；
[0083]
s4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合(若不特殊说明，以下均指新的)；
[0084]
s4.3、对第一航迹与第二航迹中的每一对目标，计算第一航迹的中心投影坐标点与对应的第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；
[0085]
s4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；
[0086]
s4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。
[0087]
在s4上述流程中，有一些需要再次解释的名词或需要用到的公式，如下：
[0088]
1)欧氏距离表示为：其中(uc,vc)是图像检测和跟踪的目标航迹中心点；(ur,vr)是雷达投影在图像上的航迹点；
[0089]
2)目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
[0090]
①
将毫米波目标a的三维坐标投影到相机归一化平面，将摄像头目标b也投影到相机归一化平面；
[0091]
②
计算位姿相似度：计算目标a与目标b在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度sd＝func1(d)；
[0092]
③
计算速度相似度：将目标a和目标b的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值max，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度sv＝func2(v)；
[0093]
④
将位姿相似度和速度相似度合并得到综合相似度s＝func3(sd,sv)；
[0094]
其中，sd＝func1(d)＝c1*d，c1为位姿相似度权重系数，sv＝func2(v)＝c2*v，c2为速度相似度权重系数，max取一个极大的值，用作标志拒绝此匹配，s＝func3(sd,sv)＝(c12+c22)
0.5
；
[0095]
3)图像像素坐标系和世界坐标系的转换关系为：
[0096][0097]
式中:rc为镜头旋转矩阵；tc为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；xw yw zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；
[0098]
4)雷达坐标系和世界坐标系的转换关系：
[0099][0100]
式中:xryrzr为毫米波雷达坐标系；rr为毫米波雷达旋转矩阵；tr为毫米波雷达平移矩阵；
[0101]
5)雷达坐标到图像像素坐标的转换关系
[0102][0103]
6)卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：
[0104]
卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；
[0105]
这里使用到了卡尔曼滤波的预测步，系统状态方程为：
[0106]
xk＝ax
k-1
+bu
k-1
+w
k-1
[0107]
则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：
[0108][0109][0110]
由此实现时间同步，卡尔曼预测的部分。
[0111]
采用上述技术方案，根据车载毫米波雷达和摄像头获取原始数据；
[0112]
根据雷达信息进行目标检测跟踪得到第一航迹；
[0113]
根据图像信息进行目标检测跟踪得到第二航迹；
[0114]
考虑单目相机缺少井深的特点，适配地计算关联矩阵；
[0115]
采取匈牙利算法进行航迹匹配。
[0116]
从上述描述可知，本发明具有以下有益效果：基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，具有以下优点：获取视觉和雷达的原始数据，数据更丰富；法鲁棒性强，对于单目相机缺少井深信息的情况，关联矩阵的计算具有良好的适配，使得相机和毫米波具有补偿作用；航迹融合方法容错率高，保证单个传感器失效时系统仍能正常工作。
[0117]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0118]
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

技术特征：

1.一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：s1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；s2、处理所述雷达原始数据，得到有效目标的第一目标航迹；s3、处理所述视觉原始图像，得到有效目标的第二目标航迹；s4、将所述第一目标航迹与第二目标航迹进行匹配。2.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像，基于机器学习/深度学习方法获得道路行人、车辆、车道线和标识牌等原始信息；单目摄像头可以确定视锥下物体的速度、方位、形状信息等，并可以通过vslam等方法获取精度较低的三维坐标，提供车辆位置、大小和类别信息。3.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s1中毫米波雷达获取原始数据和原始图像为毫米波雷达通过发射电磁波和接收电磁波达到测距和测速的功能，可以实时获取前方的道路目标的点云信息；毫米波雷达获得车辆位置和纵向速度数据(x，y，v
x
,v
y
)。4.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s2中处理雷达原始数据进行目标跟踪时，具体方法如下：s2.1、去除所述原始数据中的无效目标、静止目标以及冗余数据；s2.2、通过数据关联的方式确定所述有效目标，并初始化所述有效目标的航迹；s2.3、对已经形成的航迹进行跟踪，得到有效目标的所述第一目标航迹。5.根据权利要求4所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述数据关联的方式具体为公式：式中:d为毫米波雷达测量的目标相对距离；v为毫米波雷达测量的目标相对速度；φ为毫米波雷达测量的目标角度；d，v，为距离阈值，速度阈值，角度阈值；m为每一周期雷达测量的目标总数；i为时间，j为每一周期的第j个雷达数据。6.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s3中处理视觉原始图像进行目标跟踪时时，具体方法如下：s3.1、基于视觉深度学习，获取有效目标的边界框、类别和置信度；s3.2、对有效目标进行跟踪，基于deepsort网络，获取有效目标的所述第二目标航迹。7.根据权利要求6所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s3.1实现步骤的具体内容为训练yolo v4网络模型，采集并标注包含多种交通参与者的图像信息，基于训练数据集、验证数据集以及测试数据集等得到网络模型；提取标注数据集的图像特征信息，然后对特征信息进行分类任务训练，通过动态计算yolo v4网络模型在训练集和测试集上的误差，不断重复前向传播-误差计算-反向传播-权重会更新的过程，直到误差值达到期望值，保存模型和权重文件，然后将图像输入到上述训练好的网络模型，得到目标检测边界框、类别以及置信度。
8.根据权利要求6所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s3.2实现步骤的具体步骤为：步骤一：将有效目标的边界框的信息和原始图像传输至deepsort网络，deepsort利用cnn网络对有效目标边界框内的检测块进行特征提取；步骤二：对相邻两帧的所有有效目标进行运动特征关联，关联成功的有效目标，进入下一步；步骤三：对相邻两帧的剩余的有效目标进行外观信息关联，若关联成功则进入下一步；步骤四：将运动特征和外观特征均关联成功的有效目标进行融合匹配，得到最终融合结果，如果融合结果小于阈值，那么定义为匹配成功。9.根据权利要求1所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s4的具体步骤为：s4.1、空间同步：根据毫米波雷达坐标系-像素坐标系的转换关系，将所述第一航迹的中心坐标点投影到图像上，得到第一航迹的中心投影坐标点；s4.2、时间同步：对第一航迹、第二航迹中的每个目标，使用卡尔曼滤波，将其状态预测到本时刻；得到新的第一航迹与第二航迹集合；s4.3、对第一航迹与第二航迹中的每一对目标，计算所述第一航迹的中心投影坐标点与对应的所述第二航迹的中心坐标点的欧氏距离，若欧氏距离大于指定的阈值，则此对定义为不能匹配；若欧式距离小于指定阈值，则细化计算它们是同一目标的量化数值，得到相似度并记录下来；最终得到第一航迹所有目标为列，第二航迹所有目标为行，对应位置表示是同一目标概率的量化数值的关联矩阵；s4.4、使用上述关联矩阵，应用匈牙利匹配算法，得到成功匹配对集合、未匹配毫米波目标集合、未匹配摄像头目标集合；s4.5、对匈牙利得到的成功匹配对集合进行重新验证，重新计算匹配对之间的目标相似度，如果大于给定的阈值，则将其更改为未匹配状态；最终得到成功匹配目标集合、未匹配毫米波目标集合、未匹配摄像头目标集合。10.根据权利要求9所述的一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，其特征在于：所述s4具体步骤中：欧氏距离表示为：其中(u
c
,v
c
)是图像检测和跟踪的目标航迹中心点；(u
r
,v
r
)是雷达投影在图像上的航迹点；目标相似度的计算方法，考虑单目视觉得到的井深信息较为不准，设计流程如下：
①
将毫米波目标a的三维坐标投影到相机归一化平面，将摄像头目标b也投影到相机归一化平面；
②
计算位姿相似度：计算目标a与目标b在归一化平面上的欧式距离d，采用函数进行缩放变换得到位姿相似度sd＝func1(d)；
③
计算速度相似度：将目标a和目标b的速度投影到归一化平面，若角度差异大于阈值且两速度均大于阈值标量，则此项返回最大值max，表示不可匹配；若上述条件不满足，则计算速度矢量的差值v，采用函数进行缩放变换得到速度相似度sv＝func2(v)；
④
将位姿相似度和速度相似度合并得到综合相似度s＝func3(sd,sv)；其中，sd＝func1(d)＝c1*d，c1为位姿相似度权重系数，sv＝func2(v)＝c2*v，c2为速
度相似度权重系数，max取一个极大的值，用作标志拒绝此匹配，s＝func3(sd,sv)＝(c12+c22)
0.5
；图像像素坐标系和世界坐标系的转换关系为：式中:r
c
为镜头旋转矩阵；t
c
为镜头平移矩阵；f为镜头焦距；uv为像素坐标系；xw yw zw为世界坐标系；(u0,v0)为像素坐标系中的图像平面中心点坐标；dx,dy表示感光芯片上像素的实际大小；雷达坐标系和世界坐标系的转换关系：式中:x
r
y
r
z
r
为毫米波雷达坐标系；r
r
为毫米波雷达旋转矩阵；t
r
为毫米波雷达平移矩阵；雷达坐标到图像像素坐标的转换关系卡尔曼滤波，将第一航迹与第二航迹目标状态预测到本时刻：卡尔曼滤波算法是典型的最优估计算法；而在运动过程中，当前时刻目标运动状态和下一时刻是很复杂的非线性关系，通过扩展卡尔曼滤波算法，利用测量值和预测值使最佳估计值最终能够不断接近真实值；扩展卡尔曼滤波基于对非线性函数泰勒展开(取一阶导)，状态转移方程和观测方程近似为线性方程，测量噪声和过程噪声仍满足高斯分布；这里使用到了卡尔曼滤波的预测步，系统状态方程为：x
k
＝ax
k-1
+bu
k-1
+w
k-1
则预测步根据上一时刻(k－1时刻)的后验估计值来估计当前时刻(k时刻)的状态，得到k时刻的先验估计值：到k时刻的先验估计值：由此实现时间同步，卡尔曼预测的部分。

技术总结

本发明公开了一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法，包括摄像头和毫米波雷达，目标检测和跟踪方法步骤为：S1、通过毫米波雷达和摄像头分别获取原始数据和原始图像；S2、处理所述雷达原始数据，得到有效目标的第一目标航迹；S3、处理所述视觉原始图像，得到有效目标的第二目标航迹；S4、将所述第一目标航迹与第二目标航迹进行匹配；优选的，所述S1中摄像头获取原始数据和原始图像为摄像头通过实时采集路面图像；本发明单目相机目标，与毫米波目标的关联距离计算方法，即通过弱化单目相机深度信息，强化其2D坐标信息，与毫米波识别的3D信息计算相似度，在不增大计算复杂度的同时，增大匹配的正确率。增大匹配的正确率。