融合毫米波雷达及相机的目标对象检测与跟踪方法与流程

阅读：评论：0

1.本发明涉及智能网联汽车领域，尤其涉及一种融合毫米波雷达及相机的目标对象检测与跟踪方法。

背景技术：

2.智能汽车是目前汽车技术发展的重要方向，具有减少交通事故，缓解交通拥堵的优点。环境感知技术作为智能汽车研发的关键技术，受到越来越多研究者的关注。
3.目前，用于智能汽车环境感知的传感器主要有相机、毫米波雷达、激光雷达、超声波雷达等。
4.然而，单独这些传感器都有不同程度的缺点，如检测范围有限、易受气候及光线影响、检测信息不全面、导致误检或者漏检等。而将多种传感器进行组合，可以扩大检测范围并获取更多检测信息，进而提高检测可靠性和鲁棒性。而在常用的传感器中，相机具有能够提取目标纹理特征，识别目标类别的特点；毫米波雷达具有抗干扰能力强，全天候全天时的特点。此外，这两类传感器都具有成本低的优势，因此，将毫米波雷达与相机相融合，已成为智能汽车目标识别与跟踪的主流技术方向。
5.现行的毫米波雷达与相机的融合技术其数据关联大多基于空间转换，目前主要采用的空间转换方法均具有一定缺点，且雷达点存在横向漂移的缺陷，这就容易导致采用诸如gnn算法的目标匹配易存在误匹配、雷达感兴趣区域浮动等问题。再者，由于真实的交通环境复杂多变，雷达感兴趣区域也无法根据目标大小变化自动调整区域大小，而基于统计值与阈值比较的方法难以选择合适的阈值，此外，对于目标状态信息融合也存在计算量大，且毫米波雷达和相机二者的数据精度各有优劣等现实问题。

技术实现要素：

6.鉴于上述，本发明旨在提供一种融合毫米波雷达及相机的目标对象检测与跟踪方法，以解决前述提及的技术问题。
7.本发明采用的技术方案如下：
8.本发明提供了一种融合毫米波雷达及相机的目标对象检测与跟踪方法，其中包括：
9.步骤s1、获取相机采集的第一周围环境信息；
10.步骤s2、获取毫米波雷达采集的第二周围环境信息；
11.步骤s3、根据所述第一周围环境信息，检测周边的目标对象相对本车的位置信息，用以得到视觉目标轨迹；
12.步骤s4、解析所述第二周围环境信息，消除其中的虚假目标和空目标，并区分出动态目标对象与静态目标对象，得到有效的目标轨迹信息；
13.步骤s5、在接收所述第一周围环境信息以及所述第二周围环境信息的处理结果后，对毫米波雷达和相机进行空间对齐以建立空间位置关联；根据空间位置关联结果判断：
若毫米波雷达和相机各自检测到的目标对象为疑似同一目标，则执行步骤s6；若确定毫米波雷达和相机各自检测到的目标对象不是同一目标，则跳至步骤s8；
14.步骤s6、对所述疑似同一目标的两个目标对象各自对应的所述目标轨迹信息以及所述视觉目标轨迹进行轨迹相似度计算，并基于轨迹相似度的计算结果进行局部轨迹关联；根据局部轨迹关联结果确定所述疑似同一目标的两个目标对象是否为同一目标对象，若是，则执行步骤s7；若否，则跳转至步骤s8；
15.步骤s7、对成功关联的目标对象进行信息融合，并输出毫米波雷达检测的目标对象以及相机识别的目标对象的融合数据信息，用以进行目标对象跟踪；
16.步骤s8、输出毫米波雷达检测的目标对象的数据信息，或输出相机识别的目标对象的数据信息。
17.在其中至少一种可能的实现方式中，所述根据所述第一周围环境信息，检测周边的目标对象相对本车的位置信息包括：
18.结合所述第一周围环境信息以及预设的图像识别算法对目标对象进行识别；
19.在识别到所述目标对象后，根据预设的视觉测距几何模型得到所述目标对象相距本车的位置信息。
20.在其中至少一种可能的实现方式中，所述得到有效的目标轨迹信息包括：
21.将解析后的所述第二周围环境信息，结合扩展卡尔曼滤波与生命周期检测机制，消除空目标与虚假目标；
22.采用层次聚类算法对已检测到的目标对象，以相对速度作为分类标准进行动态及静态分类；
23.利用扩展卡尔曼滤波对动态的目标对象进行跟踪，获得有效目标的局部运动轨迹。
24.在其中至少一种可能的实现方式中，所述对毫米波雷达和相机进行空间对齐以建立空间位置关联包括：
25.采用直接线性变换方式，将毫米波雷达检测的目标对象的坐标变换为对应的图像坐标；
26.将所述图像坐标与相机识别的目标对象对应的视觉感兴趣区域框进行对比；
27.若所述图像坐标与所述视觉感兴趣区域框满足预设条件，则确定毫米波雷达检测的目标对象与相机识别的目标对象可能为疑似同一目标。
28.在其中至少一种可能的实现方式中，所述轨迹相似度计算包括：
29.在对目标对象的坐标信息进行归一化处理后，结合动态时间规整机制求取轨迹相似度。
30.在其中至少一种可能的实现方式中，成功关联的判断方式包括：
31.当同一视觉感兴趣区域框内存在多个满足预设相似度阈值的雷达投影点时，将轨迹相似度最小的雷达投影点作为成功关联的雷达目标点。
32.在其中至少一种可能的实现方式中，所述进行目标对象跟踪包括：
33.对成功关联的目标对象设置融合后的生命周期，且每成功关联一次，将生命周期加1；
34.当累计生命周期大于或等于预设的生命周期最大值时，确定为关联稳定状态，并
直接对融合后的目标对象的轨迹进行跟踪。
35.在其中至少一种可能的实现方式中，所述对成功关联的目标对象进行信息融合包括：采用基于无重置式联合滤波器的轨迹状态融合机制。
36.在其中至少一种可能的实现方式中，所述步骤s8具体包括：
37.输出成功关联的目标对象信息、或输出未成功关联的毫米波雷达检测的目标对象信息、或输出未成功关联的相机识别的目标对象信息。
38.本发明的主要设计构思在于，采用毫米波雷达与相机同时检测的机制，可以涵盖多种类型目标对象，并结合空间位置关联和局部轨迹关联的双层数据关联结构，作为判断毫米波雷达检测目标与相机目标是否为同一目标的关键根据，在确保目标检测的准确性的同时具有良好的检测跟踪效果。本发明提高了毫米波雷达与相机在环境检测方面的准确性。并能够适应各种复杂的交通环境，使毫米波雷达与相机在交通拥堵路段、路面标识不清楚、山路等复杂多变的交通环境中依旧有着良好的检测及跟踪能力，并具有较高的鲁棒性及稳定性。
附图说明
39.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
40.图1为本发明实施例提供的融合毫米波雷达及相机的目标对象检测与跟踪方法的流程图。
具体实施方式
41.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
42.本发明提出了一种融合毫米波雷达及相机的目标对象检测与跟踪方法的实施例，具体来说，如图1所示，其中包括：
43.步骤s1、获取相机采集的第一周围环境信息；
44.步骤s2、获取毫米波雷达采集的第二周围环境信息(需指出，步骤s1与步骤s2可不分先后)；
45.步骤s3、根据所述第一周围环境信息，检测周边的目标对象(可以是车、人、物等)相对本车的位置信息，用以得到视觉目标轨迹；
46.步骤s4、解析所述第二周围环境信息，消除其中的虚假目标和空目标，并区分出动态目标对象与静态目标对象，得到有效的目标轨迹信息(需指出，步骤s3与步骤s4可不分先后)；
47.步骤s5、在接收所述第一周围环境信息以及所述第二周围环境信息的处理结果后，对毫米波雷达和相机进行空间对齐(空间配准)以建立空间位置关联；根据空间位置关联结果判断：若毫米波雷达和相机各自检测到的目标对象为疑似同一目标，则执行步骤s6；若确定毫米波雷达和相机各自检测到的目标对象不是同一目标，则跳至步骤s8；
48.步骤s6、对所述疑似同一目标的两个目标对象各自对应的所述目标轨迹信息以及
所述视觉目标轨迹进行轨迹相似度计算；基于轨迹相似度的计算结果进行局部轨迹关联；根据局部轨迹关联结果确定所述疑似同一目标的两个目标对象是否为同一目标对象，若是，则执行步骤s7；若否，则跳转至步骤s8；
49.步骤s7、对成功关联的目标对象进行信息融合，并输出毫米波雷达检测的目标对象以及相机识别的目标对象的融合数据信息，用以进行目标对象跟踪；
50.步骤s8、输出毫米波雷达检测的目标对象的数据信息，或输出相机识别的目标对象的数据信息。
51.关于步骤s3，可以优选实施如下步骤：结合第一周围环境信息以及诸如yolov4算法对目标对象进行识别；在识别到所述目标对象后，根据预设的视觉测距几何模型(利用几何透视变换原理构建)得到所述目标对象相距本车的位置信息；优选地，进一步可以采用sort算法进行视觉目标跟踪，获得视觉目标的状态向量xc：
52.xc＝[xc，yc]
t
[0053]
其中，(xc，yc)表示坐标向量。
[0054]
在前述得到所述位置信息并实现视觉目标跟踪后，还可以将基于卡尔曼滤波的目标预测位置信息与所述位置信息进行对比，并结合匈牙利算法进行最优轨迹匹配。具体地，若没有检测到匹配轨迹，则删除该目标对象；若检测到未匹配的轨迹，则将该未匹配的轨迹作为新的跟踪轨迹和已匹配的轨迹作为扩展卡尔曼滤波预测轨迹算法的输入，进而计算并获得下一时刻的目标对象位置预测信息。
[0055]
关于步骤s4，可以优选实施如下步骤：将解析后的第二周围环境信息结合扩展卡尔曼滤波与生命周期检测机制，消除空目标与虚假目标；接着，为了避免重复检测静态目标而导致的冗余工作，采用层次聚类算法对已识别到的目标对象以相对速度作为分类标准进行动态及静态分类；然后，扩展卡尔曼滤波继续对动态的目标对象进行跟踪，获得有效目标(动态目标)的局部运动轨迹向量xr：
[0056]
xr＝[xr，yr]
t
[0057]
其中，(xr，yr)表示坐标向量。
[0058]
关于步骤s5，可以优选实施如下步骤：采用直接线性变换方式，将毫米波雷达检测的目标对象的坐标变换为对应的图像坐标以实现空间配准；
[0059]
在空间配准后，将毫米波雷达目标坐标对应的图像坐标与yolov4识别后所得到的感兴趣区域框进行对比，若毫米波雷达检测的目标对象的图像坐标与视觉感兴趣区域框之间满足如下条件，则认为该毫米波雷达目标i与视觉目标j可能为同一目标，即二者分别获得的目标对象为疑似同一目标：
[0060][0061]
所述局部轨迹关联，其主要过程如下：
[0062]
通过对坐标信息基于max-min数据标准化进行归一化处理，再通过动态时间规整(dynamic time wrapping,dtw)计算轨迹相似度。公式如下：
[0063]
[0064][0065][0066]
式中，为毫米波雷达的轨迹；相机的轨迹；表示欧氏距离计算公式。
[0067]
关于步骤s6，对空间位置关联成功的毫米波雷达检测的目标对象与相机识别的目标对象的轨迹进行相似度s计算，满足以下条件则认为两者成功关联，为同一目标。
[0068][0069]
其中，ts表示轨迹相似度需满足的阈值，在同一视觉目标框内存在多个雷达投影点时，计算得到的轨迹相似度值最小的雷达目标为最终成功关联的雷达目标点。
[0070]
基于此，进一步地，对成功关联的目标对象设置融合后的生命周期fusionlife，且每成功关联一次，fusionlife+1；当fusionlife＝f
max
后，确定关联稳定，从而可以直接对融合后的目标对象的轨迹进行跟踪，不再需要重复关联判定。此外，还可以指出的是，待确定关联稳定后，若某个传感器(相机或毫米波雷达)中的目标对象消失，则fusionlife-1，直到为0，则认为目标消亡。
[0071]
关于步骤s7，为保证数据融合的准确性与运算速度，优选采用基于无重置式联合滤波器的轨迹状态融合机制。
[0072]
最终，关于步骤s8，基于关联判断成功与否，可将输出结果分为三类：成功关联的毫米波雷达和相机目标、未成功关联的毫米波雷达目标、未成功关联的相机目标，然后分别输出此三类结果信息。
[0073]
综上所述，本发明的主要设计构思在于，采用毫米波雷达与相机同时检测的机制，可以涵盖多种类型目标对象，并结合空间位置关联和局部轨迹关联的双层数据关联结构，作为判断毫米波雷达检测目标与相机目标是否为同一目标的关键根据，在确保目标检测的准确性的同时具有良好的检测跟踪效果。本发明提高了毫米波雷达与相机在环境检测方面的准确性。并能够适应各种复杂的交通环境，使毫米波雷达与相机在交通拥堵路段、路面标识不清楚、山路等复杂多变的交通环境中依旧有着良好的检测及跟踪能力，并具有较高的鲁棒性及稳定性。
[0074]
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0075]
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组
合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

技术特征：

1.一种融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，包括：步骤s1、获取相机采集的第一周围环境信息；步骤s2、获取毫米波雷达采集的第二周围环境信息；步骤s3、根据所述第一周围环境信息，检测周边的目标对象相对本车的位置信息，用以得到视觉目标轨迹；步骤s4、解析所述第二周围环境信息，消除其中的虚假目标和空目标，并区分出动态目标对象与静态目标对象，得到有效的目标轨迹信息；步骤s5、在接收所述第一周围环境信息以及所述第二周围环境信息的处理结果后，对毫米波雷达和相机进行空间对齐以建立空间位置关联；根据空间位置关联结果判断：若毫米波雷达和相机各自检测到的目标对象为疑似同一目标，则执行步骤s6；若确定毫米波雷达和相机各自检测到的目标对象不是同一目标，则跳至步骤s8；步骤s6、对所述疑似同一目标的两个目标对象各自对应的所述目标轨迹信息以及所述视觉目标轨迹进行轨迹相似度计算，并基于轨迹相似度的计算结果进行局部轨迹关联；根据局部轨迹关联结果确定所述疑似同一目标的两个目标对象是否为同一目标对象，若是，则执行步骤s7；若否，则跳转至步骤s8；步骤s7、对成功关联的目标对象进行信息融合，并输出毫米波雷达检测的目标对象以及相机识别的目标对象的融合数据信息，用以进行目标对象跟踪；步骤s8、输出毫米波雷达检测的目标对象的数据信息，或输出相机识别的目标对象的数据信息。2.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述根据所述第一周围环境信息，检测周边的目标对象相对本车的位置信息包括：结合所述第一周围环境信息以及预设的图像识别算法对目标对象进行识别；在识别到所述目标对象后，根据预设的视觉测距几何模型得到所述目标对象相距本车的位置信息。3.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述得到有效的目标轨迹信息包括：将解析后的所述第二周围环境信息，结合扩展卡尔曼滤波与生命周期检测机制，消除空目标与虚假目标；采用层次聚类算法对已检测到的目标对象，以相对速度作为分类标准进行动态及静态分类；利用扩展卡尔曼滤波对动态的目标对象进行跟踪，获得有效目标的局部运动轨迹。4.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述对毫米波雷达和相机进行空间对齐以建立空间位置关联包括：采用直接线性变换方式，将毫米波雷达检测的目标对象的坐标变换为对应的图像坐标；将所述图像坐标与相机识别的目标对象对应的视觉感兴趣区域框进行对比；若所述图像坐标与所述视觉感兴趣区域框满足预设条件，则确定毫米波雷达检测的目标对象与相机识别的目标对象可能为疑似同一目标。5.根据权利要求4所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征
在于，所述轨迹相似度计算包括：在对目标对象的坐标信息进行归一化处理后，结合动态时间规整机制求取轨迹相似度。6.根据权利要求5所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，成功关联的判断方式包括：当同一视觉感兴趣区域框内存在多个满足预设相似度阈值的雷达投影点时，将轨迹相似度最小的雷达投影点作为成功关联的雷达目标点。7.根据权利要求1所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述进行目标对象跟踪包括：对成功关联的目标对象设置融合后的生命周期，且每成功关联一次，将生命周期加1；当累计生命周期大于或等于预设的生命周期最大值时，确定为关联稳定状态，并直接对融合后的目标对象的轨迹进行跟踪。8.根据权利要求1～7任一项所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述对成功关联的目标对象进行信息融合包括：采用基于无重置式联合滤波器的轨迹状态融合机制。9.根据权利要求1～7任一项所述的融合毫米波雷达及相机的目标对象检测与跟踪方法，其特征在于，所述步骤s8具体包括：输出成功关联的目标对象信息、或输出未成功关联的毫米波雷达检测的目标对象信息、或输出未成功关联的相机识别的目标对象信息。

技术总结

本发明公开了一种融合毫米波雷达及相机的目标对象检测与跟踪方法，本发明的主要设计构思在于，采用毫米波雷达与相机同时检测的机制，可以涵盖多种类型目标对象，并结合空间位置关联和局部轨迹关联的双层数据关联结构，作为判断毫米波雷达检测目标与相机目标是否为同一目标的关键根据，在确保目标检测的准确性的同时具有良好的检测跟踪效果。本发明提高了毫米波雷达与相机在环境检测方面的准确性。并能够适应各种复杂的交通环境，使毫米波雷达与相机在交通拥堵路段、路面标识不清楚、山路等复杂多变的交通环境中依旧有着良好的检测及跟踪能力，并具有较高的鲁棒性及稳定性。并具有较高的鲁棒性及稳定性。并具有较高的鲁棒性及稳定性。