1.本发明涉及智能汽车领域,具体而言,涉及一种点云
数据的处理方法及处理装置。
背景技术:
2.目前,自动驾驶车辆上部署有激光雷达,通过激光雷达可以实现车辆周围环境的三维感知,为高精地图制作、障碍物检测提供支持。但是,在车辆运动过程中,通过激光雷达采集到的每帧点云中不同的激光雷达点不是在同一时刻获取的,导致同一帧激光雷达点云中不同的激光点坐标系不一致,进而导致无法准确描述被探测物体的形态。
3.针对上述的问题,目前尚未提出有效的解决方案。
技术实现要素:
4.本发明实施例提供了点云数据的处理方法及处理装置,以至少解决相关技术中通过激光雷达采集到的点云数据无法准确描述被探测物体形态的技术问题。
5.根据本发明实施例的一个方面,提供了一种点云数据的处理方法,包括:在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行
速度,第一点云数据通过目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的激光雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠;基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度;基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。
6.可选地,基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据,包括:基于第二点云速度和运行速度,生成变换矩阵;获取变换矩阵与第二点云数据的乘积,得到目标点云数据。
7.可选地,第二点云数据包含点云时间,基于第二点云速度和运行速度,生成变换矩阵,包括:获取第二点云速度和运行速度的差值,得到速度差;获取的第二雷达的运行时间与点云时间差值,得到时间差;获取速度差和时间差的乘积,得到目标车辆与第二点云数据的相对运动位置;基于相对运动位置,生成变换矩阵。
8.可选地,基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,包括:对预设平面进行划分,得到多个栅格,预设平面为第一点云数据和第二点云数据对应的预设坐标系中的平面;将第一点云数据与多个栅格进行映射,得到每个栅格对应的第一点云;将第二点云数据与多个栅格进行映射,得到每个栅格对应的第二点云;基于第一点云的第一点云速度,确定第二点云的第二点云数据。
9.可选地,基于第一点云的第一点云速度,确定第二点云的第二点云数据,包括:确定第二点云中用于表征地面的地面点云;基于第一点云速度,确定第二点云中除地面点云之外的其他点云的第二点云速度;确定地面点云的第二点云速度为预设速度。
10.可选地,基于第一点云速度,确定第二点云中除目标点云之外的其他点云的第二
点云速度,包括:基于第二点云,确定第二点云对应的点云质心;获取第一点云与点云质心的距离;基于距离确定第一点云中的目标点云,其中,目标点云与点云质心的距离小于预设距离;获取目标点云的第一点云速度的平均值,得到平均速度;确定平均速度为其他点云的第二点云速度。
11.可选地,获取第一点云数据和第二点云数据,包括:获取第一雷达感知到第一感知数据,第二雷达感知到第二感知数据,以及第一雷达和第二雷达的标定参数;基于标定参数将第一感知数据和第二感知数据分别变换至预设坐标系,得到第一点云数据和第二点云数据,预设坐标系是以目标车辆上预设位置到地面的投影点为中心进行构建的。
12.可选地,获取第一雷达和第二雷达的标定参数,包括:获取第一雷达在目标车辆上的第一安装位置,第二雷达在目标车辆上的第二安装位置;基于第一安装位置和第二安装位置对第一雷达和第二雷达进行标定,得到标定参数。
13.根据本发明实施例的另一个方面,提供了一种点云数据的处理装置,包括:获取模块,用于在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的第一雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的第二雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠;确定模块,用于基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度;变换模块,用于基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。
14.根据本发明实施例的另一方面,还提供了一种目标车辆,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器执行上述实施例中任意一项的点云数据处理方法。
15.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的点云数据处理方法。
16.根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述实施例中任意一项的点云数据处理方法。
17.在本发明实施例中,在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的第一雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的第二雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠;进一步基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度;进一步基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。容易注意到的是,通过获取第一点云数据、第二点云数据和目标车辆的运行速度,达到了同一时刻获取到每帧点云中不同的激光雷达点云的目的,从而实现了同一帧激光雷达点中不同激光点坐标一致的技术效果,进一步基于第一点云数据对应的第一点云速度确定第二点云数据对应的第二点云速度,达到了获取被探测物体反射激光雷达点云速度的目的,从而实现了利用毫米波雷达的点云速度计算并表示出激光雷达的点云速度的技术效果,进一步基于第二点云速度与运行速度对第二点云数据进行变换,达到了通过获取到的第二点云速度进行变换完成运动补偿的目的,从而实现了利用完善的激光雷达点云运动补偿来描述被测物体形态的技术
效果,进而解决了相关技术中通过激光雷达采集到的点云数据无法准确描述被探测物体形态的技术问题。
附图说明
18.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
19.图1是根据本实施例的一种点云数据的处理方法的流程图;
20.图2是根据本发明实施例的一种可选的车辆雷达俯视图的示意图;
21.图3是根据本发明实施例的一种可选的雷达探测坐标系的示意图;
22.图4是根据本发明实施例的一种可选的栅格坐标系的示意图;
23.图5是根据本发明实施例的一种可选的车辆雷达正视图的示意图;
24.图6是根据本发明实施例的一种可选的总体处理方法的流程图;
25.图7是根据本发明实施例的一种点云数据的处理装置的示意图。
具体实施方式
26.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
27.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.在自动驾驶系统中,利用激光雷达来获取点云数据,而激光雷达在扫描过程中是随着车辆移动进行数据采集,导致所有点并不是在一个坐标系中采集的,那么就会导致激光雷达点云畸变,其中,具体原因包括:tof法(time of flight飞行时间法)获取的激光雷达点云数据不是同一时刻获取到的、激光雷达探测是伴随载体运动或被探测物体运动以及当激光雷达帧率较低时,载体或者被探测物体运动畸变不能被忽略。
29.由于激光雷达计算激光点云坐标时,都是以接收到激光束时刻的激光雷达自身坐标系做参考,所以载体运动过程中,每个激光雷达点云的基准坐标系不一致,但最终在同一帧点云中以周期传输,且在自动驾驶系统中,需要将同一帧中不同的激光雷达点坐标系统一(即完成运动补偿),然而,现有技术中,激光雷达点云属性中无法直接获取激光点云速度,就通过车载传感器获取激光雷达载体的运动速度和时间,作为激光点云速度,通过不同激光雷达点的速度与时间计算运动坐标,在利用坐标转换完成运动补偿,但是会导致当被探测物体运动时,无法实现运动补偿,从而无法准确描述被探测物体的形态。
30.本技术利用毫米波雷达获取的毫米波雷达点云速度的特性来扩展出激光雷达点云的相对速度,从而根据激光雷达点云与激光雷达相对速度以及时间,计算变换矩阵,并对所有点云做变换,得到运动补偿之后的点云,本发明具体可以运用在以下场景:
31.(1)激光雷达载体静止,被探测物体运动,可以实现运动补偿;
32.(2)激光雷达载体运动,被探测物体相向运动,可以实现运动补偿;
33.(3)激光雷达载体运动,被探测物体同向运动,可以实现运动补偿。
34.实施例1
35.根据本发明实施例,提供了一种点云数据的处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
36.图1是根据本发明实施例的一种点云数据的处理方法的流程图,如图1所示,该方法包括如下步骤:
37.步骤s102,在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的激光雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠。
38.上述的目标车辆可以是用户正在乘坐的自动驾驶车辆;第一点云数据可以是通过自动驾驶车辆上安装的毫米波雷达所获得的点云数据,包括但不仅限于:多个点云的坐标(x,y,z)以及每个点云的速度、对应的时间;目标车辆的运行速度可以是车载传感器检测到的自动驾驶车辆的运行速度;第二点云数据可以是通过自动驾驶车辆上安装的激光雷达所获得的点云数据,包括但不仅限于:多个点云的坐标(x,y,z)以及每个点云对应的时间;第一目标区域可以是毫米波雷达所要探测到的区域,第二目标区域可以是激光雷达所要探测到的区域,如图2所示,区域1为第一目标区域,区域2为第二目标区域。
39.需要说明的是,第一点云数据和第二点云数据不仅仅包含有被探测物体的点云,还包含有目标点云。
40.上述的毫米波雷达可以是工作在毫米波波段探测的雷达,即在30~300ghz频域;激光雷达可以是以发射激光束探测目标的位置、速度等特征量的雷达。
41.在一种可选实施例中,自动驾驶车辆上部署有自动驾驶控制器、激光雷达和毫米波雷达,在自动驾驶车辆运行的过程中,可以通过毫米波雷达采集第一点云数据,并通过激光雷达采集第二点云数据,其中,激光雷达点云包含的属性至少包括点的坐标(x,y,x)以及点对应的时间,毫米波雷达点云包含的属性至少包括点的坐标(x,y,z)以及点的速度、对应的时间。另外,在运行过程中,可以以10ms为周期采集车辆对应的车速、角速度,并与对应的时间戳进行保存。
42.需要说明的是,在激光雷达和毫米波雷达进行数据采集之前,首先对自动驾驶控制器、激光雷达和毫米波雷达做全局时间同步,确保自动驾驶控制器可以对同一时间采集到的激光雷达点云和毫米波雷达点云进行融合,然后对激光雷达和毫米波雷达完成标定,将激光雷达点云和毫米波雷达点云的坐标系进行统一,其中,可以以车辆后轴中心点到地面投影点作为坐标系原点。
43.步骤s104,基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度。
44.上述的第一点云速度可以是毫米波雷达探测到的第一点云数据中包含的毫米波雷达点云速度,第二点云速度可以是通过第一点云速度计算得到的激光雷达点云速度。
45.在一种可选实施例中,在获取到第一点云数据和第二点云数据之后,可以通过将第一点云数据中的第一点云与第二点云数据中的第二点云进行匹配,例如,通过计算第一点云和第二点云的欧式距离,确定第一点云和第二点云是否相似,如果第一点云和第二点云相似,则可以将第一点云的第一点云速度直接作为第二点云的第二点云速度。
46.由于激光雷达和毫米波雷达不仅仅可以感知到自动驾驶车辆周围的其他障碍物,还可以感知到地面,因此,可以从第一点云数据和第二点云数据中剔除地面点,将其余点进行匹配,并确定地面点对应的第二点云速度为0。
47.另外,由于第一点云数据和第二点云数据中包含的点云数量较大,为了减少计算量,降低自动驾驶控制器的处理压力,可以首先按照栅格单元尺寸对空间进行划分,并将第一点云数据和第二点云数据放入对应的栅格中,然后将点云中的地面点去除,计算剩余的点云质心,并分别计算栅格中毫米波雷达点云与激光雷达点云质心的点云质心的欧式距离/马氏距离,进一步去除不符合阈值的毫米波雷达点云,以计算得到更加准确的第一点云的数据,最后计算出剩余毫米波雷达点云的平均速度,将去除地面点到的毫米波雷达点云的平均速度作为该栅格中激光雷达点云速度(即第二点云速度)。
48.步骤s106,基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。
49.上述的目标点云数据可以是最终得到的激光雷达点云,也即运动补偿后的点云。
50.在一种可选实施例中,可以根据时间关系,基于第二点云速度和运行速度确定被探测物体和自动驾驶车辆的相对运动位置,进而基于相对运动位置对第二点云数据进行运动补偿,得到目标点云数据,例如,可以根据相对运动参数初始化变换矩阵,并基于变换矩阵对第二点云数据做位置变换,从而得到目标点云数据。
51.在另一种可选的实施例中,在将第一点云数据和第二点云数据放入对应的栅格之后,可以根据时间关系读取每个栅格对应的车辆速度,并分别计算栅格点云与车辆速度的相对速度,得到初始化变换矩阵,通过计算公式进行变换得到目标点云数据,从而通过获取的被探测物体反射点云速度与激光雷达本体运动速度补偿,得到的被探测物体激光雷达点云的相对速度,并通过目标点云速度变换完成运动补偿,能够更加准确描述被探测物体的形态。
52.通过上述步骤,在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的激光雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠;进一步基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度;进一步基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。容易注意到的是,通过基于第一点云数据对应的第一点云速度确定第二点云数据对应的第二点云速度,实现对激光雷达点云扩展速度属性的目的,进而基于第二点云速度和目标车辆的运行速度对第二点
云数据进行变换,实现对激光雷达点云进行运动补偿的目的,充分考虑激光雷达和被探测物体运动的情况,达到提升被探测物体形态的描述准确度的技术效果,进而解决了相关技术中通过激光雷达采集到的点云数据无法准确描述被探测物体形态的技术问题。
53.在本发明上述实施例中,基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据,包括:基于第二点云速度和运行速度,生成变换矩阵;获取变换矩阵与第二点云数据的乘积,得到目标点云数据。
54.上述的变换矩阵可以是根据相对运动参数确定的四元数q,在划分栅格之后,每个栅格都对应有一个变换矩阵。
55.在一种可选的实施例中,可以基于第二点云速度和运行速度确定被探测物体和激光雷达的相对运动参数,进而初始化变换矩阵,然后根据变换矩阵对激光雷达点云做位置变换,具体计算公式如下:p’=q*p中(p’为目标点云数据中的点云坐标,p为第二点云数据中的点云坐标),得到目标点云数据,也即运动补偿后的点云。
56.进一步地,第二点云数据包含点云时间,基于第二点云速度和运行速度,生成变换矩阵,包括:获取第二点云速度和运行速度的差值,得到速度差;获取的第二雷达的运行时间与点云时间差值,得到时间差;获取速度差和时间差的乘积,得到目标车辆与第二点云数据的相对运动位置;基于相对运动位置,生成变换矩阵。
57.在一种可选的实施例中,可以根据时间关系,计算第二点云速度和运行速度的响度速度和时间差值,在点云采集周期内,自动驾驶车辆和被探测物体的运动可以等效为匀速运动,进而可以通过s=vt的公式计算被探测物体与自动驾驶车辆的相对运动位置,然后根据相对运动参数初始化变换矩阵,一般为四元数q。
58.在另一种可选的实施例中,在将第一点云数据和第二点云数据放入对应的栅格之后,可以根据时间关系,读取每个栅格对应的车辆速度、角速度、时间,分别计算栅格点云与车辆速度的相对速度,时间差值。在点云采集周期内(当前常规激光雷达周期100ms),运动等效为匀速运动,则相对运动位置可以通过s=vt计算(按照xy坐标系分解计算),根据相对运动参数初始化变化矩阵,一般为四元数q,即得到每个栅格的变换矩阵q。
59.可选地,基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,包括:对预设平面进行划分,得到多个栅格,预设平面为第一点云数据和第二点云数据对应的预设坐标系中的平面;将第一点云数据与多个栅格进行映射,得到每个栅格对应的第一点云;将第二点云数据与多个栅格进行映射,得到每个栅格对应的第二点云;基于第一点云的第一点云速度,确定第二点云的第二点云数据。
60.预设坐标系可以是以车辆后轴中心点到地面投影点作为坐标系原点,x轴为车辆行驶的方向,y轴为车轮中心点的方向,z轴为雷达到地面投影点的方向来建立的坐标系,如图3所示;上述的预设平面可以是预设坐标系中的xy平面;栅格可以是将空间分割成有规律的网格,每个网格称为一个单元,并在各单元上赋予相应的属性值来表示实体的一种数据形式;第一点云可以是毫米波雷达探测到的点云;第二点云可以是激光雷达探测到的点云。
61.具体地,在本发明实施例中,雷达探测坐标系的示意图如图3所示,以车辆后轴中心点到地面投影点的点0作为坐标系原点,x轴为车辆行驶的方向,y轴为车轮中心点的方向,z轴为雷达到地面投影点的方向,以此来建立坐标系,在这个坐标系中得到相关的点云数据,再根据检测范围,在xy平面划分栅格,z方向不做切分,在本实施例中,栅格坐标系的
示意图如图4所示,将激光雷达点云和毫米波雷达点云变换为雷达探测坐标系中,点o为栅格坐标系原点,点m为车轮后轴中心点建立坐标系,按照栅格单位尺寸将对应的点云放到对应的栅格中,其中,计算公式为:grid_x=(x
–
xmin)/
△
x;grid_y=(y
–
ymin)/
△
y。
62.进一步地,基于第一点云的第一点云速度,确定第二点云的第二点云数据,包括:确定第二点云中用于表征地面的地面点云;基于第一点云速度,确定第二点云中除地面点云之外的其他点云的第二点云速度;确定地面点云的第二点云速度为预设速度。
63.上述的地面点云可以是激光雷达发射和接收能准确高精度表征地面的点云;预设速度可以是用于表示地面点云的速度,通常取值为0。
64.在一种可选的实施例中,可以确定栅格中存在的地面点,之后将激光点云中的地面点去除,计算剩余点云质心,确定第二点云中除地面点之外的其他点云的第二点云速度,并且可以直接将地面点的第二点云速度设置为0。
65.进一步地,基于第一点云速度,确定第二点云中除目标点云之外的其他点云的第二点云速度,包括:基于第二点云,确定第二点云对应的点云质心;获取第一点云与点云质心的距离;基于距离确定第一点云中的目标点云,其中,目标点云与点云质心的距离小于预设距离;获取目标点云的第一点云速度的平均值,得到平均速度;确定平均速度为其他点云的第二点云速度。
66.上述的点云质心可以是坐标中通过计算云中所有点的值的平均值;预设距离可以是预先设定的表明第一点云和第二点云相似的距离阈值,可以由用户人为设定;。
67.在一种可选的实施例中,可以计算栅格中存在的激光雷达点云中的地面点,并将地面点去除,计算剩余点云质心,并分别计算栅格中毫米波雷达点云与激光雷达点云质心的欧式距离/马氏距离,然后根据预设距离,将不符合的毫米波雷达点云去除,计算剩余毫米波雷达点云的平均速度,剩余毫米波雷达点云的平均速度可作为该栅格中非地面点的激光雷达点云速度,其中,激光雷达点云中的地面点的速度设置为0。
68.可选地,获取第一点云数据和第二点云数据,包括:获取第一雷达感知到第一感知数据,第二雷达感知到第二感知数据,以及第一雷达和第二雷达的标定参数;基于标定参数将第一感知数据和第二感知数据分别变换至预设坐标系,得到第一点云数据和第二点云数据,预设坐标系是以目标车辆上预设位置到地面的投影点为中心进行构建的。
69.上述的第一感知数据可以是毫米波雷达(即第一雷达)通过探测获取到的感知数据;第二感知数据可以是激光雷达(即第二雷达)通过探测获取到的感知数据;标定参数可以是对激光雷达和毫米波雷达进行标定所得到的标定参数;地面的投影点可以是毫米波雷达和激光雷达投影到地面的中心点。
70.在一种可选的实施例中,可以在自动驾驶车辆运行的过程中,通过激光雷达和毫米波雷达分别进行探测,得到第一感知数据和第二感知数据,此时,第一感知数据和第二感知数据对应的坐标系不同,因此,可以根据对激光雷达和毫米波雷达进行标定所得到的标定数据,将第一感知数据和第二感知数据变换至预设坐标系中,得到第一点云数据和第二点云数据,达到统一坐标系的目的。
71.进一步地,获取第一雷达和第二雷达的标定参数,包括:获取第一雷达在目标车辆上的第一安装位置,第二雷达在目标车辆上的第二安装位置;基于第一安装位置和第二安装位置对第一雷达和第二雷达进行标定,得到标定参数。
72.上述的,第一安装位置可以是车辆上部署的毫米波雷达的安装位置;第二安装位置可以是车辆上安装激光雷达的安装位置。
73.在一种可选的实施例中,自动驾驶车辆上部署的雷达正视图的示意图如图5所示,可以基于两个雷达的安装位置对两个雷达进行标定,得到标定参数,其中雷达3为激光雷达,雷达4为毫米波雷达。
74.需要说明的是,雷达标定就是计算雷达自身坐标系与我们所需坐标系(如车身坐标系)之间的差值,从而在车辆坐标系下得到激光雷达的检测结果,方便后续的感知计算。
75.另外,在自动驾驶车辆上,雷达与车体为刚性连接,两者间的相对姿态和位移固定不变,激光雷达扫描获得的数据点,在环境坐标系中有唯一的位置坐标与车辆对应。
76.下面结合图6对本发明的一种优选的实施例进行详细的说明,如图6所示,该方法包括:获取点云数据,通过在自动驾驶车辆上部署的毫米波雷达和激光雷达上获取点云数据,其中包括毫米波雷达的第一点云数据和激光雷达的第二点云数据,并对获取到的数据进行处理,把第一点云数据和第二点云数据放进坐标系中;进一步通过第一点云速度计算出第二点云速度,其中包括毫米波雷达点云获取速度后,且激光雷达点云与同维度下毫米波雷达点云匹配,根据毫米波雷达点云速度扩展速度属性,将计算得到的剩余毫米波雷达点云的平均速度作为该栅格中非地面点的激光雷达点云速度,即第二点云速度;最后通过变换矩阵来得到运动补偿后的点云,其中包括利用相关车载传感器获取激光雷达本体的运行速度与对应时间计算变换矩阵,然后对所有的点云做变换,就可以得到运动补偿后的点云;最后能够准确描述被探测物体形态。
77.实施例2
78.根据本发明实施例,还提供了一种点云数据的处理装置。该装置可以执行上述实施例中点云数据的处理方法,具体实现方式和优选应用场景与上述实施例相同,在此不做赘述。
79.图7是根据本发明实施例的一种点云数据的处理装置的结构示意图,如图所示,该装置包括如下部分:获取模块70、确定模块72、变换模块74。
80.其中,获取模块70,用于在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的激光雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠。
81.确定模块72,用于基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度。
82.变换模块74,用于基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。
83.可选地,变换模块包括:生成单元,用于基于第二点云速度和运行速度,生成变换矩阵;第一变换单元,用于变换矩阵与第二点云数据的乘积,得到目标点云数据。
84.可选地,第二点云数据包含点云时间,生成单元还用于获取第二点云速度和运行速度的差值,得到速度差;获取第二雷达的运行时间与点云时间差值,得到时间差;获取速度差和时间差的乘积,得到目标车辆与第二点云数据的相对运动位置;基于相对运动位置,生成变换矩阵。
85.可选地,确定模块包括:划分单元,用于对预设平面进行划分,得到多个栅格,预设平面为第一点云数据和第二点云数据对应的预设坐标系中的平面;第一映射单元,用于将第一点云数据与多个栅格进行映射,得到每个栅格对应的第一点云;第二映射单元,用于将第二点云数据与多个栅格进行映射,得到每个栅格对应的第二点云;确定单元,用于基于第一点云的第一点云速度,确定第二点云的第二点云数据。
86.可选地,确定单元还用于确定第二点云中用于表征地面的地面你点云;基于第一点云速度,确定第二点云中除地面点云之外的其他点云的第二点云速度;确定地面点云的第二点云速度为预设速度。
87.可选地,确定单元还用于基于第二点云,确定第二点云对应的点云质心;获取第一点云与点云质心的距离;基于距离确定第一点云中的目标点云,其中,目标点云与点云质心的距离小于预设距离;获取目标点云的第一点云速度的平均值,得到平均速度;确定平均速度为其他点云的第二点云速度。
88.可选地,获取模块包括:获取单元,用于获取第一雷达感知到第一感知数据,第二雷达感知到第二感知数据,以及第一雷达和第二雷达的标定参数;第二变换单元,用于基于标定参数将第一感知数据和第二感知数据分别变换至预设坐标系,得到第一点云数据和第二点云数据,预设坐标系是以目标车辆上预设位置到地面的投影点为中心进行构建的。
89.可选地,获取单元还用于获取第一雷达在目标车辆上的第一安装位置,第二雷达在目标车辆上的第二安装位置;基于第一安装位置和第二安装位置对第一雷达和第二雷达进行标定,得到标定参数。
90.实施例3
91.根据本发明实施例的另一方面,还提供了一种目标车辆,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器执行上述实施例中任意一项的点云数据处理方法。
92.实施例4
93.根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项点云数据的处理方法。
94.实施例5
95.根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述实施例中任意一项点云数据的处理方法。
96.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
97.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
98.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
99.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
100.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
101.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
102.以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
技术特征:
1.一种点云数据的处理方法,其特征在于,包括:在目标车辆行驶过程中,获取第一点云数据、第二点云数据和
所述目标车辆的运行速度,所述第一点云数据通过所述目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,所述第二点云数据通过所述目标车辆上安装的激光雷达对第二目标区域进行感知得到,所述第一目标区域与所述第二目标区域部分重叠;基于所述第一点云数据对应的第一点云速度,确定所述第二点云数据对应的第二点云速度,所述第一点云数据包含所述第一点云速度;基于所述第二点云速度与所述运行速度对所述第二点云数据进行变换,得到目标点云数据。2.根据权利要求1所述的方法,其特征在于,基于所述第二点云速度与所述运行速度对所述第二点云数据进行变换,得到目标点云数据,包括:基于所述第二点云速度和所述运行速度,生成变换矩阵;获取所述变换矩阵与所述第二点云数据的乘积,得到所述目标点云数据。3.根据权利要求2所述的方法,其特征在于,所述第二点云数据包含点云时间,基于所述第二点云速度和所述运行速度,生成变换矩阵,包括:获取所述第二点云速度和所述运行速度的差值,得到速度差;获取的所述第二雷达的运行时间与所述点云时间差值,得到时间差;获取所述速度差和所述时间差的乘积,得到所述目标车辆与所述第二点云数据的相对运动位置;基于所述相对运动位置,生成所述变换矩阵。4.根据权利要求1所述的方法,其特征在于,基于所述第一点云数据对应的第一点云速度,确定所述第二点云数据对应的第二点云速度,包括:对预设平面进行划分,得到多个栅格,所述预设平面为所述第一点云数据和所述第二点云数据对应的预设坐标系中的平面;将所述第一点云数据与所述多个栅格进行映射,得到每个栅格对应的第一点云;将所述第二点云数据与所述多个栅格进行映射,得到所述每个栅格对应的第二点云;基于所述第一点云的第一点云速度,确定所述第二点云的第二点云数据。5.根据权利要求4所述的方法,其特征在于,基于所述第一点云的第一点云速度,确定所述第二点云的第二点云数据,包括:确定所述第二点云中用于表征地面的地面点云;基于所述第一点云速度,确定所述第二点云中除所述地面点云之外的其他点云的第二点云速度;确定所述地面点云的第二点云速度为预设速度。6.根据权利要求5所述的方法,其特征在于,基于所述第一点云速度,确定所述第二点云中除所述目标点云之外的其他点云的第二点云速度,包括:基于所述第二点云,确定所述第二点云对应的点云质心;获取所述第一点云与所述点云质心的距离;基于所述距离确定所述第一点云中的目标点云,其中,所述目标点云与所述点云质心的距离小于预设距离;
获取所述目标点云的第一点云速度的平均值,得到平均速度;确定所述平均速度为所述其他点云的第二点云速度。7.根据权利要求1所述的方法,其特征在于,获取第一点云数据和第二点云数据,包括:获取所述第一雷达感知到第一感知数据,所述第二雷达感知到第二感知数据,以及所述第一雷达和所述第二雷达的标定参数;基于所述标定参数将所述第一感知数据和所述第二感知数据分别变换至预设坐标系,得到所述第一点云数据和所述第二点云数据,所述预设坐标系是以所述目标车辆上预设位置到地面的投影点为中心进行构建的。8.根据权利要求7所述的方法,其特征在于,获取所述第一雷达和所述第二雷达的标定参数,包括:获取所述第一雷达在所述目标车辆上的第一安装位置,所述第二雷达在所述目标车辆上的第二安装位置;基于所述第一安装位置和所述第二安装位置对所述第一雷达和所述第二雷达进行标定,得到所述标定参数。9.一种点云数据的处理装置,其特征在于,包括:获取模块,用于在目标车辆行驶过程中,获取第一点云数据、第二点云数据和所述目标车辆的运行速度,所述第一点云数据通过所述目标车辆上安装的第一雷达对第一目标区域进行感知得到,所述第二点云数据通过所述目标车辆上安装的第二雷达对第二目标区域进行感知得到,所述第一目标区域与所述第二目标区域部分重叠;确定模块,用于基于所述第一点云数据对应的第一点云速度,确定所述第二点云数据对应的第二点云速度,所述第一点云数据包含所述第一点云速度;变换模块,用于基于所述第二点云速度与所述运行速度对所述第二点云数据进行变换,得到目标点云数据。10.一种目标车辆,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行权利要求1至8中任意一项所述的点云数据处理方法。
技术总结
本发明公开了一种点云数据的处理方法及处理装置。其中,该方法包括:在目标车辆行驶过程中,获取第一点云数据、第二点云数据和目标车辆的运行速度,第一点云数据通过目标车辆上安装的毫米波雷达对第一目标区域进行感知得到,第二点云数据通过目标车辆上安装的激光雷达对第二目标区域进行感知得到,第一目标区域与第二目标区域部分重叠;基于第一点云数据对应的第一点云速度,确定第二点云数据对应的第二点云速度,第一点云数据包含第一点云速度;基于第二点云速度与运行速度对第二点云数据进行变换,得到目标点云数据。本发明解决了相关技术中被探测物体运动时描述被探测物体形态的准确率低的技术问题。态的准确率低的技术问题。态的准确率低的技术问题。
技术研发人员:
张勇 王宇 郭昌野 黄佳伟 张林灿 李创辉
受保护的技术使用者:
中国第一汽车股份有限公司
技术研发日:
2022.08.30
技术公布日:
2022/11/29