基于云端共享和地图融合的自主泊车系统和方法与流程

阅读：评论：0

基于云端共享和地图融合的自主泊车系统和方法
1.本发明是申请号为202011606568.x、申请日为2020年12月28日、发明名称为“基于云端共享和地图融合的自主泊车系统和方法”的中国发明专利申请的分案申请。
技术领域
2.本发明涉及无人驾驶行业中的自主泊车技术领域以及计算机视觉技术领域，具体涉及基于云端共享和地图融合的自主泊车系统和方法，尤其涉及长距离寻迹泊车技术领域。

背景技术：

3.近年来，自动驾驶技术发展迅速，自主泊车需求也越来越广。自主泊车是指车辆能够自动泊车入位而不需要人工的干预。自主泊车能够为用户提供安全、便利、省时的无人泊车服务。由于大城市停车空间有限，一方面，将车辆驶入狭小的空间已成为一项必备技能，然而，即使驾驶员大费周章地将车辆停车入位，却经常存在由于位置狭小而无法开门出入，或者立体车库的路面障碍导致乘客上下车行走不便的情况。另一方面，随着立体交通的发展，城市综合性大社区或大型休闲娱乐场所、公园、机场、车站、医院等地的停车场通常规模较大、分布复杂，导致停车车位到目的地的距离较远，人工泊好车后，还需要步行很长的距离，十分不便。此外，自主泊车能够实实在在地为用户节省泊车时间，而对于泊车技巧不娴熟的用户，自主泊车还能够为其减轻驾驶负担。因此，研究自主泊车尤其是长距离自主寻迹泊车有着十分重要的现实意义。
4.自主泊车通常包括slam建图、多地图合并、云端共享、自动泊入车位、自动车位选择、自动车辆召回等功能，涉及顶视图拼接、障碍物检测(车辆、行人、物体等)、局部路径规划、4g/5g传输通信、可行驶区域检测、车辆控制、车位及车位号检测、gps定位、视觉重定位等诸多技术。自主泊车系统是集上述各项复杂关键技术于一体的复杂系统。
5.为了解现有技术的发展状况，本发明对已有的专利和论文进行了检索、比较和分析：
6.1.技术方案1：中国专利文献cn110304050a“一种基于特征组合的记忆泊车系统、方法、终端和云端服务器”、cn110348341a“一种记忆泊车系统、方法、终端和存储介质”和cn111439257a“一种记忆泊车系统、方法、终端和云端服务器”通过将预先建立的轨迹上传到云端系统，然后在进行记忆泊车时从云端下载轨迹进行自动循迹泊车。专利cn110304050a依赖于1个前视毫米波雷达和4个环视毫米波雷达建立轨迹地图，系统传感器成本高。此外这三篇专利的云端系统只具备暂时存储自己轨迹地图的功能，只能自己建图，自己使用，无法解决他人复用的问题；并且，这三篇专利所述建立的轨迹地图只包括轨迹和定位用的周围环境的特征数据，定位准确度不够。
7.2.技术方案2：中国专利文献cn110517526a“一种代客泊车方法和系统”建立了车端—云端—车位管理服务端的代客停车系统，根据当前车辆采集信息和车位管理服务端信息在云端获取停车场地的配置信息，然后云端向车端发出目标车位或者指示车端开启漫步
模式，最后利用全局路径规划进行自动泊车。然而，由于该系统使用了全局路径规划方法进行代客泊车，使得对系统对云端算力要求及依赖高，系统实时性不好，停车轨迹不确定性也大。
8.3.技术方案3：外文专利us20200207338a1“system,method,infrastructure,and vehicle for automated valet parking”通过预先建立的地图进行循迹记忆泊车，并且建立了车端—云端—用户终端的通信机制。这样用户在使用自动驾驶功能时只需在“落宾区”下车即可，剩下的泊车过程将有车辆自主完成。然而，其需要建立停车场的整个全局地图，使用云端动态保存车位的状态(空闲或占有)，从而在车辆自主泊车时云端动态规划一个目前空闲的车位并将其信息发送给车端。然而，在无法建立停车场整个全局地图的情况下，该方法则无法完成泊车任务。而现实中部分场景，如用户自己家的院子、车库、地下车位等场所往往是私人区域，无法由商业地图公司进行绘制，恰恰缺少停车场的整个全局地图，自然无法通过预先建立的地图进行循迹记忆泊车。
9.可见，现有自主泊车研究方面存在很多技术难点：
10.第一：目前基于高精度地图进行自动驾驶应用于自动泊车时不仅地图的采集和维护成本过高，而且部分场景，如用户自己家的院子、车库、地下车位等场所往往是私人区域，无法由商业地图公司进行绘制，而同一用户又经常需要在同一地点重复停车，路径相对固定。对于这些有高需求性的泊车场合，传统方法常常束手无策，不能满足使用需要。
11.第二：现有的自主泊车系统大多对之前停车的轨迹仅仅作为一个参考，然后采用全局路径规划的方法进行自动泊车，系统计算开销大，这样对平台的计算能力要求很高，现有车载控制器往往难于达到要求。而且由于其路径的不确定性，往往还需要用户远程实时监控以应对突发状况，这又增加了额外的运算负担，难以减少系统成本。
12.第三：现有的记忆泊车系统往往只能使用自己先前建立的轨迹，不具备云端地图共享、地图选择和地图融合的功能，适用范围有限。
13.第四：受方法复杂以及系统算力不够的影响，现有泊车系统实时性受限，无法满足长距离寻迹泊车的需求。
14.因此，现有的自主泊车方法在适用范围、定位精度、稳定性、实时性和成功率上难以获得满意的综合效果。需要研究新的既能适应各种停车场环境，又能保证定位精度、稳定性和实时性，提高泊车成功率，又不增加额外的计算开销，可用于低功耗车载处理器，同时无需高成本传感器系统支持，降低系统的使用成本的自主泊车方法和系统。

技术实现要素：

15.为达到上述发明目的，本公开在如下几个方面进行了改进：
16.1、针对现有的记忆泊车系统只能使用自己先前建立的地图，其云端系统只具备暂时存储自己轨迹地图的功能，只能自己建图，自己使用，以及，所建立的轨迹地图只包括轨迹和定位用的周围环境的特征数据，定位准确度不够的技术问题，本公开采用云端共享轨迹地图的技术方案以克服现有技术方案轨迹不能共享且定位准确度不高的技术问题。然而，在云端共享轨迹地图的方案中，如何实现所共享轨迹的有效利用是解决问题的关键所在，也是技术难点。现有技术中并没有关于如何利用共享轨迹的记载。本公开创新性地提出了采用云端地图共享、轨迹选择和轨迹融合的方式，无需车主自己进行地图采集即可进行
循迹泊车的方法；采用多车协同建立同一地点的全局轨迹地图的方式，达到对某一地点的轨迹地图的丰富和优化，并通过轨迹融合达到个性化的泊车需求；并创新性地具体设计了轨迹的融合方法；所述融合方法确定的融合后的轨迹，使得后续循迹自主泊车的泊车成功率大大提高。
17.2、针对现有技术方案定位不准的技术问题，本公开将车位层、语义层等信息嵌入到轨迹地图中，以提高定位准确度；并引入了由粗到精的重定位技术，便于快速重定位以及云端的地图选择和复用，能够获得快速准确的定位效果。
18.3、针对现有自主泊车系统很多需要依赖1个前视毫米波雷达和4个环视毫米波雷达建立轨迹地图，系统传感器成本过高的技术问题，本公开从方法原理上避免了对高精度激光雷达传感器的依赖，只需采用普通传感器建立轨迹地图，无需毫米波雷达，即可达到精确定位目标车位并自主泊车的效果。
19.4、针对使用全局路径规划方法进行代客泊车的系统对系统计算开销大，对平台计算能力要求高，方法实现高度依赖云端算力，系统实时性不好，停车轨迹不确定性也大的技术问题。本公开不使用全局路径规划方法，而采用局部路径规划方法以减少系统计算开销。然而，在车端—云端—车位管理服务端的自主泊车模式下，采用局部路径规划而不使用全局规划是难于实现的，本公开为了解决这一技术难题，在所述局部路径规划方法中，利用事先建立的轨迹地图进行循迹记忆泊车，因此，实时性和可靠性都更高；此外，为了配合所述局部路径规划方法，本公开对所述云端模块进行改进，所述云端模块不仅进行与车端之间的通信，还进行地图存储、共享、选择和融合，有效解决了局部路径规划的瓶颈。
20.5、针对现有技术需要建立停车场的整个全局地图，在无法建立停车场整个全局地图的情况下，无法完成泊车任务，而现实中部分场景，如用户自己家的院子、车库、地下车位等场所往往是私人区域，无法由商业地图公司进行绘制，恰恰缺少停车场的整个全局地图，自然无法通过预先建立的地图进行循迹记忆泊车的技术问题，本公开采用所述云端保存和处理slam地图，在云端进行轨迹地图的分享和合并，只需保存或合并轨迹信息得到目标轨迹信息即可，无需建立整个停车场的全局地图，当停车时，按照所述目标轨迹采用边循迹边搜索车位的方式进行车位检测及选择；行车路径相对固定、安全可靠，既充分利用了云端共享地图的公共资源，又有效利用了私人区域内建立的私人轨迹地图，将二者有机结合，进行轨迹地图的融合，获得实时、准确的目标轨迹，并根据所述目标轨迹进行循迹泊车，大大拓宽了自主泊车的范围，提高了自主泊车的成功率。
21.6、为了提高系统使用的安全性和可靠性，本公开采用在车端—用户终端进行实时信息传输，在用户端实时查看顶视图，利用在用户端屏幕界面进行的360
°
全景环视拖动、指定召回终点、中途停车等操控，实现当用户离开车辆时对所述车辆的实时控制，在必要的情况下对自主泊车系统进行实时干预以应对自主泊车系统遇到的不可控的突发应急情况。
22.基于上述改进的技术方案，本公开在如下问题的解决方面具有突出的优势：
23.1、整体采用以循迹为基础的自主泊车，只进行局部路径规划，解决了目前全局路径规划方法对算力要求高、实时性较差的问题；
24.2、实现了云端轨迹地图共享、轨迹地图选择、轨迹地图融合的功能，从而无需自己建立地图，只需要根据gps坐标、场景语义信息、轨迹标签分类等进行选择后进行轨迹地图的复用，并且利用在建图中保存车位层信息、地图融合、自定义召回终点等方式提高地图的
复用率；
25.3、利用gps坐标、场景语义信息、图像全局描述、图像局部描述实现由粗到精的重定位技术，大大提高了地图融合以及场景重定位的效率，保证了实时性，并一定程度降低了场景外观因光照、阴影等因素发生变化而导致重定位失败的概率；
26.4、建立了云端—车端—用户终端的协同通信机制，利用云端保存、处理和复用地图，降低了车端硬件对储存性能的要求，同时车端与用户终端的实时通信使得车主更加放心，可以随时监视车辆位置和运行状态。
27.具体地，为解决上述技术问题，根据本发明的一个方面，提供了一种基于云端共享和地图融合的自主泊车方法，包括如下步骤：
28.步骤1)、采集相机图像，使用同步定位与建图(slam)建立停车路线及停车位的语义地图，并对轨迹信息进行分类，得到轨迹地图；
29.步骤2)、将所述轨迹地图存储在本地和/或云端；
30.步骤3)、根据所选择的轨迹地图生成目标轨迹地图；
31.所述目标轨迹地图是通过所选择的轨迹地图融合产生的新的轨迹地图；
32.所述融合是指：
33.当只从本地选择一条本地已有的轨迹地图时，该条轨迹地图即为目标轨迹地图；
34.当只从云端选择一条他人共享的轨迹地图时，该条轨迹地图即为目标轨迹地图；
35.当从云端所选择的轨迹地图数量为一条以上时，将所选择的一条以上轨迹地图进行轨迹合并得到一条目标轨迹地图；
36.步骤4)、根据所述目标轨迹地图设置自主泊车参数；
37.步骤5)、根据所述自主泊车参数由粗到精进行重定位。
38.优选地，所述相机为鱼眼相机。
39.优选地，对所述轨迹信息的分类是按照停车场景、泊入/召回信息进行分类的。
40.优选地，对所述轨迹信息的分类是要求用户按照停车场景、泊入/召回等信息对轨迹进行分类的。
41.优选地，当用户按照停车场景、泊入/召回信息对轨迹进行分类时，由用户选择将slam地图存储在本地和/或上传到云端共享。
42.优选地，选择的轨迹地图时，根据gps坐标、场景语义信息从云端选择他人共享的一条或多条轨迹地图，以用于轨迹地图融合。
43.优选地，还包括车辆自动泊入或车辆召回步骤：
44.所述车辆自动泊入包括如下步骤：
45.(1)自动循迹驾驶及避障局部规划；
46.(2)车位检测及选择；
47.(3)自动泊入车位；
48.所述车辆召回包括如下步骤：
49.(1)自动泊出车位；
50.(2)自动循迹驾驶及避障局部规划
51.(3)中途或召回终点停车。
52.优选地，采用云端进行地图共享、轨迹选择和轨迹融合。
53.优选地，由多车协同建立同一地点的全局轨迹地图，以用于轨迹地图融合。
54.优选地，将车位层、语义层等信息嵌入到所述全局轨迹地图中，以提高定位准确度。
55.优选地，在所述局部路径规划方法中，利用事先建立的轨迹地图进行循迹记忆泊车；采用云端模块进行与车端之间的通信、轨迹地图存储、轨迹地图共享、轨迹地图选择和轨迹地图融合。
56.优选地，在云端保存和处理slam地图。
57.优选地，采用在车端——用户终端进行实时信息传输，在用户端实时查看顶视图，在用户端屏幕界面进行的360
°
全景环视拖动、指定召回终点和中途停车操控。
58.优选地，所述鱼眼相机的数量为4个。
59.优选地，包括：12个超声波传感器阵列、轮速计、全球定位系统(gps)、移动通信终端和嵌入式计算平台。
60.优选地，采用云端——车端——移动通信终端的协同系统，其中所述移动通信终端为4g/5g通信终端；所述云端用于轨迹地图存储、分类选择、共享、融合；所述车端用于感知、建图规划、控制；所述4g/5g通信终端负责监控。
61.优选地，所述4g/5g通信终端为手机、平板或其他遥控终端；用户在手机、平板或其他遥控终端实时查看车辆当前位置、状态和顶视图，在所述4g/5g通信终端上遥控对车辆做出控制。
62.优选地，所述轨迹地图包括：
63.轨迹层(trajectory layer)，所述轨迹层包含建图时车辆行驶的路径、轨迹分类标签、轨迹起点和终点信息；根据轨迹标签不同，所述轨迹起点和终点是轨迹上一点或一段轨迹；
64.车位层(parking slot layer)，所述车位层在固定车位模式下包含目标停车位的坐标、目标车位号、轨迹沿途的车位信息；在流动车位模式下包含可停车区域、可停车区域中检测到的所有停车位坐标及车位号、轨迹沿途的车位信息；
65.定位跟踪层(location and tracking layer)，所述定位跟踪层包含slam重定位和循迹跟踪所需信息；
66.语义信息层(semantic information layer)，所述语义信息层包含能够辅助定位和标识的语义信息，包括：单元号、楼层号、路标、地标、车道线、建筑物和/或文字信息。
67.优选地，所述轨迹信息包括：
68.固定车位轨迹，选择固定车位轨迹模式时，保存沿途检测到的所有车位信息，在建图完成后生成轨迹图并显示，默认轨迹起点为建图起点，默认轨迹终点为建图终点；如果在起点或终点处检测到车位号则默认目标车位号为自动检测到当前车位的车位号；用户在自主泊车前对所述车位号进行确认，通过指定轨迹上的点来更改轨迹的起点或终点；所述起点或终点至少有一个位于车位中，上述操作完成后，将操作信息存入轨迹地图并保存所述轨迹地图；
69.和/或，
70.流动车位轨迹，选择流动车位轨迹模式时，保存沿途检测到的所有车位信息，在建图完成后生成轨迹图并显示，默认轨迹起点为建图起点，默认可停车区域的终点为建图轨
迹终点；用户在自主泊车前通过指定轨迹上的点来更改轨迹的起点和可停车区域的终点；所述起点或终点至少有一个处于停车场中，用户在起点和终点间指定一点为可停车区域的起点，则之后进行循迹自主泊车时，在可停车区域起点和可停车区域终点间循迹时检测到的空闲车位均能够进行泊车。
71.优选地，所述轨迹信息还包括：
72.双向轨迹：当建图轨迹既可用于车辆泊入，又可用于车辆召回时，所述轨迹为双向轨迹；
73.单向车辆泊入轨迹：当建图轨迹仅可用于车辆泊入时，所述轨迹为单向车辆泊入轨迹，此时轨迹的终点必须为车位或可停车区域；
74.单向车辆召回轨迹：当建图轨迹仅可用于车辆召回时，所述轨迹为单向车辆召回轨迹，此时轨迹的起点必须为车位或可停车区域；
75.在所述双向轨迹模式下，自动将地图中对应分布相机所存的信息进行对调，自动将起点和终点信息进行对调，从而又生成一条轨迹，这两条轨迹称为“影子轨迹”；对于所述双向轨迹，在记忆泊车时，自动选择“影子轨迹”中终点位于车位/停车区域中的一条轨迹作为车辆泊入轨迹，而另一条轨迹作为车辆召回轨迹。
76.优选地，当检测到的车位偏离建图轨迹不大于指定的最大偏移距离时判定为能够泊入。
77.优选地，轨迹地图的选择包括：
78.由用户指定循迹的轨迹，所述循迹的轨迹是从本地存储的轨迹中进行选择，或者从云端选择一条轨迹，或者从云端选择若干条轨迹进行地图合并形成新的循迹轨迹；
79.当用户从云端选择他人共享的轨迹时，首先进行轨迹搜索，搜索时，根据指定的当前gps坐标、轨迹类别、建筑物地点和/或车位号信息进行选择；如果指定同一地点处多条轨迹时，则由云端进行轨迹地图融合，当所述轨迹地图融合完成时，能够进行云端直接加载、添加云端收藏以及下载到本地操作。
80.优选地，当完成轨迹选择后，进行轨迹地图的加载，加载地图中轨迹起点、轨迹终点、车位信息、视觉与其他传感器的尺度对齐(scale)参数大小信息；然后加载车辆自身传感器的其它信息，包括相机模型及参数信息、传感器间外参矩阵、imu随机游走(random walk)方差和高斯噪声(noise)方差；加载完成后，当确认所有必需的传感器都正常开启且运行正常后，进行泊车设置；由用户选择泊车模式，是车辆泊入还是车辆召回、是固定车位泊车还是流动车位泊车；其中，只有所加载的轨迹类别是融合后的轨迹或者双向轨迹才可以选择是车辆泊入还是车辆召回，否则泊车模式与加载的轨迹类别相同；当加载的轨迹类别为流动泊车轨迹或者为至少含一条流动泊车轨迹合并成的轨迹时才能够选择是固定车位泊车还是流动车位泊车，而当加载的轨迹类别为固定车位泊车轨迹或者仅由固定车位泊车轨迹合并成的轨迹时，设定所述泊车模式设定为固定车位泊车模式。
81.优选地，当选择车辆召回模式时，所述召回终点默认为轨迹终点，当所述召回终点由用户设定时，可以指定轨迹上任意一点作为轨迹终点。
82.优选地，当用户选择泊车模式为车辆泊入时，包括：
83.若为固定车位泊车模式，则需要用户确认泊入车位信息，所述泊入车位信息默认为加载轨迹中的目标停车位，当建图时保存了轨迹沿途所有停车位的信息时，任意一个沿
途保存的停车位均可以作为泊入车位；当加载的轨迹类型为融合后的轨迹时，则要求用户必须选择泊入车位；
84.若为流动车位泊车模式，则需要用户确认可停车区域，所述可停车区域默认为加载轨迹中的可停车区域，而对于加载的轨迹类型为融合后的轨迹时，则要求用户必须选择可停车区域，由于此时融合后的轨迹至少是由一条流动泊车轨迹合成的，因此该轨迹含有若干个可停车区域起点和若干个可停车区域终点，根据用户从其中选择的两个点，车辆在这两点之间进行循迹时检测空闲车位以进行泊车。
85.优选地，当检测到的车位偏离加载的轨迹不大于指定的最大偏移距离时方可泊入。
86.优选地，所述由粗到精进行重定位包括：
87.粗略定位：
88.首先使用当前车辆的gps坐标定位到地图中粗略的位置，并获取附近一定距离内所有关键帧信息；
89.然后依据当前帧采集图像的全局描述和语义信息，对上述关键帧做进一步选择，对其中满足图像的全局描述相似度大于第五阈值或者含有相同语义信息的关键帧进行下一步精确定位；
90.精确定位：
91.对粗略定位中返回的关键帧逐一进行比较，计算精确位姿，如果成功得到一个精确的位姿，则认为重定位成功；
92.否则则重新选择车辆当前状态进行由粗到精的重定位；
93.所述精确的位姿的精确程度大于第六阈值。
94.优选地，所述的精确位姿的计算步骤包括：
95.步骤1)、基于局部特征点与描述子匹配的方法，得到特征点之间的匹配关系后，使用ransac或dlt等方法获得最大匹配集合，然后根据pnp方法计算当前车辆位姿，根据pnp内点数量衡量得到位姿的精确程度；
96.步骤2)、直接根据深度学习模型得到当前图像的位姿；根据模型输出的置信度衡量得到位姿的精确程度。
97.优选地，所述深度学习模型为kfnet深度学习模型。
98.优选地，所述自动循迹驾驶及避障局部规划包括可行驶区域检测、物体检测与识别、超声波障碍物检测、顶视图拼接。
99.优选地，其中，所述物体检测与识别包括障碍物检测、车辆识别、行人识别。
100.优选地，在自动循迹驾驶及避障局部规划的整个过程采用gps坐标、4g/5g通信模块建立车端——4g/5g通信终端连接，车端将实时数据发送到4g/5g通信终端设备，用户通过终端设备实时监控车辆的位置和泊车状态，并做出临时决策控制车辆。
101.优选地，在自动循迹过程中遇到预定轨迹上存在物体时，首先判断该物体是动态的障碍物还是静态的障碍物；
102.如果该物体是动态的障碍物，则进行如下处理：
103.如果所述动态的障碍物是突然出现且其与车辆之间的距离小于第七阈值，则开启紧急制动功能，进行停车等待；否则降低车速行驶；
104.如果该物体是静态的障碍物或者停车等待时间超过第八阈值时；则进行如下处理：
105.采用局部路径规划进行绕行，之后重新回到预定的轨迹处继续循迹驾驶。
106.优选地，采用局部路径规划进行绕行时，包括可行驶区域检测、物体检测与识别、超声波障碍物检测、顶视图拼接；其中，所述物体检测与识别包括障碍物检测、车辆识别、行人识别。
107.优选地，所述车位检测及选择包括：
108.如果当前状态处于固定车位模式：如果车辆当前位置指定的目标停车位小于第九阈值时，首先采用顶视图拼接方法，基于所述顶视图，进行车位检测及车位号识别，当检测到的车位位置与指定的目标车位位置误差小于第十阈值或者检测到的目标车位的车位号与指定车位号一致时，进行可泊入性判断；当目标车位满足可泊入性条件时，则进行车辆控制以自动泊入到所述目标车位；否则，当检测不到目标车位或目标车位不满足可泊入性条件时，则通过移动通信终端通知用户，向用户报告“指定车位无法泊入”信息，并在移动通信终端处显示当前车辆顶视图；
109.如果用户在所述移动通信终端的所述车辆顶视图上重新指定目标车位或发出“靠边停车等待”的指令：若用户重新指定了目标车位，则所述车辆重新进行可泊入判断，并根据判断结果进行自主泊车处理，所述处理方式同上；当用户发出“靠边停车等待”的指令或用户超过一定时间阈值未响应时，车辆启动局部路径规划步骤就近选择不阻碍通行处靠边停车，并将车辆的gps坐标、四路相机图像、当前顶视图、周围采集到的语义信息、与目标停车位的相对位置发送给所述移动通信终端显示；当固定车位停车遇到目标车位被占时通知用户，用户在移动通信终端上遥控对车辆做出控制；
110.如果当前状态处于流动停车位模式：如果车辆当前位置到达指定的可停车区域起点时，首先采用顶视图拼接方法，基于所述顶视图，进行车位检测，当检测到一个目标车位时，首先，判断目标车位与预定轨迹的距离是否超出指定的最大偏离距离；如果所述目标车位与预定轨迹的距离未超出所述最大偏离距离或者用户未指定最大偏离距离，则进行可泊入性判断；当目标车位满足可泊入性条件时，则进行车辆控制以自动泊入到所述目标车位，同时识别所述目标车位的车位号，保存识别到的车位号，未成功识别则车位号为空；如果超出所述最大偏离距离或者虽然没有超出所述最大偏离距离但当前车位未通过可泊入性判断，则放弃所述目标车位继续进行目标车位检测。
111.优选地，通过超声波测距及视觉深度估计方法检测所述目标车位与预定轨迹的距离。
112.优选地，所述最大偏离距离可以由用户预先指定或通过移动通信终端实时设定。
113.优选地，所述可泊入性判断包括：
114.采用目标检测与识别模块、超声波测距模块、视觉深度估计模块对所述目标车位进行检测；
115.其中，采用所述超声波测距模块、所述视觉深度估计模块对所述目标车位的长、宽尺寸进行检测；
116.如果所述目标检测与识别模块检测到所述目标车位内存在动态物体，则发出停车等待指令使所述车辆立即停止，并对所述停车等待时间进行计时记录；
117.如果所述目标检测与识别模块检测到所述目标车位内存在静态障碍物，则判定所述目标车位未通过可泊入性判断；
118.如果所述停车等待时间超过一定阈值或者由所述超声波测距模块、所述视觉深度估计模块检测到的所述目标车位的长、宽尺寸不足以泊入所述车辆，则判定所述目标车位未通过可泊入性判断；
119.否则则判定为通过可泊入性判断。
120.优选地，如果从当前位置直到指定的可停车区域终点仍然未能泊入车位，则通过所述移动通信终端通知用户，告知用户“未到空闲可泊入车位”，用户通过所述移动通信终端发出“重新寻车位”或者“靠边停车等待”的指令。
121.优选地，当车辆接收到“重新寻车位”指令时，首先进行回环判断：
122.如果所述轨迹地图中可停车区域终点到轨迹终点之间的轨迹段与可停车区域起点之前的轨迹本身存在回环标志，则车辆从可停车区域终点自动循迹驾驶直到回环标志处，以进入原来的轨迹；
123.如果所述轨迹地图中可停车区域终点到轨迹终点之间的轨迹段与可停车区域起点之前的轨迹本身不存在回环标志，则对可停车区域终点到轨迹终点之间的轨迹段进行近似回环判断，出所述轨迹段与可停车区域起点之前轨迹之间gps距离的最小值，若所述最小值小于设定的近似回环阈值，则认为这两点存在近似回环，并将可停车区域终点到轨迹终点之间的轨迹段上的点作为近似回环起点，将原来轨迹上的点作为近似回环终点，则车辆从可停车区域终点自动循迹驾驶到近似回环起点处，所述车辆采用局部路径规划自动驾驶到近似回环终点处进入原来的轨迹；
124.当所述车辆进入所述原来的轨迹后，所述车辆按照所述自动循迹驾驶及避障局部规划的步骤循迹驾驶，直到驾驶到可停车区域起点，所述车辆在所述自动循迹驾驶及避障局部规划的基础上按照所述车位检测及选择的步骤重新确定所述目标车位。
125.优选地，当用户发出“靠边停车等待”的指令，或不存在回环标志且不存在近似回环，或用户长时间未响应时，所述车辆采用局部路径规划方法就近选择不阻碍通行处靠边停车，并将车辆的gps坐标、四路相机图像、当前顶视图、周围采集到的语义信息、与可停车区域起点/终点的相对位置发送给所述移动通信终端显示。
126.优选地，所述自动泊入车位模式首先需要进一步精确目标泊入车位的类型与车位几何参数，采用超声波传感器与车轮里程计进行车位探测，采用基于深度学习的方法检测车位角点和车位线，基于霍夫变换与聚类来识别标志线并通过一维滤波器来识别车位线；
127.完成车位信息精确后，采用局部路径规划将车辆泊入目标停车位，泊车完成后将当前车辆的gps坐标、所停车位号、当前顶视图发送给所述移动通信终端，然后将所述车辆自动熄火。
128.优选地，所述目标泊入车位的类型包括如水平车位、垂直车位、斜车位。
129.优选地，所述自动泊出车位模式首先需要计算当前车辆gps坐标距离召回轨迹的最小距离，若距离大于第十一阈值则认为无法召回，需要重新选择召回轨迹；否则采用局部路径规划方法泊出车位并回到指定的召回轨迹上，然后按照自动循迹驾驶及避障局部规划步骤循迹驾驶。
130.优选地，所述局部路径规划方法为：基于阿克曼转向几何建立汽车运动学模型的
路劲规划方法、基于b样条理论的泊车路径规划、基于a*方法的局部路径规划、基于rbf神经网络模型的路劲规划方法、两步轨迹规划法或双向轨迹规划法或次多项式曲线规划法。
131.优选地，所述中途或召回终点停车步骤在车辆召回模式下，车辆泊出后按照自动循迹驾驶及避障局部规划进行循迹行驶，直到车辆到达所指定的召回终点，期间，用户可以通过4g/5g通信终端发送中途停车指令控制车辆，实现中途接客上车。
132.为解决上述技术问题，根据本发明的另一个方面，提供了一种基于云端共享和地图融合的自主泊车系统，
133.包括：
134.图像采集装置，采集相机图像，使用同步定位与建图(slam)建立停车路线及停车位的语义地图，并对轨迹信息进行分类，得到轨迹地图；
135.地图存储装置，将所述轨迹地图存储在本地和/或云端；
136.目标轨迹地图生成装置，根据所选择的轨迹地图生成目标轨迹地图；
137.其中，所述目标轨迹地图是通过所选择的轨迹地图融合产生的新的轨迹地图；
138.其中，所述融合是指：
139.当只从本地选择一条本地已有的轨迹地图时，该条轨迹地图即为目标轨迹地图；
140.当只从云端选择一条他人共享的轨迹地图时，该条轨迹地图即为目标轨迹地图；
141.当从云端所选择的轨迹地图数量为一条以上时，将所选择的一条以上轨迹地图进行轨迹合并得到一条目标轨迹地图；
142.参数设置装置，根据所述目标轨迹地图设置自主泊车参数；
143.重定位装置，根据所述自主泊车参数由粗到精进行重定位。
144.为解决上述技术问题，根据本发明的再一个方面，提供了一种自主泊车中轨迹地图融合的方法，包括如下步骤：
145.步骤1)、可融合性判断：输入多张轨迹地图，对选择的多张轨迹地图两两进行判断，若两条轨迹关键帧gps坐标最小距离小于第一阈值或者存在相同的语义信息，则判定这两张地图存在融合可能；如果至少存在一张具有融合可能的地图，则认为所选择的这几张轨迹地图通过可融合性判断，否则认为所选择的轨迹地图无法融合，需要重新进行选择；
146.步骤2)、公共区域检测：首先对需要合并的两张地图提取gps坐标小于第一阈值或者存在相同的语义信息的关键帧对；对每一个关键帧对判断全局图像描述相似度是否大于第二阈值，若不大于第二阈值则进行下一个关键帧对的判断，反之则进行局部特征点与描述子的匹配，若匹配的点对个数大于第三阈值则进入步骤3)；
147.步骤3)、计算两个轨迹地图之间的对齐变换矩阵：若相机使用双目相机则为se3变换(即欧式变换)，若使用单目相机则为sim3变换(即相似变换)；使用步骤2)中匹配上的局部特征点对应的地图点进行初始估计，并使用随机抽样一致性(ransanc)方法或直接线性变换(dlt)方法提高估计值精度，然后采用非线性优化来优化重投影误差，以获得最终的对齐变换矩阵，若优化后内点的数量小于第四阈值则返回步骤2)进行下一关键帧对的判断，反之则进入步骤4)；
148.步骤4)、合并地图：利用计算得到的对齐变换矩阵将两张地图进行对齐，即对所有关键帧位姿、车位位姿、地图点、语义信息位姿进行对齐变换；然后对两张地图中重复的信息进行融合并更新关键帧之间的共视关系；所述重复的信息包括车位层信息、语义层信息、
定位跟踪层中的地图点和关键帧相关信息；
149.步骤5)、局部非线性优化：依据两张轨迹地图定位跟踪层关键帧的共视关系，提取与该关键帧对存在共视关系的所有关键帧建立局部窗口，并对该窗口进行局部的光束法平差(budle adjustment，ba)优化；
150.步骤6)、轨迹位姿优化：对融合后的轨迹进行位姿图优化(pose graph optimization)，得到地图融合后的轨迹路径、位姿。
151.优选地，若指定的需要合并的轨迹地图数量大于两张，则使用融合后的地图继续与剩下的轨迹地图依次合并，重复上述地图融合过程，直到最终返回前述指定的需要合并的所有轨迹的新轨迹地图。
152.优选地，所述相同的语义信息包括：单元号、楼层号、路标、地标、车道线、建筑物和/或文字信息。
153.优选地，其中，
154.所述se(3)变换中对齐变换矩阵为：
[0155][0156]
所述sim(3)变换中对齐变换矩阵为：
[0157][0158]
其中s为比例因子，用于进行尺度(scale)对齐，t为位姿矩阵，r为旋转矩阵，t为平移向量，r3×3代表3
×
3大小的实矩阵集合，|r|代表r的行列式。
[0159]
优选地，其中，
[0160]
记对齐变换矩阵为td，则所述对齐变化为：
[0161]
x'＝td·
x
[0162]
其中x为变换前世界系下坐标，x’为对齐变换后世界坐标系下坐标。
[0163]
优选地，其中，
[0164]
所使用的slam模型由一个运动方程和一个观测方程构成，如下所示：
[0165][0166]
其中uk为运动传感器输入，wk为运动传感器噪声，v
k,j
为观测噪声，yj为路标点，x
k-1
和xk为前后两帧的坐标位置，z
k,j
为观测数据，f()为运动方程，h()为观测方程，则局部ba优化，即同时优化相机位姿和观测数据，使用最小二乘描述则为：
[0167][0168]
其中r-1k
和q-1k
为信息矩阵，分别为运动传感器噪声分布和观测噪声分布的协方差矩阵的逆，j(x,y)为目标函数，上标t代表转置运算；e
u,k
和e
z,j,k
分别代表位移误差和观测误差，其计算如下：
[0169][0170]
其中e
u,k
代表位移误差，e
z,j,k
代表观测误差。
[0171]
优选地，其中，
[0172]
所述位姿图优化即固定观测数据，只对相机位姿进行非线性优化，目标函数为：
[0173][0174]
其中为信息矩阵，ε为所有存在共视关系的关键帧相连形成边的集合，e
i，j
为相机位姿的残差，其定义如下：
[0175][0176]
其中ti代表第i帧位姿，tj代表第j帧位姿,t
i,,j
代表第j帧到第i帧的位姿变换，函数y＝ln(t)
ν
代表李到李代数的变换关系。
[0177]
本发明的有益效果：
[0178]
1、实现成本低。由于本公开采用了基于轨迹学习及循迹的自主泊车系统，无需全局路径规划，对算力要求小，对云平台依赖低，无需昂贵的硬件平台支持，无需昂贵的rtk、lidar模块支持；
[0179]
2、可以共享轨迹地图。引入了云端的地图共享，从而不需要自己进行轨迹地图的建立，即可进行自主泊车，即使位于一个车主陌生的场景(如尚未去过的酒店停车场)也可以使用他人共享的地图进行循迹泊车；
[0180]
3、可以在云端选择轨迹地图，融合了gps信息，便于用户在云端快速地选择出指定位置处他人共享的轨迹，支持选择不同泊车模式的轨迹，此外如果建立的地图包含语义信息层，还支持选择某一楼层号、某一建筑物处，某一路标处的轨迹，功能丰富，人性化程度高。
[0181]
4、可支持自主泊车的距离远，可以开启自主泊车的地点覆盖面积大。由于引入了云端地图合并技术，从而泊车的路径不局限于某一条轨迹经过的地点，可以支持多条轨迹的合并，从而使得可以在更多地点开启记忆自主泊车系统。同时由于路径相对固定，本公开基于轨迹学习及循迹的自主泊车方案相较于基于全局路径规划的泊车方案安全性更高；同时引入了云端轨迹合并技术，使得自主泊车可循迹的距离进一步增长，满足长距离寻迹泊车的需求。
[0182]
5、云端轨迹地图的可复用性强，首先，同时由于建立的轨迹地图包含了沿途的车位、车位号、楼层号、gps坐标等信息，其他用户可以从云端指定沿途的车位进行自主泊车，不必完全按照原轨迹进行泊车，使得轨迹地图的可复用性增强；其次，支持云端轨迹地图的融合功能，便于建立同一地点更丰富的全局语义地图，从而可以囊括更多沿途车位信息，进一步增强了轨迹地图的可复用性，也便于在停车场更公共区域进行流动车位泊车时能更有效地到空闲车位
[0183]
6、可以在多种场景下进行重定位，重定位成功率和精度高，受光照、天气、季节等因素的影响小。首先使用了融合gps坐标和图像全局描述的候选关键帧选择策略，使得重定
位需要检索的场景少，速度快，成功率高；其次引入了由粗到精的重定位技术，使得重定位精度高，受光照等因素影响小。
[0184]
7、泊车类型多样，支持固定车位停车、流动(公共)车位停车、车辆自动泊入及召回等多种模式，用户只需将车驾驶至某一区域即可下车，无需驾驶员坐于车内就能完成自主泊车，等到需要使用时再将车辆召回即可，从而适用于多种场景停车，如私人车位、公共停车场、出入口不同的停车场等。
[0185]
8、构建了车端—云端—4g/5g通信终端协同系统，用户可以在手机、平板或其他遥控终端实时查看车辆当前位置、状态和顶视图，使得车主更加放心，并且可以在遇到突发状况时及时通知车主并遥控对车做出控制，如固定车位停车遇到车位被占时通知车主，车主可以在终端通过顶视图临时选择其他车位停车、在实现车辆召回时可以中途停车等。
[0186]
9、适用于鱼眼相机的检测场合，能够克服采用鱼眼相机所导致的图像畸变的影响。即使在使用鱼眼相机的情况下，也能获得非常满意的自主泊车效果。尤其解决了狭窄路段，如弄堂中、贴近墙面等环境下的自主泊车控制难题。
附图说明
[0187]
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。
[0188]
图1本发明的整体系统流程
[0189]
图2云端-车端-4g/5g通信终端系统示意图；
[0190]
图3轨迹地图示意图-1(流动车位轨迹)；
[0191]
图4轨迹地图示意图-2(固定车位轨迹)；
[0192]
图5四路相机可行驶区域语义分割结果图；
[0193]
图6顶视图拼接显示效果图；
[0194]
图7物体检测与识别结果图；
[0195]
图8用户4g/5g遥控终端显示示意图
[0196]
图9用户4g/5g通信终端显示支持旋转拖动的360
°
环形车辆顶视图
[0197]
图10车位检测及车位角点识别
[0198]
图11车位内障碍物检测(可泊入性判断)
[0199]
图12多种车位类型的自动泊入泊出示意图
[0200]
图13提取道路标志语义信息(slam地图语义信息层)
[0201]
图14轨迹地图融合示例1
[0202]
图15轨迹地图融合示例2
[0203]
图16轨迹地图融合示例3(利用“多车融合建图”建立同一地点的全局轨迹地图)
具体实施方式
[0204]
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为
了便于描述，附图中仅示出了与本发明相关的部分。
[0205]
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
[0206]
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
[0207]
本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
[0208]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0209]
本发明的目的是提供一种基于云端共享和地图融合的自主泊车系统和方法。图1描述了本发明的整体系统流程图。
[0210]
1整体方案概述
[0211]
如图1所示，本发明的系统流程主要包括如下步骤：
[0212]
步骤1)、使用slam(simultaneous localization and mapping)建立停车路线及停车位的语义地图，对轨迹信息进行分类，以用于后续的轨迹选择；
[0213]
对所述轨迹信息的分类是按照停车场景、泊入/召回等信息进行分类的；进一步地，对所述轨迹信息的分类可以是要求用户按照停车场景、泊入/召回等信息对轨迹进行分类的；
[0214]
步骤2)、将slam地图存储在本地和/或云端；
[0215]
当用户按照停车场景、泊入/召回等信息对轨迹进行分类时，slam地图能够存储在本地和/或云端；进一步地，由用户选择将slam地图存储在本地和/或上传到云端共享；
[0216]
步骤3)、轨迹地图的选择及融合；
[0217]
在自主泊车步骤启动前既能够选择本地已有的轨迹地图，也能够依据gps坐标、场景语义信息等从云端选择他人共享的轨迹地图并且支持对多条轨迹地图进行地图融合；
[0218]
步骤4)、开启自主泊车步骤并进行自主泊车参数设置；
[0219]
步骤5)、由粗到精进行重定位；
[0220]
轨迹加载完成后自动进行由粗到精的重定位，重定位完成后，无需用户对系统进行人工操作，即用户可以下车，车辆将自主完成车辆的泊入或召回过程，整个所述车辆的泊入或召回过程中，车辆只进行局部路径规划而无需进行全局路径规划，同时用户在4g/5g通
信终端上能够实时观察车辆的运行状态，优选地，在所述终端上能够实时观察车辆顶视图并能够随时发送控制指令，所述控制指令包括减速、停车、召回等；所述车辆在自主完成车辆的泊入或召回过程中能够实时监控所述控制指令，并优先执行所述控制指令，然后继续自动执行车辆自动泊入或车辆召回步骤。因此本系统实时性强、安全性高。
[0221]
所述车辆自动泊入包括如下步骤：
[0222]
步骤1.1)、自动循迹驾驶及避障局部规划；
[0223]
步骤1.2)、车位检测及选择；
[0224]
步骤1.3)、自动泊入车位；
[0225]
所述车辆召回包括如下步骤：
[0226]
步骤2.1)、自动泊出车位；
[0227]
步骤2.2)、自动循迹驾驶及避障局部规划
[0228]
步骤2.3)、中途或召回终点停车。
[0229]
自主泊车系统工作时往往面临场景环境复杂、工况实时变化的情形，尤其是在狭窄路段，如弄堂中行驶、贴近墙面行驶等情况下，诸如普通透视相机、双目相机、rgbd相机等车载普通相机几乎会完全被建筑遮挡，不能采集到有效信息；此时需要使用鱼眼相机进行信息采集；鱼眼相机由于其视角范围更大，能采集到更多观测信息，能够采集到有效信息；例如可以采用每个fov约190
°
的多个鱼眼相机，一同构成车辆周围360
°
无死角的环视区域，以达到不存在视觉死角的目的。并且，在自动泊车过程中，系统需要对近景进行准确感知，即图像采集设备能够准确检测10米以内的物体和地标，粗略感知25米以内的物体。所以，一方面，在自动泊车系统中使用鱼眼相机作为基础的车载相机是十分必要的；但是另一方面，由于鱼眼相机本身所固有的缺陷——较大的摄影视角必然伴随的较大的畸变——不可避免地，鱼眼相机获取的景象与真实世界的景象存在很大的差别；这就给使用鱼眼相机的自主泊车带来了额外的困难。传统方法并不能很好地解决鱼眼相机检测图像畸变带来的影响，难于保证自主泊车的控制精度，从而导致泊车成功率受限。因此，针对此技术难点，本公开提出的新的基于云端共享和地图融合的自主泊车系统和方法能够很好地解决这一技术难题，所述方法的所有方法均在鱼眼相机采集的畸变图像上实现，具有更广阔视角(fov)，能观测到车体四周情况，不存在视觉死角，方法鲁棒性强。
[0230]
本公开所述方法均在鱼眼相机上进行，这是本公开的基于云端共享和地图融合的自主泊车系统和方法的一大特点及优势，意味着本公开的基于云端共享和地图融合的自主泊车系统和方法在处理具有畸变的鱼眼相机采集图像上具有优越性，但这并不意味着本公开的所述基于云端共享和地图融合的自主泊车系统和方法只能应用于使用鱼眼相机的自动泊车系统中，所述基于云端共享和地图融合的自主泊车系统和方法同样可以处理包括普通透视相机、双目相机、rgbd相机等的其他普通相机的图像采集系统所采集的图像，并且在所述普通透视相机、双目相机、rgbd相机等的其他普通相机的图像采集系统所采集的图像满足能够采集到有效信息的基础上，所述基于云端共享和地图融合的自主泊车系统和方法的泊车精度更高，成功率也更高。因此，本公开是对自主泊车系统和方法在方法本质上的改进，所述系统和方法具有强鲁棒性和高泊车成功率，并且能够克服采用鱼眼相机所导致的图像畸变的影响。
[0231]
本公开所述的基于云端共享和地图融合的自主泊车系统和方法，既可以使用普通
透视相机、双目相机、rgbd相机等，也可以使用鱼眼相机；即本公开所述的基于云端共享和地图融合的自主泊车方法即适用于使用普通透视相机、双目相机、rgbd相机等采集信息的场合，也适用于使用鱼眼相机采集信息的场合。
[0232]
本公开的所述基于云端共享和地图融合的自主泊车系统中包括如下硬件设备：
[0233]
(1)4个鱼眼相机，所述鱼眼相机用于视觉感知，如车位检测、视觉slam、目标检测等；
[0234]
(2)12个超声波传感器阵列，用于车位测距、防止碰撞等；
[0235]
(3)轮速计，用于轨迹与世界坐标系的scale对齐以及车辆控制等；
[0236]
(4)全球定位系统(gps)，用于重定位、轨迹选择等；
[0237]
(5)4g/5g通信模块，用于车端-云端-用户终端的通信，轨迹地图的上传、下载等；
[0238]
(6)嵌入式硬件计算平台，如tdax、nvidia xavier、renesas v3h等。
[0239]
(7)其他可选设备：如惯性导航单元(imu)、激光/毫米波雷达(lidar)、实时动态载波相位差分技术(rtk)单元等，用于协助建立语义地图、提高定位精度等。
[0240]
本公开所述方案无需毫米波雷达，因而传感器成本低，但本领域技术人员知晓，本公开无需毫米波雷达并不意味着本公开不能使用毫米波雷达。
[0241]
图2所示为云端——车端——移动通信终端的系统示意图。本公开构建了云端——车端——移动通信终端的协同系统，优选地，其中所述移动通信终端为4g/5g通信终端；所述云端用于轨迹地图存储、分类选择、共享、融合；其中，为了充分利用云端的资源，同时也为了减轻车端车载处理器的计算负荷，本公开创新性地提出了在云端进行轨迹融合，所述轨迹融合处理十分适合自主泊车的循迹驾驶需求，能够有效地提高泊车效率和泊车成功率。所述云端轨迹融合依靠云端的强大算力能够快速得到适合的轨迹，同时又不增加车端额外的计算开销，所述方法适用于低功耗车载处理器场合，同时也无需车端高成本传感器系统的支持，有效降低了系统成本，有利于产业化应用。所述车端负责感知、建图规划、控制；所述4g/5g通信终端负责监控；所述4g/5g通信终端为手机、平板或其他遥控终端；用户在手机、平板或其他遥控终端实时查看车辆当前位置、状态和顶视图，并且在遇到突发状况时能够及时通知车用户，并在所述移动通信终端上遥控对车辆做出控制。
[0242]
2基于slam的地图建立及轨迹分类
[0243]
1)所述slam(simultaneous localization and mapping,同时定位与地图构建)方法包括但不限于：
[0244]
1.1基于特征点法的slam：如orbslam、monoslam、ptam等；
[0245]
1.2基于直接法/光流法的slam：dso、dtam、lsd-slam等；
[0246]
1.3基于半直接法的slam：svo、msckf、okvis等；
[0247]
1.4基于传感器融合的slam：如imu与视觉进行融合(所述融合为松耦合或者紧耦合)，代表为vins、vio、orbslam3等，轮速与视觉进行融合等；
[0248]
1.5基于深度学习的slam：如将传统特征点改为superpoint、r2d2、hfnet等深度学习的特征点，使用深度学习进行回环检测等。
[0249]
2)所述地图包括如下几个部分：
[0250]
2.1轨迹层(trajectory layer)：包含建图时车辆行驶的路径、轨迹分类标签、轨迹起点和终点信息，根据轨迹标签不同，所述轨迹起点和终点是轨迹上一点或一段轨迹；
[0251]
2.2车位层(parking slot layer)：
[0252]
对于车位层，固定车位模式包含目标停车位的坐标、目标车位号、轨迹沿途的车位信息。其中，所述目标车位号自动识别并且还可以由用户进行确认，所述目标车位号可缺省；所述车位信息包括车位号，车位坐标，车位图像等。
[0253]
对于车位层，流动车位模式包含可停车区域、可停车区域中检测到的所有停车位坐标及车位号、轨迹沿途的车位信息。其中，所述可停车区域一般为一段轨迹或者一段轨迹加指定的偏离距离；所述车位信息包括车位号，车位坐标，车位图像等。
[0254]
2.3定位跟踪层(location and tracking layer)：
[0255]
所述定位跟踪层包含slam重定位和循迹跟踪所需信息，根据所使用的slam系统而变化，以特征点法orbslam为例，则包含地图点坐标、关键帧位姿(可以使用旋转矩阵r与平移t表示、使用四元数和平移t表示、使用xy坐标与偏航角yaw表示等)、关键帧gps坐标、关键帧的局部特征点及描述子及与地图点的对应关系、关键帧的全局描述(所述全局描述基于dbow词袋模型的向量和/或基于netvlad的全局描述子等)、关键帧之间的共视关系、视觉与其他传感器(所述传感器为轮速计和/或imu等)的对应关系(所述对应关系包括轨迹对齐的scale参数大小和/或外参矩阵等)。
[0256]
2.4语义信息层(semantic information layer)：
[0257]
所述语义信息层包含可以辅助定位和标识的语义信息，如单元号、楼层号、路标、地标、车道线、建筑物、文字信息等。所述语义信息层是可选的，不是必须包括的。
[0258]
3)所述轨迹分类包括如下几个部分：
[0259]
3.1固定车位轨迹：选择固定车位轨迹模式时，车辆会启动车位检测和车位号自动识别功能，自动保存沿途检测到的所有车位信息(所述车位信息包括车位号、车位坐标和/或车位图像等)。在建图完成后生成轨迹图并显示，默认轨迹起点为建图起点，默认轨迹终点为建图终点，如果在起点或终点处检测到车位号则默认目标车位号为自动检测到当前车位的车位号；然后要求对所述车位号进行确认；用户可以通过指定轨迹上的某点更改轨迹的起点或终点，所述起点或终点至少有一个位于车位中；用户也可以直接更改车位号信息。上述操作完成后，将操作信息存入地图并保存所述地图。
[0260]
3.2流动车位轨迹：选择流动车位轨迹模式时，车辆会启动车位检测功能和车位号自动识别功能,自动保存沿途检测到的所有车位信息(所述车位信息包括车位号、车位坐标和/或车位图像等)。建图完成后生成轨迹图并显示，默认轨迹起点为建图起点，默认可停车区域的终点为建图轨迹终点；然后要求用户进行操作，用户可以通过指定轨迹上的某点更改轨迹的起点和可停车区域的终点，要求起点或终点至少有一个处于停车场中(即附近存在若干车位)，然后要求用户在起点和终点间指定一点为可停车区域的起点，则之后进行循迹自主泊车时在可停车区域起点和可停车区域终点间循迹时检测到的空闲车位均可以进行泊车。此外，可选地，还可以设定一个最大偏移距离，即当检测到的车位偏离建图轨迹不大于指定的所述最大偏移距离时方可泊入。当前述操作完成并确认后，上述信息被存入地图然后保存所述地图。
[0261]
3.3双向轨迹：选择双向轨迹模式时，必须要求四路相机齐全且对应分布(所述对应分布是指前后左右各分布一个相机，其中可以分别左右对应，也可以分别前后对应)，所述对应分布(如左右为对应或前后为对应)的相机类别需相同，如果选择了所述双向轨迹模
式，则指定建图轨迹既可用于车辆泊入，又可用于车辆召回，所述轨迹类型常用于不区分行驶方向的道路。在所述双向轨迹模式下，自动将地图中对应分布相机所存的信息进行对调，自动将起点和终点信息进行对调，从而又生成一条轨迹，这两条轨迹称为“影子轨迹”。对于所述双向轨迹，在记忆泊车时，自动选择“影子轨迹”中终点位于车位/停车区域中的一条轨迹作为车辆泊入轨迹，而另一条轨迹作为车辆召回轨迹。
[0262]
3.4单向车辆泊入轨迹：所述单向车辆泊入轨迹适用于某些停车场出入口不同的情况，所述单向车辆泊入轨迹被指定为仅可用于车辆泊入，此时要求轨迹的终点必须为车位或可停车区域。
[0263]
3.5单向车辆召回轨迹：所述单向车辆召回轨迹适用于某些停车场出入口不同的情况，所述单向车辆召回轨迹被指定为仅可用于车辆召回，此时要求轨迹的起点必须为车位或可停车区域。
[0264]
轨迹分类即对轨迹信息的分类可以是要求用户按照停车场景、泊入/召回等信息对轨迹进行分类的；用户在建图开始前指定将要建立的轨迹类别，其中，需要在固定车位轨迹和流动车位轨迹中选其一，并在双向轨迹、单向车辆泊入轨迹、单向车辆召回轨迹中选其一。图3为轨迹地图示意图-1(流动车位轨迹)。图4为轨迹地图示意图-2(固定车位轨迹)。
[0265]
3本地存储或云端共享地图
[0266]
当地图建立完成后，用户可以选择存储在本地或者上传到云端(可以选择私有或者公开共享)，当系统处于无网环境下时，所述地图被存储在本地；当系统处于上网环境下时，所述地图根据用户选择被存储在本地或者上传到云端，当所述地图被上传到云端时，可以选择私有或者公开共享两种状态之一进行存储和使用。
[0267]
当选择云端公开共享后，云端自动从上传的地图中读取轨迹分类标签、起点和终点信息、沿途车位信息、gps信息和/或语义层信息，并整合上述信息形成一个标签列表，用来描述这个轨迹，以便于之后快速进行分类选择。
[0268]
本公开由于引入云端的地图共享，从而使得用户自己建立轨迹地图的步骤不是必须的，进一步简化了系统的操作步骤，使得操作过程更加简洁，提升了用户的使用体验度。用户使用云端的共享地图即可进行自主泊车，即使位于一个用户陌生的场景(如从未去过的酒店、商场、医院停车场)，也可以使用他人共享的地图进行循迹泊车，有利于提高泊车成功率，并提高泊车效率；此外，用户可以随时建立自己的轨迹地图，并共享到云端，以丰富整个系统的地图库，进一步提高整个系统的泊车可靠性和泊车效率。
[0269]
4轨迹地图的选择及融合
[0270]
虽然共享轨迹地图在理论框架上为提升系统泊车效果提供了依据，但是，具体实施时，如果仅简单复用云端的共享地图对系统泊车效果的提升是有限的，并且停车场景是随时变化的，为了进一步解决既能有效利用共享轨迹地图的资源又能实时适应现有停车场景的变化，以提高自主泊车效率和成功率，本公开创新性地提出了采用轨迹融合的方法，有效地解决了上述问题，并获得了十分成功的泊车效果。
[0271]
现代城市停车布局中，由于大社区、大型商业区、大型交通枢纽以及公园等的停车场分布分散、规模较大，结构复杂，导致需要自主泊车的距离过远，自主泊车的地点覆盖面积过大，这给自主泊车带来了新的压力。一方面，停车场的泊车环境变化更大，另一方面，路径规划也更复杂。本公开采用的云端地图合并技术能够很好地解决上述技术问题，由于引
入了云端地图合并技术，从而泊车的路径不局限于某一条轨迹经过的地点，可以支持多条轨迹的合并，从而使得可以在更多地点开启记忆自主泊车系统。同时由于路径相对固定，所以，本公开创新性地提出了基于轨迹学习及循迹的自主泊车方案，所述方案相较于基于全局路径规划的泊车方案安全性更高；进一步地，在所述基于轨迹学习及循迹的自主泊车方案中更创新性地引入云端轨迹合并技术，使得自主泊车可循迹的距离进一步增长。因此，本公开的所述基于云端共享和地图融合的自主泊车系统和方法可支持自主泊车的距离远，可以开启自主泊车的地点覆盖面积大。
[0272]
具体实施过程包括：
[0273]
当开启记忆泊车功能前，由用户指定循迹的轨迹，所述循迹的轨迹可以从本地存储的轨迹中进行选择，或者从云端选择一条轨迹，或者从云端选择若干条轨迹进行地图合并形成新的循迹轨迹。
[0274]
当用户从云端选择他人共享的轨迹时，首先进行轨迹搜索，搜索时，根据指定的当前gps坐标、轨迹类别、建筑物地点和/或车位号等信息进行选择；如果指定同一地点处多条轨迹时，则云端会自动进行轨迹地图融合，当所述轨迹地图融合完成时，可以进行云端直接加载、添加云端收藏、下载到本地等操作，能够保证轨迹地图的复用，避免以后每次相同情况下的自主泊车都要重新进行轨迹地图合并操作。
[0275]
当所述轨迹从云端被选择后，所述轨迹能够直接被加载，也能够被下载到本地后再进行加载，以便于后续使用。
[0276]
轨迹地图融合根据所使用的slam系统的变化而发生变化，所述轨迹地图融合主要包括如下步骤：
[0277]
1).可融合性判断：对选择的多张轨迹地图两两进行判断，若两条轨迹关键帧gps坐标最小距离小于一定阈值或者存在相同的语义信息(所述相同的语义信息可以是同一停车场的车位号、同一地标等)则判定这两张地图存在融合可能；如果至少存在一张具有融合可能的地图，则认为所选择的这几张轨迹地图通过可融合性判断，否则认为所选择的轨迹地图无法融合，需要重新进行选择。
[0278]
2).公共区域检测：首先对需要合并的两张地图提取gps坐标小于一定阈值或者存在相同的语义信息的关键帧对。对每一个关键帧对首先判断全局图像描述相似度(其中可以基于dbow词袋模型的方法、基于深度学习netvlad/calc/hfnet的方法等描述相似度)是否大于一定阈值，若不大于一定阈值则进行下一个关键帧对的判断，反之则进行局部特征点与描述子的匹配，若匹配的点对个数大于一定阈值则进入步骤3)；
[0279]
3).计算两个轨迹地图之间的对齐变换矩阵：若相机使用双目相机则为se3变换(欧式变换)，若使用单目相机则为sim3变换(相似变换)；使用步骤2)中匹配上的局部特征点对应的地图点进行初始估计，并使用ransanc(随机抽样一致性)方法或dlt(直接线性变换)方法提高估计值精度，然后采用非线性优化来优化重投影误差，以获得最终的对齐变换矩阵，若优化后内点的数量小于一定阈值则返回步骤2)进行下一关键帧对的判断，反之则进入环节步骤4)；
[0280]
所述se(3)变换中对齐变换矩阵为：
[0281]
[0282]
所述sim(3)变换中对齐变换矩阵为：
[0283][0284]
其中s为比例因子，用于进行尺度(scale)对齐，t为位姿矩阵，r为旋转矩阵，t为平移向量，r3×3代表3
×
3大小的实矩阵集合，|r|代表r的行列式。
[0285]
4).合并地图：利用计算得到的对齐变换矩阵将两张地图进行对齐，即对所有关键帧位姿、车位位姿、地图点、语义信息位姿进行对齐变换(se3变换或sim3变换)；然后对两张地图中重复的信息进行融合并更新关键帧之间的共视关系；所述重复的信息包括车位层信息、语义层信息、定位跟踪层中的地图点和关键帧相关信息。
[0286]
记对齐变换矩阵为td，则所述对齐变化为：
[0287]
x'＝td·
x
[0288]
其中x为变换前世界系下坐标，x’为对齐变换后世界坐标系下坐标。
[0289]
5).局部非线性优化：依据两张轨迹地图定位跟踪层关键帧的共视关系，提取与该关键帧对存在共视关系的所有关键帧建立局部窗口，并对该窗口进行局部的ba(budle adjustment，光束法平差)优化。
[0290]
所使用的slam模型由一个运动方程(如轮速计、imu等输入)和一个观测方程(如相机、激光雷达等输入)构成，如下所示：
[0291][0292]
其中uk为运动传感器输入，wk为运动传感器噪声，v
k,j
为观测噪声，yj为路标点，x
k-1
和xk为前后两帧的坐标位置，z
k,j
为观测数据，f()为运动方程，h()为观测方程，则局部ba优化，即同时优化相机位姿和观测数据，使用最小二乘描述则为：
[0293][0294]
其中r-1k
和q-1k
为信息矩阵，分别为运动传感器噪声分布和观测噪声分布的协方差矩阵的逆，j(x,y)为目标函数，上标t代表转置运算；e
u,k
和e
z,j,k
分别代表位移误差和观测误差，其计算如下：
[0295][0296]
其中e
u,k
代表位移误差，e
z,j,k
代表观测误差。
[0297]
6).轨迹位姿优化：对融合后的轨迹(例如所述融合后的轨迹使用关键帧位姿表示)进行位姿图优化(pose graph optimization)，得到地图融合后的轨迹路径、位姿等。
[0298]
所述位姿图优化即固定观测数据，只对相机位姿进行非线性优化，目标函数为：
[0299][0300]
其中为信息矩阵，ε为所有存在共视关系的关键帧相连形成边的集合，e
i，j
为相
机位姿的残差，其定义如下：
[0301][0302]
其中ti代表第i帧位姿，tj代表第j帧位姿,t
i,,j
代表第j帧到第i帧的位姿变换，函数y＝ln(t)
ν
代表李到李代数的变换关系。
[0303]
若指定的需要合并的轨迹地图数量大于两张，则使用融合后的地图继续与剩下的轨迹地图依次合并，重复上述地图融合过程，直到最终返回前述指定的需要合并的所有轨迹的新轨迹地图。
[0304]
本公开采用在云端选择轨迹地图，并融合gps信息，便于用户在云端快速选择出指定位置处他人共享的轨迹，并支持选择不同泊车模式的轨迹；此外如果所建立的地图还包含语义信息层，则可以进一步选择某一楼层号、某一建筑物处，或某一路标处的轨迹，从而进一步提升了泊车效率和成功率，提升了用户使用体验度。图13所示为提取道路标志语义信息(slam地图语义信息层)，提取后可以得到某一路标处的轨迹，所述地图信息在实际地图融合时均被考虑在内，能够进一步保障自主泊车的安全性，并提高泊车效率和成功率。
[0305]
优选地，所述轨迹地图包含沿途的车位、车位号、楼层号、gps坐标等信息，其他用户可以从云端指定沿途的车位进行自主泊车，而不必完全按照原轨迹进行泊车，因此，能够增强轨迹地图的可复用性；对云端轨迹地图进行融合，使得同一地点的全局语义地图更加丰富，包括更多沿途车位信息，能够进一步增强轨迹地图的可复用性，也便于在停车场等公共区域进行流动车位泊车时能更有效地到空闲车位。
[0306]
轨迹地图融合示例图分别如图14、图15和图16所示。图14展示了两条轨迹地图的融合，分别示出了这两条轨迹地图及其融合后的轨迹地图，并给出了融合后和融合前轨迹地图的对应关系。图15示例性地展示了三条轨迹地图的融合，给出了融合后的轨迹，以及融合后的轨迹地图。图16则是对三条以上轨迹地图依次合并、重复融合，直至得到最终融合后的轨迹地图的示例说明。
[0307]
5开启自主泊车并进行泊车设置
[0308]
当完成轨迹选择后，首先，需要进行轨迹地图的加载(从本地或者云端均可)，加载地图中轨迹起点、轨迹终点、车位信息、视觉与其他传感器(如轮速计、imu等)的scale参数大小等必要信息。然后会首先加载车辆自身传感器信息，如相机模型及参数信息、传感器间外参矩阵、imu随机游走(random walk)方差和高斯噪声(noise)方差等。加载完成后，当确认所有必需的传感器都正常开启且运行正常后，开启自主泊车功能，此时需要进行泊车设置。首先需要用户选择此处的泊车模式，是车辆泊入还是车辆召回、是固定车位泊车还是流动车位泊车；需要注意的是，只有所加载的轨迹类别是融合后的轨迹或者双向轨迹才可以选择是车辆泊入还是车辆召回，否则泊车模式只能与加载的轨迹类别相同；此外，需要注意当加载的轨迹类别为流动泊车轨迹或者为至少含一条流动泊车轨迹合并成的轨迹时才可以选择是固定车位泊车还是流动车位泊车，而当加载的轨迹类别为固定车位泊车轨迹或者仅由固定车位泊车轨迹合并成的轨迹时，只能选择固定车位泊车模式。
[0309]
其次，当用户选择车辆召回模式时，需要确认召回终点，所述召回终点可以由用户设定，默认所述召回终点为轨迹终点，用户也可以重新指定轨迹上任意一点作为轨迹终点。
[0310]
而当用户选择泊车模式为车辆泊入时，包括如下几种情况：
[0311]
若为固定车位泊车模式，则需要用户确认泊入车位信息，所述泊入车位信息默认为加载轨迹中的目标停车位，由于建图时保存了轨迹沿途所有停车位的信息，如图像、车位号、坐标等，此时用户可以选择任意一个沿途保存的停车位作为泊入车位，增强了轨迹的可复用性；而对于加载的轨迹类型为融合后的轨迹时，则要求用户必须进行选择。
[0312]
若为流动车位泊车模式，则需要用户确认可停车区域，所述可停车区域默认为加载轨迹中的可停车区域，而对于加载的轨迹类型为融合后的轨迹时，则要求用户必须选择，由于此时融合后的轨迹至少是由一条流动泊车轨迹合成的，因此该轨迹含有若干个可停车区域起点和若干个可停车区域终点，用户可以从其中选择两个点，则车辆在这两点之间进行循迹时检测到空闲车位均可以进行泊车。
[0313]
此外，优选地，用户还可以指定一个最大偏移距离，即当检测到的车位偏离加载的轨迹不大于指定的最大偏移距离时方可泊入。
[0314]
一般情况下泊车设置均带有默认值，无需用户进行操作。每当默认值被更改或者第一次对无默认值的轨迹(如融合后的轨迹)进行设置后，则需要用户设定是否将当前泊车设置保存为默认值，以便下次复用。
[0315]
6由粗到精进行重定位
[0316]
当泊车设置完成后，需要进行车辆重定位，为了提高定位的准确性和定位效率，本公开采用由粗到精的视觉重定位技术，大大减少了计算量，保证了实时性，既保证了重定位成功率和又保证了定位的高精度，同时通过融合gps坐标划定了重定位的范围，大大减少需要比较的候选关键帧，使得重定位需要检索的场景减少，有效减少了系统的计算消耗，使得重定位耗时少、速度快；另一方面，由粗到精的重定位策略，使得重定位精度高，受光照等因素影响小，成功率高。
[0317]
粗略定位：包括如下步骤：首先使用当前车辆的gps坐标定位到地图中粗略的位置，并获取附近一定距离内所有关键帧信息；然后依据当前帧采集图像的全局描述和语义信息，对上述关键帧做进一步选择，对其中满足图像的全局描述相似度大于一定阈值或者含有相同语义信息的关键帧进行下一步精确定位。其中基于dbow词袋模型的方法、基于深度学习netvlad/calc/hfnet的方法等得到所述全局描述相似度。相同语义信息包括楼层号、建筑物等。
[0318]
精确定位：对粗略定位中返回的关键帧逐一进行比较，计算精确位姿，如果成功得到一个精确的位姿，则认为重定位成功；否则则重新选择车辆当前状态进行由粗到精的重定位。所述精确的位姿的精确程度大于一定阈值。
[0319]
所述的精确位姿的计算方法如下：
[0320]
1).基于局部特征点与描述子匹配的方法：
[0321]
所述局部特征点与描述子包括但不限于orb、superpoint、r2d2、hfnet、aslfeat、beblid等；
[0322]
所述匹配方法包括但不限于：基于dbow词袋模型的描述子匹配、基于knn/kmeans等机器学习方法的描述子匹配、使用基于superglue，d2net等深度学习的描述子匹配方法。
[0323]
得到特征点之间的匹配关系后，使用ransac或dlt等方法获得最大匹配集合，然后根据pnp方法计算当前车辆位姿，根据pnp内点数量衡量得到位姿的精确程度。
[0324]
优选地，在上述基础上，使用ba(budle adjustment)方法进行全局优化，根据优化
后内点数量衡量得到位姿的精确程度。
[0325]
2).直接根据kfnet等深度学习模型得到当前图像的位姿；根据模型输出的置信度衡量得到位姿的精确程度。
[0326]
当处于车辆泊入模式时，重定位成功后，用户即可离开车辆，车辆能够自主完成泊车过程。当处于车辆召回模式时，只要车辆是自动泊入的或者车辆当前gps坐标距离预定轨迹距离小于阈值，车辆均能够自主完成召回。
[0327]
7自动循迹驾驶及避障局部规划
[0328]
在自动循迹驾驶及避障局部规划过程，车辆将沿着加载的轨迹进行循迹驾驶，无需全局路径规划，所述自动循迹驾驶及避障局部规划包括可行驶区域检测、物体检测与识别、超声波障碍物检测、顶视图拼接；其中，所述物体检测与识别包括障碍物检测、车辆识别、行人识别等；在自动循迹驾驶及避障局部规划的整个过程采用gps坐标、4g/5g通信模块建立车端——4g/5g通信终端连接，车端将实时数据发送到4g/5g通信终端设备，用户通过终端设备实时监控车辆的位置和泊车状态，并可以做出临时决策控制车辆，即用户在所述终端设备上能够实时观察车辆顶视图并能够随时发送控制指令，所述控制指令包括减速、停车、召回等；所述车辆在自主完成车辆的泊入或召回过程中能够实时监控所述控制指令，并优先执行所述控制指令，然后继续自动执行车辆自动泊入或车辆召回步骤。所述实时数据包括gps坐标、当前车辆顶视图等数据；所述终端设备包括手机、平板电脑等；所述临时决策包括停车、更改停车位等。
[0329]
为了防止某一传感器短时丢失后造成位姿的不连续性，最大程度保障循迹的连续性与成功率，本公开的所述自动循迹驾驶采用融合视觉跟踪、gps坐标、轮速计、imu的方式计算当前车辆位姿，这样即使视觉传感器因为光照变化等因素发生视觉定位丢失也可以使用gps坐标、轮速计等传感器进行过渡，从而能够增强方法的鲁棒性。
[0330]
在自动循迹过程中遇到预定轨迹上存在物体时，首先判断该物体是动态的障碍物还是静态的障碍物。如果该物体是动态的障碍物，则进行如下处理步骤：如果所述动态的障碍物是突然出现且其与车辆之间的距离小于一定阈值，则开启紧急制动功能，进行停车等待；否则降低车速行驶。
[0331]
如果该物体是静态的障碍物或者停车等待时间超过一定阈值时，则启动局部路径规划进行绕行，之后重新回到预定的轨迹处继续循迹驾驶。在启动局部路径规划进行绕行时，执行如上所述的避障局部规划步骤，即包括可行驶区域检测、物体检测与识别、超声波障碍物检测、顶视图拼接；其中，所述物体检测与识别包括障碍物检测、车辆识别、行人识别等；在自动循迹驾驶及避障局部规划的整个过程采用gps坐标、4g/5g通信模块建立车端——4g/5g通信终端连接，车端将实时数据发送到4g/5g通信终端设备，用户通过终端设备实时监控车辆的位置和泊车状态，并可以做出临时决策控制车辆，即用户在所述终端设备上能够实时观察车辆顶视图并能够随时发送控制指令，所述控制指令包括减速、停车、召回等；所述车辆在自主完成车辆的泊入或召回过程中能够实时监控所述控制指令，并优先执行所述控制指令，然后继续自动执行车辆自动泊入或车辆召回步骤。所述实时数据包括gps坐标、当前车辆顶视图等数据；所述终端设备包括手机、平板电脑等；所述临时决策包括停车、更改停车位等。所述避障局部规划要保证局部规划的路径位于可行驶区域内，且在避开障碍物、行人、车辆等物体的同时不偏离预定轨迹过远。图5为四路相机可行驶区域语义
分割结果图。图6为顶视图拼接显示效果图。图7所示为物体检测与识别结果图。图8为用户4g/5g遥控终端显示示意图。图9为用户4g/5g通信终端显示支持旋转拖动的360
°
环形车辆顶视图。
[0332]
所述局部路径规划方法包括但不限于teb方法(timed elastic band)、dwa方法(dynamic window approach)、基于采样的op_planner方法等。
[0333]
8车位检测及选择
[0334]
1).如果当前状态处于固定车位模式：当车辆当前位置指定的目标停车位小于一定阈值时，则需要进行车位检测及选择，首先采用顶视图拼接方法，基于所述顶视图，进行车位检测及车位号识别，当检测到的车位位置与指定的目标车位位置误差小于一定阈值或者检测到的目标车位的车位号与指定车位号一致时，进行可泊入性判断。当目标车位满足可泊入性条件时，则进行车辆控制以自动泊入到所述目标车位；否则，当检测不到目标车位或目标车位不满足可泊入性条件时，则通过移动通信终端(所述移动通信终端为4g/5g手机和/或平板等)通知用户，向用户报告“指定车位无法泊入”信息，并在移动通信终端处显示当前车辆顶视图，用户可以在所述移动通信终端的所述车辆顶视图上重新指定目标车位或发出“靠边停车等待”的指令。若用户重新指定了目标车位，则所述车辆重新进行可泊入判断，并根据判断结果进行自主泊车处理，所述处理方式同上；当用户发出“靠边停车等待”的指令或用户超过一定时间阈值未响应时，车辆启动局部路径规划步骤就近选择不阻碍通行处靠边停车，并将车辆的gps坐标、四路相机图像、当前顶视图、周围采集到的语义信息、与目标停车位的相对位置发送给所述移动通信终端显示。优选地，当固定车位停车遇到目标车位被占时通知用户，用户在移动通信终端上遥控对车辆做出控制，进一步地，用户在移动通信终端通过顶视图临时选择其他车位停车，进一步地，在实现车辆召回时发出中途停车指令。
[0335]
2).如果当前状态处于流动停车位模式：当车辆当前位置到达指定的可停车区域起点时，车辆进行车位检测及选择，首先采用顶视图拼接方法，基于所述顶视图，进行车位检测，当检测到一个目标车位时，首先，判断目标车位与预定轨迹的距离是否超出指定的最大偏离距离。优选地，通过超声波测距及视觉深度估计方法检测所述目标车位与预定轨迹的距离；优选地，所述最大偏离距离可以由用户预先指定或通过移动通信终端实时设定。如果所述目标车位与预定轨迹的距离未超出所述最大偏离距离或者用户未指定最大偏离距离，则进行可泊入性判断。当目标车位满足可泊入性条件时，则进行车辆控制以自动泊入到所述目标车位，同时识别所述目标车位的车位号，保存识别到的车位号(未成功识别则为空)。如果超出所述最大偏离距离或者虽然没有超出所述最大偏离距离但当前车位未通过可泊入性判断，则放弃所述目标车位继续进行目标车位检测。
[0336]
图10为车位检测及车位角点识别图。
[0337]
所述可泊入性判断包括：
[0338]
采用目标检测与识别模块、超声波测距模块、视觉深度估计模块等对所述目标车位进行检测。其中，采用所述超声波测距模块、所述视觉深度估计模块对所述目标车位的长、宽尺寸进行检测。如果所述目标检测与识别模块检测到所述目标车位内存在动态物体(如行人，动物等)，则发出停车等待指令使所述车辆立即停止，并对所述停车等待时间进行计时记录。如果所述目标检测与识别模块检测到所述目标车位内存在静态障碍物(如其他
车辆、地锁、路牌、垃圾桶等)，则判定所述目标车位未通过可泊入性判断。如果所述停车等待时间超过一定阈值或者由所述超声波测距模块、所述视觉深度估计模块检测到的所述目标车位的长、宽尺寸不足以泊入所述车辆，则判定所述目标车位未通过可泊入性判断。否则则判定为通过可泊入性判断。图11为可泊入性判断过程中车位内障碍物检测图。
[0339]
如果从当前位置直到指定的可停车区域终点仍然未能泊入车位，则通过所述移动通信终端通知用户，告知用户“未到空闲可泊入车位”，用户可以通过所述移动通信终端发出“重新寻车位”或者“靠边停车等待”的指令。
[0340]
当车辆接收到“重新寻车位”指令时，首先进行回环判断：如果所述轨迹地图中可停车区域终点到轨迹终点之间的轨迹段与可停车区域起点之前的轨迹本身存在回环标志，则车辆从可停车区域终点自动循迹驾驶直到回环标志处，以进入原来的轨迹；如果所述轨迹地图中可停车区域终点到轨迹终点之间的轨迹段与可停车区域起点之前的轨迹本身不存在回环标志，则对可停车区域终点到轨迹终点之间的轨迹段(在一些实施例中，所述可停车区域终点与轨迹终点可以为同一点)进行近似回环判断，出所述轨迹段与可停车区域起点之前轨迹之间gps距离的最小值，若所述最小值小于设定的近似回环阈值，则认为这两点存在近似回环，并将可停车区域终点到轨迹终点之间的轨迹段上的点作为近似回环起点，将原来轨迹上的点作为近似回环终点，则车辆从可停车区域终点自动循迹驾驶到近似回环起点处，所述车辆采用局部路径规划自动驾驶到近似回环终点处进入原来的轨迹。
[0341]
当所述车辆进入所述原来的轨迹后，所述车辆按照所述自动循迹驾驶及避障局部规划的步骤循迹驾驶，直到驾驶到可停车区域起点，所述车辆在所述自动循迹驾驶及避障局部规划的基础上按照所述车位检测及选择的步骤重新确定所述目标车位。
[0342]
当用户发出“靠边停车等待”的指令，或不存在回环标志且不存在近似回环，或用户长时间未响应时，所述车辆采用局部路径规划方法就近选择不阻碍通行处靠边停车，并将车辆的gps坐标、四路相机图像、当前顶视图、周围采集到的语义信息、与可停车区域起点/终点的相对位置发送给所述移动通信终端显示。
[0343]
传统的自主泊车方法在进行车位检测及选择时，由于所述环节所需方法模块较多且停车场路况较为复杂，因此，多选择降低车辆车速的方法进行目标车位搜索、检测和选择，此时，全局路径规划的循迹驾驶方法由于计算消耗大，导致方法时效性差，对于停车场内已经降速的所述车辆的目标车位检测来说更是雪上加霜，从而导致车位检测和选择效率低下。针对上述技术问题，本公开对于所述新的车位检测及选择进行方法调整，采用所述车辆在所述自动循迹驾驶及避障局部规划的基础上进行车位检测及选择；即无需全局路径规划，依旧自动循迹驾驶，只在遇到障碍物时才进行局部路径规划，因此，路径规划相对精准，系统计算开销小，调整时间短，响应时间快，这从方法原理上保证了所述基于云端共享和地图融合的自主泊车系统和方法的实时性、安全性和可靠性。所述基于轨迹学习及循迹的自主泊车系统，无需全局路径规划，对算力要求小，对云平台依赖低，无需昂贵的硬件平台支持，无需昂贵的rtk、lidar模块支持，因此，本公开的自主泊车方法和系统实现成本低，且响应迅速，泊车成功率高，用户体验度好。
[0344]
9自动泊入/泊出车位
[0345]
1).自动泊入车位：
[0346]
图12所示为多种车位类型的自动泊入泊出示意图。自动泊入车位模式首先需要进
一步精确目标泊入车位的类型(如水平车位、垂直车位、斜车位等)与车位几何参数(如长、宽等)，采用的方法包括但不限于采用超声波传感器与车轮里程计进行车位探测的方法、采用基于深度学习的视觉方法检测车位角点和车位线的方法、基于霍夫变换与聚类来识别标志线并通过一维滤波器来识别车位线的停车位检测方法、融合超声波传感器与视觉信息的车位检测方法等。
[0347]
完成车位信息精确后车辆将启动局部路径规划方法泊入目标停车位，泊车完成后车辆会将当前车辆的gps坐标、所停车位号、当前顶视图发送给所述移动通信终端，然后将所述车辆自动熄火。
[0348]
2).自动泊出车位：
[0349]
自动泊出车位模式首先需要计算当前车辆gps坐标距离召回轨迹的最小距离，若距离大于阈值则认为无法召回，需要用户重新选择召回轨迹；否则启动局部路径规划方法泊出车位并回到指定的召回轨迹上，然后按照自动循迹驾驶及避障局部规划步骤循迹驾驶。
[0350]
所述局部路径规划方法为：基于阿克曼转向几何建立汽车运动学模型的路劲规划方法、基于b样条理论的泊车路径规划、基于a*方法的局部路径规划、基于rbf神经网络模型的路劲规划方法、两步轨迹规划法、双向轨迹规划法或次多项式曲线规划法等。
[0351]
10中途或召回终点停车
[0352]
在车辆召回模式，车辆泊出后将会按照自动循迹驾驶及避障局部规划进行循迹行驶，直到车辆到达所指定的召回终点，用户也可以通过4g/5g通信终端(如手机、平板等)发送中途停车指令控制车辆，从而实现中途接客上车。
[0353]
此外，在整个泊车过程中，用户均可以随时停止正在进行的自主泊车；如果用户在车上，则可以随时停止正在进行的自主泊车转为人工控制车辆。
[0354]
由此可见，本公开所述方法构建了云端——车端——4g/5g通信终端的协同系统，用户在手机、平板或其他遥控终端实时查看车辆当前位置、状态和顶视图，并且在遇到突发状况时能够及时通知车用户，并在所述移动通信终端上遥控对车辆做出控制。
[0355]
综上所述，自主泊车中，现有的方法在实时性、稳定性和成功率上难以获得满意的综合效果。而本公开提出的基于云端共享和地图融合的自主泊车系统和方法在以下几方面均做出了改进，使得自主泊车效率高，成功率也更高：
[0356]
实现成本低。由于本公开采用了基于轨迹学习及循迹的自主泊车系统，无需全局路径规划，对算力要求小，对云平台依赖低，无需昂贵的硬件平台支持，无需昂贵的rtk、lidar模块支持；
[0357]
可以共享轨迹地图。引入了云端的地图共享，从而不需要自己进行轨迹地图的建立，即可进行自主泊车，即使位于一个车主陌生的场景(如尚未去过的酒店停车场)也可以使用他人共享的地图进行循迹泊车；
[0358]
可以在云端选择轨迹地图，融合了gps信息，便于用户在云端快速地选择出指定位置处他人共享的轨迹，支持选择不同泊车模式的轨迹，此外如果建立的地图包含语义信息层，还支持选择某一楼层号、某一建筑物处，某一路标处的轨迹，功能丰富，人性化程度高。
[0359]
可支持自主泊车的距离远，可以开启自主泊车的地点覆盖面积大。由于引入了云端地图合并技术，从而泊车的路径不局限于某一条轨迹经过的地点，可以支持多条轨迹的
合并，从而使得可以在更多地点开启记忆自主泊车系统。同时由于路径相对固定，本公开基于轨迹学习及循迹的自主泊车方案相较于基于全局路径规划的泊车方案安全性更高；同时引入了云端轨迹合并技术，使得自主泊车可循迹的距离进一步增长。
[0360]
云端轨迹地图的可复用性强，首先，同时由于建立的轨迹地图包含了沿途的车位、车位号、楼层号、gps坐标等信息，其他用户可以从云端指定沿途的车位进行自主泊车，不必完全按照原轨迹进行泊车，使得轨迹地图的可复用性增强；其次，支持云端轨迹地图的融合功能，便于建立同一地点更丰富的全局语义地图，从而可以囊括更多沿途车位信息，进一步增强了轨迹地图的可复用性，也便于在停车场更公共区域进行流动车位泊车时能更有效地到空闲车位
[0361]
可以在多种场景下进行重定位，重定位成功率和精度高，受光照、天气、季节等因素的影响小。首先使用了融合gps坐标和图像全局描述的候选关键帧选择策略，使得重定位需要检索的场景少，速度快，成功率高；其次引入了由粗到精的重定位技术，使得重定位精度高，受光照等因素影响小。
[0362]
泊车类型多样，支持固定车位停车、流动(公共)车位停车、车辆自动泊入及召回等多种模式，用户只需将车驾驶至某一区域即可下车，无需驾驶员坐于车内就能完成自主泊车，等到需要使用时再将车辆召回即可，从而适用于多种场景停车，如私人车位、公共停车场、出入口不同的停车场等。
[0363]
构建了车端—云端—4g/5g通信终端协同系统，用户可以在手机、平板或其他遥控终端实时查看车辆当前位置、状态和顶视图，使得车主更加放心，并且可以在遇到突发状况时及时通知车主并遥控对车做出控制，如固定车位停车遇到车位被占时通知车主，车主可以在终端通过顶视图临时选择其他车位停车、在实现车辆召回时可以中途停车等。
[0364]
适用于鱼眼相机的检测场合，能够克服采用鱼眼相机所导致的图像畸变的影响。即使在使用鱼眼相机的情况下，也能获得非常满意的自主泊车效果。尤其解决了狭窄路段，如弄堂中、贴近墙面等环境下的自主泊车控制难题。
[0365]
由此可见，本公开提出的基于云端共享和地图融合的自主泊车系统和方法，既能克服鱼眼相机检测图像的畸变影响，又能降低系统的计算消耗，适应室内、室外的停车场环境，又不增加额外的计算开销，可用于低功耗车载处理器，同时也无需高成本传感器系统支持，自主泊车快速且成功率高，具有广泛的应用前景。
[0366]
至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案仍处于本公开的范围内。

技术特征：

1.一种自主泊车中轨迹地图融合的方法，其特征在于，包括如下步骤：步骤1)、可融合性判断：输入多张轨迹地图，对选择的多张轨迹地图两两进行判断，若两条轨迹关键帧gps坐标最小距离小于第一阈值或者存在相同的语义信息，则判定这两张地图存在融合可能；如果至少存在一张具有融合可能的地图，则认为所选择的这几张轨迹地图通过可融合性判断，否则认为所选择的轨迹地图无法融合，需要重新进行选择；步骤2)、公共区域检测：首先对需要合并的两张地图提取gps坐标小于第一阈值或者存在相同的语义信息的关键帧对；对每一个关键帧对判断全局图像描述相似度是否大于第二阈值，若不大于第二阈值则进行下一个关键帧对的判断，反之则进行局部特征点与描述子的匹配，若匹配的点对个数大于第三阈值则进入步骤3)；步骤3)、计算两个轨迹地图之间的对齐变换矩阵：若相机使用双目相机则为se3变换(即欧式变换)，若使用单目相机则为sim3变换(即相似变换)；使用步骤2)中匹配上的局部特征点对应的地图点进行初始估计，并使用随机抽样一致性(ransanc)方法或直接线性变换(dlt)方法提高估计值精度，然后采用非线性优化来优化重投影误差，以获得最终的对齐变换矩阵，若优化后内点的数量小于第四阈值则返回步骤2)进行下一关键帧对的判断，反之则进入步骤4)；步骤4)、合并地图：利用计算得到的对齐变换矩阵将两张地图进行对齐，即对所有关键帧位姿、车位位姿、地图点、语义信息位姿进行对齐变换；然后对两张地图中重复的信息进行融合并更新关键帧之间的共视关系；所述重复的信息包括车位层信息、语义层信息、定位跟踪层中的地图点和关键帧相关信息；步骤5)、局部非线性优化：依据两张轨迹地图定位跟踪层关键帧的共视关系，提取与该关键帧对存在共视关系的所有关键帧建立局部窗口，并对该窗口进行局部的光束法平差(budle adjustment，ba)优化；步骤6)、轨迹位姿优化：对融合后的轨迹进行位姿图优化(pose graph optimization)，得到地图融合后的轨迹路径、位姿。2.根据权利要求1所述的一种自主泊车中轨迹地图融合的方法，其特征在于，若指定的需要合并的轨迹地图数量大于两张，则使用融合后的地图继续与剩下的轨迹地图依次合并，重复上述地图融合过程，直到最终返回前述指定的需要合并的所有轨迹的新轨迹地图。3.根据权利要求1所述的一种自主泊车中轨迹地图融合的方法，其特征在于，所述相同的语义信息包括：单元号、楼层号、路标、地标、车道线、建筑物和/或文字信息。4.根据权利要求1-3中任一项所述的一种自主泊车中轨迹地图融合的方法，其特征在于，其中，所述se(3)变换中对齐变换矩阵为：
所述sim(3)变换中对齐变换矩阵为：其中s为比例因子，用于进行尺度(scale)对齐，t为位姿矩阵，r为旋转矩阵，t为平移向量，r3×3代表3
×
3大小的实矩阵集合，|r|代表r的行列式。5.根据权利要求1-3中任一项所述的一种自主泊车中轨迹地图融合的方法，其特征在于，其中，记对齐变换矩阵为t
d
，则所述对齐变化为：x'＝t
d
·
x其中x为变换前世界系下坐标，x’为对齐变换后世界坐标系下坐标。6.根据权利要求1-3中任一项所述的一种自主泊车中轨迹地图融合的方法，其特征在于，其中，所使用的slam模型由一个运动方程和一个观测方程构成，如下所示：其中u
k
为运动传感器输入，w
k
为运动传感器噪声，v
k,j
为观测噪声，y
j
为路标点，x
k-1
和x
k
为前后两帧的坐标位置，z
k,j
为观测数据，f()为运动方程，h()为观测方程，则局部ba优化，即同时优化相机位姿和观测数据，使用最小二乘描述则为：其中r-1k
和q-1k
为信息矩阵，分别为运动传感器噪声分布和观测噪声分布的协方差矩阵的逆，j(x,y)为目标函数，上标t代表转置运算；e
u,k
和e
z,j,k
分别代表位移误差和观测误差，其计算如下：其中e
u,k
代表位移误差，e
z,j,k
代表观测误差。7.根据权利要求1-3中任一项所述的一种自主泊车中轨迹地图融合的方法，其特征在于，其中，所述位姿图优化即固定观测数据，只对相机位姿进行非线性优化，目标函数为：其中为信息矩阵，ε为所有存在共视关系的关键帧相连形成边的集合，e
i，j
为相机位姿的残差，其定义如下：
其中t
i
代表第i帧位姿，t
j
代表第j帧位姿,t
i,j
代表第j帧到第i帧的位姿变换，函数y＝ln(t)
ν
代表李到李代数的变换关系。

技术总结

一种基于云端共享和地图融合的自主泊车系统和方法，整体采用以循迹为基础的自主泊车，只进行局部路径规划，解决了目前全局路径规划方法对算力要求高、实时性较差的问题；在云端进行轨迹地图共享、轨迹地图选择、轨迹地图融合，从而无需自己建立地图，只需要根据GPS坐标、场景语义信息、轨迹标签分类等选择后进行轨迹地图的复用，优化了循迹的路线；建立了云端—车端—用户终端的协同通信机制，利用云端保存、处理和复用地图，降低了车端硬件对储存性能的要求，同时车端与用户终端的实时通信，保障了自主泊车的实时性和可靠性。所述泊车方法泊车高效且成功率高。车方法泊车高效且成功率高。车方法泊车高效且成功率高。