一种基于街景影像的杆状地物多分类提取方法

阅读：评论：0

1.本发明属于数据处理的技术领域，尤其涉及一种基于街景影像的杆状地物多分类提取方法。

背景技术：

2.准确、快速获取杆状地物的类别信息和空间信息，在智慧城市建设和车辆自动导航中具有较大的应用价值。在国务院发布的《关于促进地理信息产业发展的意见》明确为基础地理信息数据库建设做出指导，要求相关部门要全面提高地理数据获取与信息处理能力。一方面，现有的城市基础设施管理条例缺少明确的杆状地物分类标准。另一方面，受点云质量、手工特征和海量样本需求等条件的限制，现有的基于点云数据的杆状地物提取方法存在相似地物难以区分、复杂场景泛化性不强、自动化程度不高和难以推广使用的问题。因此，寻求一种分类清晰、普适性强的方法是一项具有复杂性与挑战性的任务。
3.车载移动采集系统是当前城市数字化建设的前沿技术，在车辆行驶过程中快速获取道路两侧地物详尽的三维空间信息。依据采集的数据类型，车载移动采集系统可分为：车载lidar测量系统和车载街景采集系统。车载lidar测量系统获取的地物点云包含空间三维坐标、gnss时间及单点回波强度等信息。单点信息不能为杆状地物分类与提取提供有效的支持，需要依靠邻近点共同反映该地物的隐含特征，因此需要对点云进行大量的聚类分析。车载街景采集系统获取的街景数据包含双目影像、位置信息和姿态信息。光学影像包含更多真实场景的语义信息和空间信息，为杆状地物分类与自动提取提供了较为充足的数据支持。
4.现有的杆状地物分类与提取技术方案，主要以lidar点云数据作为研究对象，分为以下几种方式：
5.(1)基于地物空间特征的分类方法。该方法依据典型杆状地物的不同空间几何特征，如高程、杆部的圆弧特征、最小包围盒体积等实现地物的分类。该方法能较好实现路灯、行道树等杆状地物的提取与分类，但需要设置较多阈值，自动化程度较低，难以推广应用；
6.(2)基于模板匹配的分类方法。该方法通过获取目标地物的空间特征，预先构建目标样本，然后在三维场景中匹配目标地物点云从而实现杆状地物的分类提取。该方法目标性强，能够精确提取出目标地物，但需要构建目标地物的先验模板，对于模板集中不存在的地物，无法对其提取；
7.(3)基于机器学习的分类方法。该方法使用训练分类器进行分类，常用的分类器有随机森林、决策树和svm等。随机森林在噪音较大的分类或回归问题上会出现过拟合现象。当类别很多、噪音较大的时候，决策树分类错误可能出现甚至很多。svm算法性能主要取决于核函数的选取，目前较成熟的核函数及其参数选择都是根据经验来选取，有一定的随意性，而且svm算法对大规模训练样本难以实施；
8.(4)基于点云体元化的分类方法。该方法通过点云数据进行体元构建，根据体元之间的上下文关系与体元内点云特征对杆状地物进行提取与分类。该方法有效利用了杆状地
物的空间特性，但体元大小的选取直接影响到杆状地物的提取精度；
9.(5)基于多重投票方式的改进bagging分类模型。该模型以道路场景中典型杆状地物的特征值为基础，使用不同的机器学习算法对杆状地物进行分类，出分类效果相对较好且具有互补信息的决策树分类算法、支持向量机、k近邻算法，作为基分类器进行集成学习和分类；然后在小样本数据集的基础上，对点云中的杆状地物进行分类。但该方法对点云的完整性要求较高，在分类过程中由于点云部分数据缺失导致路灯被误分为线杆；与部分单分类器相比，分类效率有所降低；
10.(6)构建神经网络分类模型。该方法通过提取杆状地物的多个特征值并构建特征向量，使用bp神经网络建立分类模型，实现了对杆状地物快速准确的分类。但该方法对样本集的依赖性较高，样本集中地物种类、数量不足会导致柱状红绿灯和线杆特征相近的地物容易出现误分类。
11.现有基于lidar点云技术的缺点：
12.(1)对点云的完整性要求较高，在分类过程中由于点云部分数据缺失导致杆状地物的误分类；
13.(2)由于城市道路场景存在极大的空间异质性，手工构建的杆状地物先验特征模板难以应对复杂的场景变化。并且，对于模板库中不存在的地物，无法对其提取；
14.(3)大规模训练样本的需求和自动化程度不高，导致方法难以推广使用。
15.基于街景数据研究的优势：
16.1)相比于车载lidar系统所获取的点云数据，车载街景移动采集系统所获取的街景影像能够包含更多真实场景的语义信息和空间信息，为杆状地物的自动提取与分类提供了充足的数据支持；
17.2)相较于传统算法手工设计特征在复杂场景下的效果不佳，深度学习算法能够很好地发现隐藏在高维图像空间中的复杂结构和判别信息，具有较强的场景泛化能力，并具备较为理想的应用前景；
18.3)针对深度学习算法存在的大样本需求问题，迁移学习方法从目标任务相似性出发，充分利用历史源域数据在计算能力强的设备上训练好的模型信息，解决了目标任务数据稀缺、领域分布异构的问题，能够满足实际应用中杆状地物多分类提取的个性化需求。

技术实现要素：

19.针对以上研究存在的不足，本发明所要解决的问题在于提供一种基于街景影像的杆状地物多分类提取方法，针对杆状地物分类模糊的问题，本文发明构建了一个规范的分类体系，针对开源数据集缺乏的问题，构建了一个场景丰富类别多样的样本库，针对杆状地物语义分割结果中的存在的分割不足、误提取和不连续的问题，构建了一个lpnet分类提取模型。
20.为了解决上述技术问题，本发明通过以下技术方案来实现：
21.本发明提供的基于街景影像的杆状地物多分类提取方法，包括以下步骤：
22.s1：构建分类体系。以沈阳市为例，依据各类杆状地物具备的功能和所属特征，对其类别进行定义；
23.s2：构建样本库。依照步骤s1构建的分类体系，制作多类别杆状地物样本集；
24.s3：构建分类模型lpnet。依据各类杆状地物的结构特点和影像空间分布情况，进行相关功能模块的设计；
25.s4：利用迁移学习完成模型训练和杆状地物分类；
26.s5：完善杆状地物提取结果。
27.进一步的，所述步骤s1的具体步骤如下：
28.步骤s1.1：路灯杆(较为均匀的分布在道路两侧，用于交通照明)；
29.步骤s1.2：电力杆(居民区以簇状分布为主，沿街区域以均匀分布为主，生产生活用电)；
30.步骤s1.3：交通电杆(较为均匀的沿轻轨分布，轻轨专用)；
31.步骤s1.4：交通信号杆(绝大多数分布在岔路口，用于指挥交通)；
32.步骤s1.5：监控杆(交管系统，无明显分布规律)；
33.步骤s1.6：指路牌杆(杆较高，牌子较大，位置整体偏影像上半部分，以方形为主，用于街道提示)；
34.步骤s1.7：指示牌杆(杆较小，牌子较小，位置整体偏影像下半部分，用于警示行人和车辆)；
35.步骤s1.8：通讯杆(通讯，用于移动网络通信)；
36.步骤s1.9：限高杆(主要分布在特殊路段的入口和出口，呈黑黄相间的门洞型结构)。
37.进一步的，所述步骤s2的具体步骤如下：
38.步骤s2.1：从98000张双目左侧像中挑选出3408张具有代表性的影像；
39.步骤s2.2：利用labelme样本标注工具，依照步骤s1构建的杆状地物分类体系进行样本标注；
40.步骤s2.3：针对目标被遮挡的标注抉择；
41.步骤s2.3.1：若杆体中部被遮挡部分小于整体的三分之一，则视为无遮挡，按照人的先验知识进行预估标注；
42.步骤s2.3.2：若杆状地物被遮挡部分超过三分之二，且杆体类别特征不完整，则不予标注；
43.步骤s2.3.3：其他情况下，只标注能看到的部分。
44.进一步的，所述步骤s3的具体步骤如下：
45.步骤s3.1：针对杆状地物的语义分割结果中存在分割不足的情况，提出具有多级感受野的multi-scale phased controller(mpc)模块，用以减少间距较近的杆状地物之间分割不足的问题；
46.步骤s3.2：依据各类杆状地物独有的结构特征，加入deformable-convolution(def-conv)模块，使模型具备自适应杆体结构的能力，增强显著视图特征，用以解决杆状地物的误提取问题，实现各类杆状地物的精确分类；
47.步骤s3.3：根据杆状地物细长的上下文拓扑关联关系，构建lightweight spatial context(lsc)模块，充分利用目标空间拓扑信息及其高级全局特征，用于解决由遮挡造成的杆状地物不连续的问题。
48.进一步的，所述步骤s4的具体步骤如下：
49.步骤s4.1：调整模型参数，设置学习率为0.0001，迭代次数1000次。在源域数据集cityscapes上训练lpnet，获取城市场景中各种地物的先验知识；
50.步骤s4.2：调整模型参数，设置学习率为0.002，迭代次数200次。将s4.1得到的权重文件作为预训练文件，在步骤s2构建的样本库中进行迁移训练；
51.步骤s4.3：选取步骤s4.2训练的最优模型权重，输入街景影像进行杆状地物分类提取。
52.进一步的，所述步骤s5的具体步骤如下：
53.步骤s5.1：“兴趣点”生成；
54.步骤s5.2：“角度”约束。
55.进一步的，所述步骤s5.1的具体步骤如下：
56.步骤s5.1.1：将一张街景影像横向三等分，所分割的区域由上至下依次记作区域a、b和c；
57.步骤s5.1.2：区域a用于约束高度较高且下半部分被遮挡的杆状地物，包括：电力杆和通讯杆；
58.步骤s5.1.3：区域b用于约束中等高度的杆状地物，包括：路灯杆、交通电杆、交通信号杆、监控杆、指路牌杆和限高杆；
59.步骤s5.1.4：区域c用于约束高度较低的杆状地物，包括：指示牌杆；
60.步骤s5.1.5：将区域a、b和c分别再次三等分，三等分线由上至下依次记作l
a1
、l
a2
、l
b1
、l
b2
、l
c1
和l
c2
；
61.步骤s5.1.6：以l
a1
和l
a2
为例。分别利用l
a1
和l
a2
寻步骤s4.3分类结果中区域a中响应值最高的点，作为兴趣点。
62.进一步的，所述步骤s5.2的具体步骤如下：
63.步骤s5.2.1：利用步骤s5.1.6中l
a1
得到的兴趣点，与步骤s5.1.6中l
a2
得到的兴趣点做线段，接着计算线段与竖直方向的夹角。若小于20
°
，则输出该类杆状地物的类别信息和空间信息；
64.步骤s5.2.2：同理，在区域b和c中，重复操作步骤s5.1.6和步骤s5.2.1，直至查无兴趣点。
65.由上，本发明具有以下有益效果：
66.1)构建了一个相对全面的杆状地物分类体系，为现有的杆状地物研究提供一个分类标准；
67.2)构建了一个场景丰富分类细化的杆状地物样本库，为现有的杆状地物研究提供一个测试基准；
68.3)构建了一个面向杆状地物的分类提取模型lpnet。为杆状地物的研究提供一个可参照的技术路线；
69.4)能够准确快速获取杆状地物的类别信息和空间信息，在智慧城市建设和车辆自动导航中具有较大的应用价值。
70.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的目的、特征和优点能够更明显易懂，以下结合优选实例，并配合附图，详细说明如下。
附图说明
71.为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
72.图1为本发明一种基于街景影像的杆状地物多分类提取方法的流程图；
73.图2为本发明构建的杆状地物分类体系示意图；
74.图3为本发明采用labelme标注杆状地物的标注示例图；
75.图4为本发明构建的杆状地物分类模型lpnet结构图；
76.图5为本发明输入的原始影像；
77.图6为本发明lpnet模型输出的分类结果图；
78.图7为本发明完善杆状地物提取结果的等分线示意图；
79.图8为本发明利用兴趣点约束处理后的可视化结果图。
具体实施方式：
80.按图1所示步骤，对本发明一种基于街景影像的杆状地物多分类提取方法进行详细说明。
81.步骤1：构建分类体系，以沈阳市为例，依据各类杆状地物具备的功能和所属特征，对其类别进行定义(如图2所示)；
82.步骤2：构建样本库，依照步骤1构建的分类体系，制作多类别杆状地物样本集，样本标注标准如下：
83.步骤s2.1：从98000张双目左侧像中挑选出3408张具有代表性的影像；
84.步骤s2.2：利用labelme样本标注工具，依照步骤s1构建的杆状地物分类体系进行样本标注；
85.步骤s2.3：针对目标被遮挡的标注抉择；
86.步骤s2.3.1：若杆体中部被遮挡部分小于整体的三分之一，则视为无遮挡，按照人的先验知识进行预估标注；
87.步骤s2.3.2：若杆状地物被遮挡部分超过三分之二，且杆体类别特征不完整，则不予标注；
88.步骤s2.3.3：其他情况下，只标注能看到的部分。
89.步骤3：构建分类模型lpnet(如图4所示)；
90.步骤3.1：本发明提出的lpnet模型整体上是较为对称的encoder-decoder结构，四个跳跃连接将编码阶段的特征图连接到解码阶段，用于补充编码器下采样过程中的杆状地物边界信息丢失。为了应对杆状地物的语义分割结果中存在分割不足的情况，本发明在编码部分加入了具有多级感受野的multi-scale phased controller(mpc)模块，用以缓解间距较近的杆状地物之间分割不足的问题；
91.步骤3.2：依据各类杆状地物独有的结构特征，本发明在编码器的stage3部分加入了可变形卷积def-conv模块，使模型具备自适应杆体结构的能力，增强显著视图特征，用以解决杆状地物的误提取问题，实现各类杆状地物的精确分类；
92.步骤3.3：依据杆状地物细长的上下文拓扑关联关系，在stage4之后的位置构建了lightweight spatial context(lsc)模块，充分利用目标空间拓扑信息及其高级全局特
征，用于解决由遮挡造成的杆状地物不连续的问题。最后，解码器部分decoder采用反卷积将特征图上采样到与输入图相同的尺寸，并进行最终的杆状地物分类预测；
93.步骤4：利用迁移学习完成模型训练和杆状地物分类；
94.步骤4.1：调整模型参数，设置学习率为0.0001，迭代次数1000次。在源域数据集cityscapes上训练lpnet，获取城市场景中各种地物的先验知识；
95.步骤4.2：调整模型参数，设置学习率为0.002，迭代次数200次。将4.1得到的权重文件作为预训练权重，在步骤2构建的样本库中进行迁移训练；
96.步骤4.3：选取步骤4.2训练的最优模型权重，输入街景影像进行杆状地物分类提取(如图5和图6所示)；
97.步骤5：完善杆状地物提取结果(如图7和图8所示)；
98.步骤5.1：“兴趣点”生成；
99.步骤5.1.1：将一张街景影像横向三等分，所分割的区域由上至下依次记作区域a、b和c；
100.步骤5.1.2：区域a用于约束高度较高且下半部分被遮挡的杆状地物，包括：电力杆和通讯杆，等；
101.步骤5.1.3：区域b用于约束中等高度的杆状地物，包括：路灯杆、交通电杆、交通信号杆、监控杆、指路牌杆和限高杆，等；
102.步骤5.1.4：区域c用于约束高度较低的杆状地物，包括：指示牌杆，等；
103.步骤5.1.5：将区域a、b和c分别再次三等分，三等分线由上至下依次记作l
a1
、l
a2
、l
b1
、l
b2
、l
c1
和l
c2
；
104.步骤5.1.6：以l
a1
和l
a2
为例。分别利用l
a1
和l
a2
寻步骤4.3分类结果中区域a中响应值最高的点，作为兴趣点；
105.步骤5.2：“角度”约束；
106.步骤5.2.1：利用步骤5.1.6中l
a1
得到的兴趣点，与步骤5.1.6中l
a2
得到的兴趣点做线段，接着计算线段与竖直方向的夹角。若小于20
°
，则输出该类杆状地物的类别信息和空间信息；
107.步骤5.2.2：同理，在区域b和c中，重复操作步骤5.1.6和步骤5.2.1，直至查无兴趣点。

技术特征：

conv)模块，使模型具备自适应杆体结构的能力，增强显著视图特征，用以解决杆状地物的误提取问题，实现各类杆状地物的精确分类；步骤s3.3：根据杆状地物细长的上下文拓扑关联关系，构建lightweight spatial context(lsc)模块，充分利用目标空间拓扑信息及其高级全局特征，用于解决由遮挡造成的杆状地物不连续的问题。5.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法，其特征在于，所述步骤s4包括以下步骤：步骤s4.1：调整模型参数，设置学习率为0.0001，迭代次数1000次，在源域数据集cityscapes上训练lpnet，获取城市场景中各种地物的先验知识；步骤s4.2：调整模型参数，设置学习率为0.002，迭代次数200次，将s4.1得到的权重文件作为预训练文件，在步骤s2构建的样本库中进行迁移训练；步骤s4.3：选取步骤s4.2训练的最优模型权重，输入街景影像进行杆状地物分类提取。6.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法，其特征在于，所述步骤s5包括以下步骤：步骤s5.1：“兴趣点”生成；步骤s5.1.1：将一张街景影像横向三等分，所分割的区域由上至下依次记作区域a、b和c；步骤s5.1.2：区域a用于约束高度较高且下半部分被遮挡的杆状地物，包括：电力杆和通讯杆；步骤s5.1.3：区域b用于约束中等高度的杆状地物，包括：路灯杆、交通电杆、交通信号杆、监控杆、指路牌杆和限高杆；步骤s5.1.4：区域c用于约束高度较低的杆状地物，包括：指示牌杆；步骤s5.1.5：将区域a、b和c分别再次三等分，三等分线由上至下依次记作l
a1
、l
a2
、l
b1
、l
b2
、l
c1
和l
c2
；步骤s5.1.6：以l
a1
和l
a2
为例，分别利用l
a1
和l
a2
寻步骤s4.3分类结果中区域a中响应值最高的点，作为兴趣点；步骤s5.2：“角度”约束；步骤s5.2.1：利用步骤s5.1.6中l
a1
得到的兴趣点，与步骤s5.1.6中l
a2
得到的兴趣点做线段，接着计算线段与竖直方向的夹角；若小于20
°
，则输出该类杆状地物的类别信息和空间信息；步骤s5.2.2：同理，在区域b和c中，重复操作步骤s5.1.6和步骤s5.2.1，直至查无兴趣点。

技术总结

本发明公开了一种基于街景影像的杆状地物多分类提取方法，步骤为：构建分类体系；构建样本库；构建分类模型LPNet；利用迁移学习完成模型训练和杆状地物分类；完善杆状地物提取结果。本发明依据杆状地物在街景影像中呈现出的特征，针对杆状地物分割不足、误提取和不连续的问题，分别加入具有多级感受野的Multi-scale Phased Controller(MPC)模块、具有自适应分类能力的Deformable-Convolution(Def-Conv)模块和具有拓扑重建能力的Lightweightspatial context(LSC)模块，能够准确快速获取杆状地物的类别信息和空间信息，在智慧城市建设和车辆自动导航中具有较大的应用价值。值。值。