11增刊* 收稿日期：2019－09－30
作者简介：张鹏程（1975－），男，河南光山县人，博士，高级工程师，主要从事地下管线、地理信息系统开发工作。基金项目：智慧广州时空信息云平台建设项目（广州市工信委项目编号：GZIT2016-A5-147）。 1 引 言
2016年-2018年，广州市开展了全市域7434平
方公里的地下管线普查，建立了涵盖十大类、近9万公里的地下综合管线数据库，同全国其他城市一样，广州市基于oracle 、ArcGIS 等系列产品，面向城市规划部门、城建档案机构、建设部门、市政部门、管理部门、行业管理单位、权属管理单位、建设单位等部门的各级用户，开发了涵盖内外业一体化系统、监理入库更新系统、综合管理与应用系统、管线三维管理系统、辅助规划设计与审查系统、数据共享与交换系统、管线开挖会签系统、管线档案管理系统和实时监测预警系统等在内的城市地下管线综合管理信息系统，在城市规划、建设和管理中发挥了重要作用。 近年来，随着云计算、物联网、大数据等IT 技
术的快速发展
［1］
，GIS 行业也在面临一场技术革命；世界著名的GIS 公司Esri 在2016年发布了
ArcGIS10.4版本，带来了矢量切片、动态渲染等新技术，2017年发布了ArcGIS10.5版本，开始支持大数
据
［2］
，但ArcGIS 平台在执行大数据分析时，首先需要先将数据读取到spark 内存计算环境中，再执行分布式计算，而I/O 操作时间是分析时间的上千倍，此外，分析结果也要再发布成要素服务，通过其已有的服务端产品发布到前端来呈现，存在大数据量展示与快速分析的瓶颈问题。 作为重要的城市基础设施数据，地下管线数据
具有典型的时空大数据特征
［3］
，
电脑绣花制版随着城市地下普查/修测、日常竣工验收以及专业管线数据汇交等动态更新机制的建立，城市地下管线的数据量快速增长，
基于传统关系型数据库如oracle 上存储的地下管线数据库和基于传统GIS 软件架构如ArcGIS 上开发的城市地下管线综合管理系统，面临着海量地下管线数据在入库、渲染、查询、统计、分析等方面的速度、效率等瓶颈问题，制约着管线数据在城市规划、建设、管理中的应用。因此，基于非关系型数据库和分布式计算平台，重构城市地下综合管线信息系统尤为重要。
2 系统管线数据及运行环境
2.1 系统数据情况
广州市地下管线普查按照《广州市地下管线探测技术规程》（2015年）等相关标准和规范要求，建立了地下综合管线数据库，数据库中管线点属性包括唯一识别码、图上点号、管线类型、管线分级、管线点代码、特征点、附属物、X 坐标、Y 坐标、地面高程、最高管顶高程、最低管底高程、入库时间、更新时间等36个属性；管线段包括唯一识别码、管线编号、起点号、终点号、管线类型、子类型、分级、代码、材料、起点管顶高程、终点管顶高程、起点管底高程、终点管底高程、管径、断面尺寸、起点埋深、终点埋深、更新时间等38个属性。
管线数据库涵盖电力、给水、燃气、通信、排水、工业、石油、垃圾真空、综合管沟等共十大类地下管线，总长度近9万公里，部分区域如越秀区的管线密度达到104.8km/km 2；
其中，燃气、电力、排水、给水、通信等几类管线后台数据库中的管线点记录数、管线段记录数以及管线实际长度如表1所示。
Urban Geotechnical Investigation & Surveying
2019年11月增刊
城 市 勘 测
Nov.2019 Sup.广州市地下综合管线高性能系统关键技术及应用
张鹏程*，丘广新，吴瑞龙，王会
（广州市城市规划勘测设计研究院，广州 510060）
摘 要：基于客户端的实时快速渲染、Geomesa的时空索引降维以及Geowave的并行空间计算等技术，开发了广州市地下综合管线高性能系统，实现了海量地下管线空间数据处理快、浏览快、渲染快
、查询快、统计快、分析快等，并分别应用于广州市地下管线的对外供图、开挖会签和综合规划等服务中，经济和社会效益显著。关键词：地下管线；高性能；Geomesa；Geowave；广州市
女厕老式沟槽式厕所
文章编号：1672-8262（2019）S1-0011-05 中图分类号：P208
文献标识码：A
城 市 勘 测2019年11月12
2.2 系统运行环境
系统运行环境主要采用了如下软件：1）Hadoop：是一个分布式文件系统（HDFS）的基础架构［4，5］，该架构允许用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集的威力进行高速运算和存储，并且设计用来部署在低廉的（low-cost）硬件上，而且其提供高吞吐量来访问应用程序的数据，非常适合有着超大数据集（large data set）的应用程序。2）HBase：是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC服务器上搭建起大规模结构化的存储集，HBase不同于一般的关系数据库，是一个适合于非结构化数据存储的数据库，此外，HBase基于列的而不是基于行的模式来存贮数据。3）Geomesa：由locationtech开源的一套地理大数据处理工具套件，可在分布式计算系统上进行大规模的地理空间查询和分析，其支持将海
量的时空数据存储到Accumulo，HBase等非关系型数据库中［6，7］，并提供高效的索引来读取、查询这些数据，此外，支持通过指定空间条件（距离和范围）来快速查询。4）Geowave：是一套类库，其利用分布式键值存储的可伸缩性，从而有效的存储、检索和分析大量的地理数据集，Geowave的三个主要关键技术是索引、适配器、键值存储。5）
GeoServer：是OpenGIS Web服务器规范的J2EE实现，利用GeoServer可以方便地发布地图数据，允许用户对特征数据进行更新、删除、插入操作，兼容WMS 和WFS特性，支持Postgresql、Shapefile、ArcSDE、Oracle、VPF、MySQL、MapInfo等，通过GeoServer 可以比较容易地在用户之间迅速共享空间地理信息。6）ZooKeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件，为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等，ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
系统主要软件的名称、版本以及在地下管线高性能系统中的作用如表2所示。
系统支持分布式部署，对硬件的配置要求并不高，本系统的硬件环境如表3所示。
3 系统功能特及关键技术
广州市地下管线高性能系统由于采用Hadoop、HBase、Geomesa、Geowave等开源软件进行开发，除兼容原广州市地下管线综合管理信息系统的所有
系统管线数据情况 表1
序号管线类别管线点记录数管线段记录数长度（m）
1燃气2678442742524979693
2电力4009573829087378967
3排水1170592116708919465761
4通信1826926181755442524808
5给水73062675363413249165
合计4396945439543787598394
系统主要软件环境 表2主要软件版本作用主要软件版本作用
操作系统
CentOS7.0提供分布式环境基础操作系统HBase 1.3分布式存储数据库，提供地下管线空间数据的高可靠性、高性能、可伸缩的分布式存储
Java 1.8提供Java开发环境，运行环境支撑Geomesa 2.0分布式时空数据存储引擎，提供高效空间
数据索引，空间数据查询和分析工具
Hadoop 2.7分布式存储架构，提供管线大数据的分布式
存储方案Geowave 2.11提供管线空间数据存储、高效索引和并行计算功能
Zookee
per 3.4分布式应用环境协调服务组件，提供分布式
环境下的管线数据一致性解决方案GeoServer 2.11地下管线地图服务器，提供标准OGC空间数据服务发布功能
系统主要硬件环境 表3
主要硬件型号数量总数CPU Intel（R） Xeon（R） Gold 6140 CPU @ 2.30GHz物理CPU2个，每个C
PU核数18个36核
内存32GB6192G
硬盘800GB SSD SATA 2 1.8T
硬盘22TB NLSAS48TB
13
增刊功能之外，具有数据处理快、浏览和渲染快、空间和属性查询快、统计和分析快、系统部署快等特。3.1 系统功能特
1）数据处理快
高性能系统兼容现有广州市地下管线综合管理信息系统和数据库中的管线数据，可以实现基于GeoDataBase 和Oralce 数据库中现有管线数据的导入：在数据类型上，支持管线点、管线段、管线面、管
线注记等矢量数据的快速出入库（导入导出）；数据格式上，除了ArcGIS GeoDataBase 之外，还支持shp 、ArcGIS pdb 、CSV 等多种格式的普查、修测或竣工验收数据的入库；数据数量上，支持十万级、百万级、千万级、亿级矢量数据的快速入库，如百万级记录数的管线数据在2分钟级以内可以写入到分布式数据库hbase 中。
2）浏览和渲染快
高性能系统支持管线点、管线线、管线面、管线注记等矢量数据的快速浏览，在矢量切片技术未广泛利用的时候，为解决地图在浏览器中的加载效率，一般采用服务器端的图像切片技术，但图像瓦片虽然提高了一部分加载效率，但是对服务器端增加了大量的冗余存储空间，同时对网络传输造成了极大负担，这
点在高并发的情况下显得尤为重要，本系统基于矢量切片技术解决了这些问题，支持前端的实时配图，实现了在客户端的实时渲染，用户可以随时修改某个图层类管线的显示样式。
3）空间和属性查询快
高性能系统在属性上分别支持按管线点（如管线类型、管线分级、管线点代码、特征点、附属物等）、管线段（如管线类型、子类型、分级、代码、材料等）的属性进行查询；空间上支持用户按圆形、矩形、多边形、当前地图窗口等任意空间范围进行查询，图1为拉框画矩形选择全广州的地下管线，近千万级的数据库记录，秒级返回查询结果并实时显示。
4）统计和分析快
高性能系统支持对地下管线进行快速的统计与分析，如将行政区划图层（如市、区、镇/街道、社区/居委等不同维度）与管线图层进行叠加分析；再如，支持导入外部范围（如导入外部的红线，包括shp 、dxf 、带坐标范围的txt 等格式文件等）与管线图层进行叠加分析。图2为选择广州市的一个行政区（白云区），统计该区内的地下管线，近百万级的数据库记录，毫秒级返回查询结果并实时显示；图3为对排水管线按特征点进行统计，系统分别给出边点、变径点、出
图1 矩形查询全广州管线
mp3手表
图2 按行政区查询管线（白云区）图3
按管线特征点进行统计
张鹏程等.广州市地下综合管线高性能系统关键技术及应用
城 市 勘 测2019年11月14
水口等特征点的数量。
5）系统部署快
系统基于开源的应用容器引擎Docker，支持在任何流行的Linux或Windows机器上的快速部署。
3.2 系统相关技术
系统基于Geomesa、Geowave等开源技术自主研发地下管线时空大数据引擎，用于管理海量管线时空大数据，解决了传统地下管线空间信息平台或系统无法支撑海量管线时空数据的低延迟存取、高并发访问和实时渲染、处理分析等关键性问题。
1）基于客户端的实时渲染技术
传统地下管线综合管理系统在浏览器端进行管线数据浏览时，往往需要通过切片技术达到快速浏览的目的，但是切片数据本身存在很多问题，包括占用大量的存储空间，当进行服务迁移时，迁移原始切
片数据耗时非常长，切片数据制作费时费力，无法做到实时更新，更无法支持随需定制的个性化管线地图，系统通过分布式存储模式、并行计算技术，实现海量空间数据无须缓存切片即可实现动态渲染、秒级显示，大大减轻切片管线数据在维护、发布、管理的工作量，摒弃海量管线数据的切片环节。
2）Geomesa的时空索引降维技术
泄漏率
系统将Geomesa开源套件部署在Hadoop集中，在HBase之上构建时空索引并对地下管线数据进行存储，构建地下管线大数据引擎的分布式存储系统，通过geohash（地理哈希表结构）编码对多维度的管线时空数据进行降维存储，得到一维数据作为关键字使用，方便在键值对的数据库中进行查询，从本质上减少数据在存储空间检索中磁盘寻道次数，实现了海量管线数据的低延迟存取、高并发访问。3）Geowave的并行空间计算技术
系统将Geowave开源套件部署于MapReduce（同时支持Spark计算框架）框架之上，通过提供Map-Reduce的输入和输出格式用于分布式的处理和分析地下管线数据，最大限度地减少管线数据的输入和输出请求，从而解决传统管线空间信息平台无法支撑海量数据的实时处理与分析的关键性问题。
4 系统相关应用
4.1 应用于地下管线的对外供图服务
随着国务院办公厅印发《关于开展工程建设项目审批制度改革试点的通知》（国办发〔2018〕33号）和《关于全面开展工程建设项目审批制度改革的实施意见》（国办发〔2019〕11号），地下管线作为工程建设项目的重要内容之一，面向政府和社会投资类项目，提供快速、高效的管线查询、管线统计、管线分析等便民服务，是城市地下管线综合管理系统的重要职责之一，而本系统满足了广州市每天数十宗甚至上百宗的管线查询、统计、分析及供图服务，促进了工程建设项目的行政审批改革、优化了营商环境。
4.2 应用于地下管线开挖会签服务
广州市地下管线开挖及会签管理系统服务于全市约100家管线行业主管部门、管线权属单位、管线建设单位，基于工程建设项目的开挖范围，在地下管线数据库中统计并分析现状管线数据，并自动生成开挖分析报告是用户需要频繁使用的一项重要功能，基于本系统的高性能快速统计与分析功能，用户能高效、快速地生成开挖分析报告，极大地便利了系统中各管线权属单位、建设单位等用户，为统筹管线开挖会签计划、有效减少挖断管线事故的发生发挥了重要作用。
4.3 应用于地下管线综合规划服务
编制地下管线综合或专项规划，市政规划部门分别提出了横向上按行政区（依次为区、镇/街道、社区/居委等）、纵向上按管线埋深（如小于0m、0～3m、3～5m、5～10m、大于10m等）、属性上按
专业需求（如给水管线按照管径小于600mm、600～800mm、大于800mm等）对广州市地下综合管线数据库中的数据进行快速提取，依托该系统的高性能服务接口，快速实现了上述数据的提取与分发。5 结 语
本文通过对广州市地下管线高性能系统的开发背景、数据情况、运行环境、功能特、关键技术以及相关应用介绍，得出如下主要结论：1）同传统的地下综合管线信息系统相比，高性能地下管线系统具有数据处理快、查询快、渲染快、统计快、分析快等特点，百万级、千万级的管线数据查询、统计、分析等秒级实现，较好地解决了管线数据应用的效率和速度等瓶颈问题。2）高性能地下管线系统采用了Hadoop、HBase、Geomesa、Geowave、GeoServer、ZooKeeper等免费的开源套件，系统成本相对低廉，宜于推广，且与现有的管线信息系统兼容。3）针对传统管线信息系统关系型空间数据库的集中式存储严重依赖单机性能，限制了存储能力的可扩展性，且无法支撑海量管线数据的低延迟存取、高并发访问
15
增刊Key Technology and Application of High Performance System for
Guangzhou
Underground Integrated Pipelines
Zhang Pengcheng ，Qiu Guangxin ，Wu Ruilong ，Wang Hui
（Guangzhou Urban Planning ＆ Design Survey Ｒesearch Institute ，Guangzhou 510060，China ）
Abstract ：Based on real-time and fast rendering of client ，Geomesa's space-time index dimension reduction and Geowave's
parallel space calculation technology ，a high-performance underground pipeline system in Guangzhou is developed ，which realizes the fast processing ，browsing ，rendering ，querying ，statistics and analysis of massive underground pipelines ，and is applied
separately. The economic and social benefits are remarkable in the services of external supply map ，underground pipeline excavation
meeting and underground pipeline comprehensive planning in Guangzhou.
Key words ：Underground pipeline ；High performance system ；Geomesa ；Geowave ；GuangZhou
等难题，系统采用Hadoop 、Hbase 分布式数据存储以及基于Geomesa 的时空索引降维技术，实现了管线数据高效存储和访问。4）针对传统管线信息系统计算模式采用串行分析算法无法满足海量管线数据的实时处理与分析需求，不能充分发挥当前新型并行计算模型/框架的优势，系统采用Geowave 的并行空间计算技术，实现了千万级管线空间数据的秒级空间分析。
参考文献
［1］ 李少华，李闻昊，蔡文文.云GIS 技术与实践［M ］.北京：科学出版
社，2017：8.
［2］ Esri 中国信息技术有限公司.ArcGIS 10.5产品白皮书［R ］.2017年.［3］ 张鹏程，丘广新，林鸿等.智慧管线-城市地下综合管线信息管理
系统［M ］.北京：电子工业出版社，2018：2.
［4］ 袁昌权，胡益，许光，俞理超.基于Hadoop 的高可用数据采集与
存储方案［J/OL ］.电子技术与软件工程，2019（18）：169-170.
［5］ 徐红霞，李晓静.电子商务环境下基于Hadoop 的云计算数据安全
性分析［J ］.科技通报，2019，35（05）：85-89.
［6］ 李聪仁.基于geomesa 的GDELT 事件数据的存储与检索方法研
究［J］.电脑知识与技术，2019，15（06）：6-8.
［7］ 邱程.基于分布式存储的地理时空大数据管理系统研究［D ］.江汉
大学，2019.
彩铅芯>制作简单机械
张鹏程等.广州市地下综合管线高性能系统关键技术及应用
