一种水务企业大数据业务中台系统研究

阅读: 评论:0

159
数据库技术
Database Technology
电子技术与软件工程
Electronic Technology & Software Engineering
1 研究背景和目的
目前随着大数据和云计算技术的飞速发展,大数据和云计算相结合的技术在各种工作和生活领域中得到广泛的应用。另外,为了积极响应国家对国有企业进行集中数字化管理转型的新要求,为了保证国有系统的安全性和可靠性,后期尽量减少各单位提供大量人力物力进行维护管理操作。近年来,水务系统不断的快速发展,以上海市堤防处系统为例,7年来就新增了10个系统模块,具体新增加的模块信息如图1所示。这样就非常容易造成两个问题:一方面由于系统模块之间的数据信息各自进行开发和维护,数据不容易联通,不方便后期系统接入和维护,而且各自数据接口也不尽相同。另一方面,数据管理和处理不集中,后期数据的分析工作难度加大,不利于高效的利用已有数据信息的价值,不利于数据信息效益最大化。
结合以上的问题,如何高效的利用数据处理来更好的解决水务
同时规避了它们的缺点。在特征融合部分,本文采用了FPN 特征融合网络。在模型的训练过程中,本文采用Focal Loss 损失函数以进一步提高检测器和效率,而无需增加推理计算。Mixmobilenet-FFSSD 在移动设备中以极低的计算成本实现了非常具有竞争力的准确度。本文希望将来能够同时为ARM 和边缘TPU 模型设备考虑一种高效的对象检测器。参考文献
[1]Ross Girshick. (2015) Fast R-CNN. In Proceedings of the
IEEE International Conference on Computer Vision (ICCV), 2015,pages 1440-1448.
[2]ShaoqingRen, Kaiming He, Ross Girshick, and Jian Sun.
(2015).Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems (NIPS), 2015,pages 91-99.
[3]Jifeng Dai, Yi Li, Kaiming He, and Jian Sun.
(2016). R-FCN:Object detection via region-based fully convolutional networks. In Advances in Neural Information Processing Systems (NIPS),2016, pages 379-387.
[4]Joseph Redmon, SantoshDivvala, Ross Girshick, and Ali
Farhadi. (2016). You only look once: Unified, real-time
一种水务企业大数据业务中台系统研究
韦樑
(上海市信息安全测评认证中心  上海市  200000)
数据信息的高效管理是非常迫切的问题。通过参考目前腾讯,百度和字节等大型互联网公司的数据中台业务解决方案,不难发现,其实在水务数据系统构建中,也可以利用相关思想,通过搭建中间业务中台的方式来集中处理相关数据信息,上层应用系统通过轻松对接中台系统,实现灵活拓展和业务扩展的目的。2 系统架构总体设计
水务企业大数据业务中台系统在考虑到系统需求功能性和后期系统的拓展性、兼容性等问题的同时,系统总体架构主要分为基础用户服务平台层、数据和业务中台层、数据资源层和基础环境层。基础环境层主要负责底层硬件资源处理调度,移动网络收发功能,安全防护模块、数据备份模块,数据存储模块、数据处理核心模块等基础功能模块。数据资源层主要是指数据资源的相关模块,负责对资源数据进行存储访问等数据采集功能,并对元数据进行相关存
object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2016, pages 779-788.
[5]Joseph Redmon, Ali Farhadi. (2017). YOLO9000:
better, faster, stronger. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017,pages 7263-7271.
[6]Joseph Redmon and Ali Farhadi. (2018). YOLOv3: An
incremental improvement. arXiv, preprint arXiv: 1804. 02767.
[7]Wei Liu, DragomirAnguelov, DumitruErhan, Christian
Szegedy, Scott Reed, Cheng-Yang Fu, and Alexander C Berg. (2016). SSD: Single shot multibox detector. In Proceedings of the European Conference on Computer Vision (ECCV), 2016, pages 21-37.
[8]王燕妮,刘祥,刘江.一种改进的单步多框目标检测算法[J].
西安交通大学学报,2020:145-153.
[9]彭亚丽,张鲁,张钰,刘侍刚,郭敏.基于深度反卷积神经网
络的图像超分辨率算法[J].软件学报,2018(04).作者简介
陈彦如(1985-),上海市人。硕士研究生学历,工程师。研究方向为人工智能和云计算。
摘 要:本文提出一种大数据业务中台系统,通过构建中间层的数据中台和业务中台的方式,向上层统一提供开放业务接口功能,从而解决统一发布、统一运维和统一管理的问题。一方面有效解决后期系统数据集中管理和系统集中发布的问题,另一方面还可以利用大数据分析处理的优势满足快速上涨的用户使用量和相关系统的处理能力,同时也可以实现企业数据有序的增长,实现数据价值提升。
关键词:大数据;业务中台系统;水力系统
160
数据库技术
Database Technology
电子技术与软件工程
Electronic Technology & Software Engineering
储处理,并将数据进行备份保存数据。数据和业务中台层主要是分为数据中台和业务中台,数据中台需要负责和底层海量数据资源进行接入操作,平台是基于阿里云进行构建,对于获取的数据信息会进行相关的大数据处理得到相关的数据集供业务层进行调用,业务中台通过调用相关的数据为上层提供具体的开放接口,便于上层直接进行相关业务处理操作。基础用户服务平台层主要是最上层和用户进行直接交互的功能层,主要为用户提供一些可视化的前台操作网站和移动APP 应用,用户可以通过操作这些可视化的应用来获
取相关的信息或者功能。为了保证系统功能可以平稳有效的运行,提高系统的安全性,对目前现有系统功能进行数据处理性能优化,保证系统在打开和交互响应平均低于1.5秒,增加用户的使用体验性。另外,为了保证水务数据及时更新和相关泵闸状态和定位信息及时更新到平台,平台进行数据存储和分析操作,要求数据处理时间应低于5秒,并且同步对数据源应做好安全备份操作。本文中水务系统是以上海市堤防处泵闸为试点,实现数据中台管理更新等一体化操作,用户通过使用相关Web 操作页面进行水务信息查看和管理操作,实现数据管理的精确性和可视化性,提高了数据管理的可靠性及准确性。具体总体设计架构图,如图2所示。3 系统核心平台
项目通过对原始数据进行相关数据计算和处理操作,最终获得的处理数据可以有效的提供给企业上层
进行业务创新和业务拓展。项目中使用的大数据处理环境都是使用的是阿里云提供的数据处理和大数据分析环境,底层元数据采集还是使用水务相关采集设备采
集的原始数据,
为了保障系统和数据安全,
采用私有云进行单独部署。3.1 数据中台
统一数据管理。从上海市堤防泵闸业务管理要求出发,以现有
图2:系统总体设计架构图
图3:数据中台核心模式图
图4:数据库简况图
图5:数据发布示意图
图6:管理页面示意图
图1:系统历年发展图
161
数据库技术
Database Technology
电子技术与软件工程
Electronic Technology & Software Engineering
泵闸数据、地形数据、业务数据等资源为基础,整合BIM 模型、自动化监控等信息,建设泵闸设施基本信息、泵闸巡查养护信息、泵闸维修信息、BIM 模型信息、自动化监控信息及其相应的元数据库,根据静态数据量和增量测算结果,区分不同使用和更新频度,以NAS 结构分别设计在线、近线和离线存储方案,实现数据的统一存储和保护。在数据整合过程中,应明确每个数据库的信息来源、入库汇集流程、信息标准化、入库质量控制,按照元数据技术标准保证数据内容的完整性、规范性和可读性。以可视化的方式对已建的各类数据资源进行统一管理,主要功能包括:基础数据管理:实现各类数据资源的集中存储及统一管理,主要包括数据维护及更新管理、数据库用户及权限管理、数据库日志管理、数据库优化配置管理等。元数据管理:采用资源目录的方式实现基于内容的元数据管理,主要包括元数据输入、查询统计、编辑、数据输出等。数据备份管理:主要实现各类数据的备份和版本管理。依据数据管理需要,制定数据库备份和恢复策略,利用数据库系统提供的备份和恢复工具,对数据库进行备份和恢复。采用版本管理模式,对备份文件进行管理,并建立完善的数据库备份和恢复机制,数据中台核心模式图如图3所示。
如图3所示,数据中台核心模式图由三个部分构成。统一实体管理。通过连接数据和使用数据的目的,对原始数据进行大数据分析处理得到具有实际使用意义的数据,使得数据具有可用性,后续可以提供给上层分析使用,数据会进行大数据分析操作,首先设定相关的数据源,然后对数据进行集成操
作,处理的数据之后会进行相关的数据计算,之后会得到数据服务想外层进行提供。统一服务管理。通过综合使用统一数据和统一实体提供数据进行数据复用,为上层提供统一口径的数据集,这些向上提供的数据也就是经过数据集中分析和处理后的数据集合体。具体数据库和外层的运行关系简图如图4所示。3.2 业务中台
业务中台系统构建保持着大中台,轻前台的设计原则。由于上层的业务是处于不断进行变化的过程,系统底层的原始数据是处于不断扩大的过程,所以业务中台的搭建需要符合满足上层业务不断发展的需求,同时又不必要过度的参与数据处理的工作。业务中台抽离出一些共有的基础服务功能中心。如用户管理中心:统一提供用户注册登录等相关用户管理的操作,水务数据管理中心:负责获取水务相关信息,包括经过数据中心处理后的相关水务数据,数据同时包括采集数据和处理后的分析数据等,进行相关业务处理能力,泵闸数据管理中心:泵闸维护保修相关信息,同时还提供相关后期维修建议和设备使用注意事项等信息,另外,针对前期泵闸设施设备的设计图纸和资料也会进行电子化的存档,供后续及时查阅,解决突发问题。另外,由于水闸泵站自动化监测系统和泵闸设施BIM (建筑信息模型)系统,实现了重要水闸运行信息的监控和部分设施的信息管理,为了打通系统之间相互隔离,解决信息分散无法进行关联和更新操作,上层应用通过业务中台就能轻松解决相关问题。4 实际系统具体实践
由于水务业务系统需要使用数据中心分析处理的应用数据,大数据的分析、统计和发布流程都是通过
统一的数据发布系统进行发布,数据的处理和计算通过脚本进行批处理,测试通过之后,提交到后期的业务出来,数据表处理后生成数据API ,通过数据服务对外发布API 接口,然后API 网关管理外部应用调用处理的权限问题,控制数据统一访问,保证数据安全和权限管理。这里以用户权限管理为例,数据中心通过结合用户信息数据和相关数据权限进行计算处理,然后通过数据服务生成专有的API 供应用进行接入调用处理,数据发布示意图如图5所示。
以前台固定资产智能化管理系统为例,系统通过直接对接业务
中台中的资产管理中心获取相关资产信息的内容,然后在通过结合用户管理中心获取相关的用户信息,用户权限管理中心给出该用户相关的访问权限,最终得到查询的信息进行显示,具体的管理页面如图6所示。业务前台对底层调用变得灵活简洁,通过组合多种业务中心接口内容可以组合满足多种业务需求。
水务数据预警业务中心包括前期大数据分析、计算和统计得出相对应的数据集,具体的大数据处理流程包括,首先建立数据处理流程,在数据处理中增加相对应的数据处理关键目标值,具体的实现可以通过编写相对应的SQL 计算语句,进行数据计算处理操作,得到的具体结果,进行相关的存储操作,之后导出相关的结果数据到数据表中,这可以为企业增加实质性的应用数据,提升企业数据量的同时,还能赋予数据具体对应的价值。5 小结
经过前期充分的调查和对相关关联资料的研究,本文分析了一种水务企业大数据业务中台系统的研究相关研究现状,介绍了系统中总体层级架构设计思路,围绕着企业的实际需求,完成了数据中台和业务中台这两个核心模块的设计,通过数据中台的大数据进行数据分析处理和数据计算工作,促进数据价值提升和业务数据挖掘工作,便于业务中心和数据进行实际对接,满足灵活的前台业务发展需要。最后,通过详细分析系统具体实践部分,结合企业的背景和需求,以及对水务系统的诉求,分析了业务中台实际工作场景现状,最后给出了建设过程中出现实际使用页面一些示意图。
参考文献
[1]毋毅,赵康.基于大数据平台的电网全业务数据分析域研究
[J].电脑知识与技术,2016,12(34):15-17.
[2]王典起,宋丽华,生俊刚等.济南水务大数据中心平台的设计
与实现[J].信息技术与信息化,2020(5):236-239.
[3]黎昊.关于业务系统中应用数据中台技术的研究[J].数字化
用户,2019,25(46):82.
[4]李巍巍.数据中台技术在业务系统中的应用研究[J].现代信
息科技,2019,3(21):108-110.
[5]饶毅.一种基于企业大数据应用的集中性能管理平台[J].信
息通信,2019(2):279-280.
[6]谢英杰.中医院医疗大数据平台智能搜索子系统设计与实现
[D].山东:山东大学,2019.
[7]于译博,樊懋,李文森等.基于交易大数据的平台型企业金融
业务研究——以蚂蚁金服、苏宁金融、京东金融为例[J].科技视界,2020(6):203-206.
[8]罗薇.基于大数据策略核心的中台生产体系的建立[J].通信
与信息技术,2020(1):80-83.
[9]张弛.基于数据中台的头部企业核心业务单元拓展研究[J].
武汉理工大学学报(社会科学版),2020,33(4):95-102.
[10]曾铮,贾瑞君,秦利等.基于中台技术的医学大数据研发生
态系统构建[J].中华医学图书情报杂志,2020,29(6):14-20. [11]穆义龙.浅议数据中台在公安大数据建设中的应用[J].法制
与经济,2020(10):27-28.
[12]王宁,王胜.基于大数据技术的铁路电子支付平台双活中心交
易日志处理研究与实现[J].铁路计算机应用,2021,30(1):43-46.作者简介
韦樑(1982-),男,上海市人。硕士学位,工程师,现供职于上海市信息安全测评认证中心。研究方向为网络安全。

本文发布于:2023-05-05 14:44:43,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/3/88492.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   进行   系统   业务   相关   信息   管理
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图