招投标项⽬信息⼤数据平台建设⽅案⼀、项⽬背景
“⼗三五”期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发⽣根本性转变,⼀场以云计算、⼤数据、物联⽹、移动应⽤等技术为核⼼的“新 IT”浪潮风起云涌,信息化应⽤进⼊⼀个“新常态”。***(某政府部门)为积极应对“互联⽹+”和⼤数据时代的机遇和挑战,适应全省经济社会发展与改⾰要求,⼤数据平台应运⽽⽣。 ⼤数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于⼀体的⼤数据平台,以信息化提升数据化管理与服务能⼒,及时准确掌握社会经济发展情况,做到“⽤数据说话、⽤数据管理、⽤数据决策、⽤数据创新”,牢牢把握社会经济发展主动权和话语权。
⼆、建设⽬标
⼤数据平台是顺应⽬前信息化技术⽔平发展、服务政府职能改⾰的架构平台。它的主要⽬标是强化经济运⾏监测分析,实现企业信⽤社会化监督,建⽴规范化共建共享投资项⽬管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提⾼政务⼯作的前瞻性和针对性,加⼤宏观调控⼒度,促进经济持续健康发
空调热交换器展。
1、制定统⼀信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数据和互联⽹抓取数据,构建汇聚式⼀体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源⽬录,建⽴信息资源交换管理标准体系,在业务可⾏性的基础上,实现数据信息共享,推进信息公开,建⽴跨部门跨领域经济形势分析制度。
3、在⼤数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础⽀撑。
三、建设原则
⼤数据平台以信息资源整合为重点,以⼤数据应⽤为核⼼,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应⽤、创新驱动”的原则,全⾯提升信息化建设⽔平,促进全省经济持续健康发展。
1、统筹规划、分步实施。结合我省经济发展与改⾰领域实际需求,明确总体⽬标和阶段性任务,科学规划建设项⽬。先期完成⼤数据平台的整体架构建设,后期分步完成业务系统的整合及相互间数据共享问题。
2、整合资源、协同共享。对信息资源统⼀梳理,建⽴经济发展与改⾰信息标准资源库和数据规范,逐步消灭“信息孤岛”,加快推进数据资源整合,建设共享共⽤的⼤数据中⼼,实现业务协同。
3、突出重点、注重实效。以⽤户为中⼼,以需求为导向,以服务为⽬的,突出重点,注重实效,加强平台可⽤性和易⽤性。
4、深化应⽤、创新驱动。深⼊了解⽤户需求,密切跟踪信息技术发展趋势,不断深化应⽤、拓展新技术在应⽤中的⼴度和深度,促进跨界融合,丰富管理和服务⼿段。
四、建设⽅案
为了保证项⽬的顺利进⾏和建设⽬标的可⾏性,我们采取如下⼏种建设⽅案。
1、数据采集⽅案。
我们统⼀信息资源标准规范,建⽴多维度数据库,拓宽数据来源,通过不同的⽅式汇聚数据,增强分析⼒度,提⾼监测预警的准确性和时效性。
1、预留接⼝,⽀持其它系统各种数据的上传导⼊处理。将现存有关经济运⾏业务系统中的历史数据和时效数据,通过上传数据⽂件⾄服务器、分析提取有效数据导⼊服务器数据库等⽅式采集起来,在本平台上复⽤。
2、⽀持外接数据的上传导⼊处理。可以将企业单位或定点监测机构的数据通过同样的⽅式采集起来,在本平台上复⽤。
3、⽀持⾮结构化数据,即搜索引擎数据、社交媒体数据、地理空间数据和⾳视频数据等等。
2、数据分析⽅案。
⼤数据之⼤并不是难点所在,其真正难以对付的挑战来⾃于数据类型多样、要求及时响应和数据的不确定性,⽽我们所⾯临的也正是如此。
我们采⽤批量数据处理系统,借助于深度学习、知识计算和可视化等⼤数据分析技术,通过对数据的批量处理挖掘其中的价值来⽀持决策和发现新的洞察。
3、业务整合⽅案。
在对社会发展相关业务⼦系统充分调研基础上,结合项⽬需求,可对其进⾏整合或嵌⼊处理(本⽅案整合公共信⽤信息服务平台、投资项⽬信息管理平台等)。
1、整合处理。将原有数据通过上传或导⼊⽅式进⾏采集,
原有功能模块整合到本平台中,合⼆为⼀,完美的将数据汇聚起来。缺点是耗时较长。
2、嵌⼊处理。以单点登录的⽅式将原有系统链接嵌⼊到本
平台中,作为⼦系统单独存在。缺点在于数据共享难以实现。
五、建设内容
1、宏观经济监测预测及可视化平台
政府信息化的最终⽬标是提⾼政府的决策⽔平,其中经济决策是核⼼内容。为了提⾼宏观调控决策⽔平,我们必须从依靠传统统计数据向依靠互联⽹⾮统计数据转变,从监测预测宏观经济总量向监测预测宏观经济先⾏指标转变,从中长期监测预测向实时监测预测转变。
宏观经济监测预测及可视化平台围绕⽹络搜索、社交媒体、电⼦商务、终端定位和业务交易等五个⽅⾯全⾯整合互联⽹相关数据资源,建设以“容量⼤、形式多、分类细、响应快”为⽬标的宏观经济监测预测数据库,构建基于互联⽹数据的宏观经济⾮统计指标监测预测应⽤平台。
围绕重点产业活跃度、区域经济关联度、宏观经济⾛向社会预期、社会消费热点、⼤宗商品供求及价格⾛势、全国就业形势、外贸订单变化趋势等⽅⾯,构建⼤数据宏观经济先⾏指标和现时预测指标库,研究能客观、准确反映我省宏观经济运⾏状况的指标体系,编制“⼭东指数”。
在健全完善监测预警数据库的基础上,充分运⽤⼤数据技术
和理念,加强数据挖掘⼒度,强化定量分析,建⽴宏观经济分析系列模型,切实提⾼预测分析的前瞻性、准确性和可靠性。
积极拓宽信息发布渠道,建⽴可视化平台,采⽤Unity3D引擎,三维界⾯⾼度仿真,所见即所得。平台针对多源易构的海量数据,通过数据处理、存储管理、可视化交互分析等技术,实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。利⽤预测信号灯系统,形象地刻画出宏观经济总体运⾏状况,分析经济波动原因,及时了解各地区经济发展的不平衡性,准确判断和测定经济景⽓循环运⾏状态,提⾼宏观经济决策⽔平。2、企业信⽤监测预警服务平台
企业信⽤危机不仅给社会带来严重危害,也是关系到企业⾃⾝⽣死存亡的重⼤事件,它是中国企业乃⾄中国市场经济发展的巨⼤障碍。因此,建⽴企业信⽤危机的预警机制和管理机制,对企业信⽤危机进⾏有效的预警及管理是⼗分重要的。
企业信⽤监测预警服务平台,全⾯整合社会信⽤监管信息和社会公众反映信息,通过整理归类与加⼯,将这些信⽤危机信息转化为可以量化的指标体系,按照失信⾏为的严重程度和影响范
围划分三个预警级别,分别向企业⾃⾝、⾦融机构、其他政府部门及全社会进⾏通报。
纳⼊企业信⽤预警体系的企业信息包括侵犯消费者权益且不履⾏相关义务的信息、消费者投诉未及时处理信息、⾏政处罚逾期未执⾏信息、查⽆下落企业信息等23种信息。可以动态配置预警信息项⽬和相应预警等级,增强监测预警的全⾯性和灵活性。
企业信⽤监测预警服务平台以信息技术为⽀撑,以信⽤监管为⼿段,全⾯提⾼信⽤监管信息共享程度,及时预警影响社会交易安全和社会公共安全的不良信⽤信息,遵循“对外警⽰社会和企业;对内明确重点,积极采取应对措施”的原则,强化企业信⽤监管防范机制,有⼒推进“信⽤保税区”建设,加强企业信⽤监督管理的主动性、前瞻性,更好地服务经济发展,减少交易风险,促进企业信⽤监管到位,实现企业信⽤的社会化监督。
手指灯
3、投资项⽬信息管理平台
自封袋设备
建设投资项⽬(特别是⼀些⼤型项⽬)具有管理上的复杂性特点,主要是建设周期长、参建⽅多。投资项⽬信息管理平台的建⽴和应⽤,可有效解决投资建设项⽬管理动态过程的信息分析、信息构建,达到各参建⽅信息共享的⽬的。
投资项⽬信息管理平台,⽀持重⼤项⽬推介,建⽴规范的项⽬审批流程和项⽬信息库,管理项⽬启动、计划、执⾏、监控和收尾的整个⽣命周期,覆盖进度、质量、成本、资源、风险等项⽬管理的各个要素,构建集成项⽬、流程、知识的信息化平台。
逐步实现与相关部门业务系统的接⼊,形成全覆盖的投资项⽬管理统⼀⼯作平台,真正做好资源共享,为项⽬的后期评价、领导决策提供⽀持服务。围绕设计、招标、监理、质量、安全、进度、施⼯、资⾦、变更、合同管理“⼗⼤环节”,建⽴起对投资项⽬进⾏事前计划、事中控制、事后评估、全
程管理的有效管控模式,促进投资项⽬管理体系发挥全⽅位、全过程的计划、组织、协调与控制作⽤。
投资项⽬信息管理平台,以现代项⽬管理⽅法论为基础;以项⽬管理为主线,全⾯组织、全程贯穿各个业务环节;以项⽬计
划为依据,科学协调各个部门的⼯作;以成本、进度、质量为最终控制⽬标;以完整、及时、准确的项⽬信息和科学的分析模型为项⽬管理、决策提供依据;遵循“以计划为龙头,以合同为中⼼,以投资控制为⽬的”的现代项⽬管理理念,构建⾼效、实⽤的项⽬协同管理综合平台。
4、政务数据共享交换平台
政务数据共享交换平台是各个平台中的基础性和综合性平台,是解决“信息孤岛”、实现数据互连互通的基础设施,有利于提⾼各类信息资源整合共享,以及信息资源的综合利⽤。
建设政务数据共享交换平台的⾸要⽬标就是要创造⼀个信息交换、信息共享的⽅式和环境,按照统⼀标准和规范,建⽴信息资源整合机制,规范数据采集⼝径、采集⽅式,规范数据的服务⽅式,建⽴统⼀的资源信息整合与交换机制。
我们按照统⼀、集约、⾼效的数据开发利⽤理念,通过研究建⽴多级交换管理体系,形成政务信息资源物理分散、逻辑集中
的信息共享模式,通过以应⽤为抓⼿,进⼀步打通数据流,满⾜政府部门多⽅位、多层次的数据需求,为跨地域、跨部门、跨平台不同应⽤系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务。通过分布式部署和集中式管理架构,有效解决各节点间数据的及时、⾼效上传下达,在安全、快捷、⽅便的进⾏信息交换的同时精准的保证数据的⼀致性和准确性。
政务数据共享交换平台的全局⽬标是建⽴“⼀个系统”,解决“两个问题”,⽀持“三个应⽤”,⾯向“四个服务”。建⽴“⼀个系统”,即建⽴⼀个可扩展、可集成、有统⼀数据模型、可交换和安全可靠的分布式系统,对各类政务资源进⾏组织和管理。解决“两个问题”,即解决政务信息资源的发现与定位问题,解决政务信息资源规划与整理问题。⽀持“三个应⽤”,即⽀持信息集成整合应⽤、各业务部门办公应⽤和政府职能决策应⽤。⾯向“四个服务”,即⾯向政务协作、宏观决策、市场监管和社会管理服务。
六、技术⽀持与平台性能
1、系统架构
结合该项⽬以⼤数据平台为核⼼,多业务⼦系统并存的业务需求,以及存在不同种类操作系统、应⽤软件、系统软件的现状,我们采⽤⾯向服务的体系结构,即SOA架构。
SOA是⼀个组件模型,它将应⽤程序的不同功能单元(称为服务)通过这些服务之间定义良好的接⼝和契约联系起来。接⼝是采⽤中⽴的⽅式进⾏定义
的,它独⽴于实现服务的硬件平台、操作系统和编程语⾔。这使得构建在这样系统中的服务可以以⼀种统⼀和通⽤的⽅式进⾏交互。它的本质是实现服务和技术的完全分离,从⽽最⼤程度上实现服务的集成和重组。
600x22助燃剂SOA实施是以业务服务为导向的,业务服务独⽴于技术之上,技术处于从属地位,采⽤SOA架构的主要优势有:
1、SOA与平台⽆关,减少了业务应⽤及业务⼦系统整合的限制。
2、SOA具有低耦合的特点,各个业务⼦系统对整个业务系统的影响较低,在各个系统不断变化情况下,节省的费⽤会越来越多。
3、SOA具有可按模块分阶段进⾏实施的优势。可以成功⼀步再做下⼀步,将实施造成的冲击减少到最⼩。
SOA服务交互⽰意图如下:
2、技术⽀持
1、技术领先的J2EE框架。
Java2平台企业版(Java 2 Platform Enterprise Edition,J2EE)是⼀种利⽤Java2平台来简化且规范应⽤系统的开发与部署,进⽽提⾼可移植性、安全与再⽤价值。基核⼼是⼀组技术规范与指南,其中包含的各类组件、服务架构及技术层次,均有共同的标准及规格,让各种依循J2EE架构的不同平台之间,存在良好的兼容性,解决过去企业后端使⽤的信息产品彼此之间⽆法兼容,企业内部或外部难以互通的窘境。
基主要的技术规范有JDBC、EJB、JSP、Java Servlet、XML 等。JDBC为访问不同数据库提供了统⼀的路径,使对数据库的访问具有平台⽆关性。EJB 提供了⼀个框架来开发和实施分布式商务逻辑,简化了具有可伸缩性和⾼度复杂的企业级应⽤程序的开发。JSP页⾯由HTML代码和嵌⼊其中的Java代码组成,简化了
页⾯的输出,保留了脚本语⾔易于使⽤的优点。Servlet是⼀种⼩型Java程序,扩展了Web服务器的功能。XML提供了⼀种描述结构数据的格式,简化了⽹络中数据交换和表⽰,使得代码、数据和表⽰分离,作为数据交换的标准格式。
2、强⼤灵活的SSM整合框架。
SSM框架整合,即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC属于SpringFarmeWork的后续产品,它提供了构建Web应⽤程序的全功能MVC模块,分离了控制器、模型对象、过滤器以及
处理程序对象的⾓⾊,这种分离让它们更容易进⾏定制。Spring是⼀个轻量级开源框架,它的主要特点是⽅便解耦、简化开发、⾯向切⾯(AOP)的编程⽀持和声明式事务⽀持,其主要优点有低侵⼊式设计、独⽴于应⽤服务器、允许将⼀些通⽤任务如⽇志等进⾏集中处理。Mybatis是轻量级ORM框架,它消除了⼏乎所有的JDBC代码和参数的⼿⼯设置以及结果集的检索,使⽤简单的XML或注解⽤于配置和原始映射,将接⼝和Java的POJOs 映射成数据库中的记录。其框架架构图如下:
相⽐于传统SSH整合,SpringMVC相⽐Struts更轻量级,注解的使⽤减少开发消耗,数据库操作层采⽤Mybatis,统⼀管理SQL甚是⽅便。
3、平台性能
1、先进性、开放性。
基于B/S结构的Java应⽤技术和SOA开放式的体系框架,结构化设计,灵活可拆分,具有灵活的可扩充接⼝,易于修改调整、⼆次开发和扩充,最⼤限度降低因上游技术升级带来的系统实施风险,保证投资的有效性和延续性。
拼接地图2、可扩展性。
由于采⽤了平台化构建思想,整个系统可做到与底层多种硬件环境、操作系统、数据库的⾃由适配,
保证系统在软件、硬件环境⽅⾯的灵活配置以及未来的拓展应⽤。
采⽤基于SOA思想的模块化设计,可根据需要进⾏灵活动态
的模块扩充,并保证原系统环境不受影响。
系统提供开放的标准接⼝,可实现与外围业务系统的⽆缝集成应⽤,灵活扩展系统的业务应⽤范围。
3、稳定性、可靠性。时子环
系统采⽤B/S结构应⽤模式,集中安装部署,客户端零安装,所以系统的运⾏不受任何客户端单点故障的影响。技术框架的⽀撑,可以实现数据库的持久、稳定连接,确保事务处理的连续和完整,保证业务数据准确完全。
4、其他优势。