一种数据可用不可见的政务数据开发方法及系统

本发明涉及政务数据开放、数据安全等领域，尤其涉及一种数据可用不可见的政务数据开发方法及系统。

由于担负经济发展、社会管理和公共服务职能，政府及相关机构拥有的如人社、统计、治安、税收、环境、交通、就业等较高价值的数据，政务数据的安全开放及有效开发能够提升社会管理水平、推动产业升级创新、促进科技创新等等，释放巨大的经济和社会价值。

目前政务数据在开放过程中，数据的效用有待提高。当前主要通过RESTful API形式，excel文档直接下载等方式进行政务数据的开放，支撑社会化开发，由于API方式仅能支持数据的验证和简单查询，无法实现多方数据的融合，深度挖掘各方数据融合产生的价值。此外，当前开放方式缺乏持续性，缺少持续更新的数据集，难以支撑持续性的数据应用。

政务数据开放的过程中，数据安全的挑战尤为严峻。由于有价值的政务数据较为敏感，不能直接对社会企业、高校开放使用，其价值难以被挖掘，不能有效支持社会化应用。更关键的是，政务数据的应用领域和使用用途难以监控。政务数据在支撑社会化应用的过程中，其用途不受控，常常被用在申请用途以外的领域。

本发明的目的在于解决政务数据开放中数据效用与数据安全的挑战，而提供一种数据可用不可见的政务数据开发方法及系统。

为实现上述目的，本发明的技术方案是：一种数据可用不可见的政务数据开发方法，包括如下步骤：

步骤S1、开发者使用政务样例数据开发：

系统发布供开发者使用的资源、工具及政务数据资源目录，开发者申请资源、工具构建开发环境，并根据政务数据资源目录申请样例数据，而后系统将样例数据下发至开发者数据库中；开发者使用申请的资源、工具和样例数据进行建模开发，并向系统提交逻辑、代码及模型，申请验证；

步骤S2、系统验证阶段：

系统对开发者提交物进行安全性验证，对输出结果进行涉敏核验，系统部署开发者程序并导入部分真实政务数据，系统运行开发者程序并输出API结果；

步骤S3、系统运行阶段：

系统导入真实数据，并在正式环境部署开发者程序，运行开发者程序发布API。

在本发明一实施例中，所述步骤S1中，所述工具包括ETL工具、API封装工具。

本发明还提供了一种基于上述所述方法的数据可用不可见的政务数据开发系统，包括：门户模块、沙箱开发模块、系统验证测试模块、运行生产模块、运维管理模块；

所述门户模块包括数据目录、工具目录、资源目录，供开发者查询和申请；

所述沙箱开发管理模块支持服务申请管理、开发版本管理、验证测试申请，支持开发者申请资源、样例数据及工具，并在沙箱环境中开发并管理版本，沙箱开发完成后支持验证测试申请；

所述系统验证测试模块支持对开发程序进行版本管理，对程序输出的涉敏数据进行检测，并支持验证测试结果的反馈；

所述运行生产模块支持对运行生产程序的版本进行管理，对程序输出的涉敏数据进行检测，并将挖掘生产数据返回支撑生产应用；

所述运维管理模块支持对资源、数据、工具的目录进行管理，支持脱敏和涉敏数据检测规则的配置，支持通过镜像方式实现开发程序在验证测试和运行生产环境的部署。

相较于现有技术，本发明具有以下有益效果：

（1）本发明实现安全可控的政务数据开放开发，支持持续稳定的数据更新、代码托管、运维监控、数据安全等服务。应用正则表达式、及关键字适配等方式实现涉敏数据的检测规则；在开发者不接触原始政务数据的前提下，实现政务数据同社会数据深度融合加工，使得更多政务数据能够被社会深度应用，激发其潜在价值；

（2）本发明实现可控下的自动化。系统并非自动化一切，而是基于企业既有软件生产制度，以自动化为辅助手段，降低人为操作风险，提升质量与效率；

（3）本发明支持全面的开发运营便捷一体化，基于Kubernetes技术制作镜像，实现开发程序从开发沙箱中移植至验证测试环境、及运行生产环境，降低了系统验证、生产部署的难度；覆盖产品、项目全生命周期，提供需求管理、架构管理、代码管理、持续集成、自动部署、流水线协作等全方位能力。

图1为本发明系统应用架构图；

图2为本发明系统运行机制说明图。

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种数据可用不可见的政务数据开发方法，包括如下步骤：

1）开发者使用政务样例数据开发；

2）系统验证阶段；

3）系统运行阶段；

所述的步骤1）包括系统发布供开发者使用的资源、工具及政务数据资源目录，开发者申请并搭建开发环境。开发者申请其应用所需的开发环境，包括基础资源、API、批量数据、开发工具等；开发者根据平台数据目录，申请平台提供的样例数据，系统自动将样例数据下发至开发者数据库中；开发者结合自有数据进行融合数据开发，提交逻辑、代码及模型至系统，并申请验证；

所述的步骤2）包括系统验证测试。系统对开发者提交物进行安全性测试，对输出结果涉敏进行核验系统部署开发者程序并导入部分真实政务数据，系统运行开发者程序并输出API结果；

所述的步骤3）包括系统正式环境部署开发者程序，运行发布API。

本发明还提供了如图1所示的一种基于上述所述方法的数据可用不可见的政务数据开发系统，包括：门户模块、沙箱开发模块、系统验证测试模块、运行生产模块、运维管理模块；

所述门户模块包括数据目录、工具目录、资源目录，供开发者查询和申请；

所述沙箱开发管理模块支持服务申请管理、开发版本管理、验证测试申请，支持开发者申请资源、样例数据及工具，并在沙箱环境中开发并管理版本，沙箱开发完成后支持验证测试申请；

所述系统验证测试模块支持对开发程序进行版本管理，对程序输出的涉敏数据进行检测，并支持验证测试结果的反馈；

所述运行生产模块支持对运行生产程序的版本进行管理，对程序输出的涉敏数据进行检测，并将挖掘生产数据返回支撑生产应用；

所述运维管理模块支持对资源、数据、工具的目录进行管理，支持脱敏和涉敏数据检测规则的配置，支持通过镜像方式实现开发程序在验证测试和运行生产环境的部署。

以下为本发明一具体实施例。

实施例

图2显示了一种数据可用不可见的政务数据开发系统运行机制的具体实施例。

一、开发者使用政务样例数据开发

1) 系统发布供开发者使用的资源、工具及政务数据资源目录；

2)开发者在系统申请资源（HBASE）、工具（ETL工具、API封装工具），构建开发环境；

3)开发者根据平台数据目录，申请平台提供的样例数据（社保发放历史数据和殡葬历史数据），并说明用途；

4)系统自动将样例数据下发至开发者HBASE数据库中；

5)开发者使用ETL工具和申请的样例数据进行建模，构建疑似死亡冒领社保分析模型；

6)开发者使用API工具将建模输出结果封装成API，输出疑似死亡冒领社保人员名单；

7)开发者提交逻辑、代码及模型，并申请验证。

二、系统验证阶段

1)系统对开发者提交物进行安全性测试，对输出结果涉敏进行核验；

2)系统部署开发者程序并导入部分真实政务数据，如社保发放历史数据和殡葬历史数据；

3)系统运行开发者程序并输出API结果；

4)开发者对输出结果进行确认，认可其结果为期望结果。

三、系统运行阶段

1)系统正式环境部署开发者程序，运行发布API；

2)开发者应用数据API发布结果（按月份输出疑似死亡冒领人员名单），获得每月疑似死亡冒领人员名单。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。