数据授权脱敏自动化方法、装置及存储介质

本发明涉及数据处理领域，尤其涉及一种数据授权脱敏自动化方法、装置及计算机可读存储介质。

随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战--个人隐私信息的保护。个人信息与个人行为(比如位置信息、消费行为、网络访问行为)等，这些都是人的隐私，也是我们所关注的一类敏感信息，在大数据价值挖掘的基础上如何保护人的隐私信息，也将是数据脱敏必须解决的难题。

现有的数据脱敏方法只是将数据报表查询利用集算器编写SPL脚本，对敏感信息字段(如:姓名、证件号、银行账户、住址、电话号码、企业名称、工商注册号、纳税人识别号)等通过预定义的脱敏规则进行数据脱敏、变形，实现敏感隐私数据的保护，但是并不是先将数据授权，然后再自动化的对数据进行脱敏，存在极大地安全隐患，而且一旦新增或者删除字段，脱敏任务就不能顺序进行，需要人为参与，并且数据脱敏前后的存储相当于是存储了2份数据，浪费了存储。

因此，亟需一种节省存储空间，且能提升脱敏效率的自动脱敏方法。

本发明提供一种数据授权脱敏自动化方法、电子装置及计算机可读存储介质，其主要目的在于通过创建脱敏需求，判断表访问权限和数据访问范围，然后根据访问权限和数据访问范围在DMP发起访问业务表的权限申请，DPM用于对该申请进行审批，DMP对通过审批的权限申请进行脱敏配置，针对敏感字段强制性配置指定脱敏规则，形成脱敏任务，进而执行脱敏任务以确保顺利完成脱敏任务，且提高脱敏效率，减少存储空间。

为实现上述目的，本发明提供的数据授权脱敏自动化方法，应用于电子装置，所述方法包括：

S110：根据预设规则创建脱敏需求，根据所述脱敏需求确定表访问权限和数据访问范围；

S120：根据所述表访问权限和数据访问范围在DMP发起访问业务表的权限申请，所述DMP用于对所述权限申请进行审批；

S130：通过所述DMP对通过审批的权限申请进行脱敏配置，所述脱敏配置包括针对敏感字段强制性配置指定的脱敏规则；

S140：将所述指定的脱敏规则及所述数据访问范围同步到ETL，所述ETL根据所述数据访问范围产生目标字段，根据所述脱敏规则自动生成所述脱敏字段的脱敏任务；

S150：检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源和目标字段及顺序一致，若不一致，则使脱敏源和目标字段一致，检查完成后执行ETL并完成所述脱敏任务。

优选地，所述脱敏需求为根据预设规则创建的脱敏需求，所述脱敏需求受数据提供方的限制；所述脱敏需求的具体脱敏字段包括业务敏感字段；

所述数据访问范围至少包括时间范围、跨度范围。

优选地，在根据所述表访问权限和数据访问范围在DMP发起访问业务表的权限申请，所述DMP用于所述权限申请进行审批的步骤包括：

由数据使用方发起访问业务表的权限申请；

判定所述数据使用方的脱敏需求符合数据使用要求的标准至少包括不破坏脱敏源、不含有超范围指令。

优选地，所述脱敏规则时对应的脱敏方式包括直接脱敏和关联脱敏；其中，所述直接脱敏为对脱敏源应用预设规则进行直接脱敏，与其他字段并无关系；

所述关联脱敏为针对脱敏源之间的关联字段应用同一个脱敏规则，以使脱敏后的字段仍能相关联。

优选地，所述预设规则，包括以下规则中的至少一个：

对任意字符串提供HASH加密名称统一改为“数据使用方的名称”；

电话后4位改为1234或屏蔽中间4位；

邮箱全部屏蔽为所述数据使用方的预设邮箱；

金额类随机浮动1％～5％地址类截取前15个字符或只显示到区的级别。

优选地，根据所述脱敏规则自动生成所述目标字段的脱敏任务的过程包括：

根据所述脱敏规则确定要创建脱敏表、视图还是物化视图；

若创建脱敏表，则根据所述脱敏源的字段建立脱敏表；若创建视图和物化视图，则根据所述脱敏规则生成新的视图，并替换之前的视图。

优选地，在根据所述脱敏规则判断建立脱敏表还是视图的过程中，包括：

根据所述脱敏规则预先设定所述脱敏源占用HDFS空间存储量的区间；

若所述脱敏源占用HDFS的空间存储量小于所述区间，则创建视图；若在所述区间内，则创建物化视图；若大于所述区间，则创建脱敏表。

优选地，在所述检查脱敏源和目标字段是否一致的步骤之后，所述方法还包括：

若脱敏源和目标字段不一致，则根据所述目标字段的顺序判断是新增字段还是删除字段；

若脱敏源相对目标字段有新增字段，则在所述目标字段基础上新增同样的字段，并替换之前的脱敏表、物化视图或视图，脱敏源相对目标字段有删除字段，则在所述目标字段基础上删减同样的字段，并替换之前的脱敏表、物化视图或视图。

为实现上述目的，本发明还提供一种数据授权脱敏自动化电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的数据授权脱敏自动化监控方法中的步骤；

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有数据授权脱敏自动化分析程序，所述数据授权脱敏自动化程序被处理器执行时，实现前述的数据授权脱敏自动化方法的步骤。

本发明提出的数据授权脱敏自动化方法、电子装置及计算机可读存储介质，其中根据脱敏需求判断表访问权限和数据访问范围，然后数据使用方根据所述表访问权限和数据访问范围在DMP发起访问业务表的权限申请，DMP对权限申请进行审批，审批通过后，在DMP进行脱敏配置，针对敏感字段强制性配置指定的脱敏规则，进而将指定的脱敏规则及数据访问范围同步到ETL，ETL根据相应的信息自动的生成相应的脱敏任务，产生目标字段，检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源表和目标表字段及顺序一致，若不一致，则使源和目标的字段一致，检查完成后执行ETL并完成所述脱敏任务，极大地确保了自动对字段的变更进行同步更改，减少了人为参与，节省了人力，提高了脱敏效率，减少了存储空间。

图1为根据本发明实施例的数据授权脱敏自动化方法应用环境示意图；

图2为根据本发明实施例的数据授权脱敏自动化方法的流程图；

图3为根据本发明实施例的数据授权脱敏自动化电子装置中的系统框架图；

图4为根据本发明实施例的电子装置的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了解决前述现有的数据脱敏方法只是将数据报表查询利用集算器编写SPL脚本，对敏感信息字段通过预定义的脱敏规则进行数据脱敏、变形，实现敏感隐私数据的保护，然后再自动化的对数据进行脱敏，存在极大的安全隐患，而且一旦新增或者删除字段，脱敏任务就不能顺序进行，需要人为参与，浪费存储的问题，本发明从数据授权入手，首先根据脱敏需求判断表访问权限和数据访问范围，然后数据使用方根据表访问权限和数据访问范围在DMP发起访问业务表的权限申请，DMP对权限申请进行审批，通过审批后，DMP进行脱敏配置，针对敏感字段配置脱敏规则，形成脱敏任务，进而完成脱敏任务。

DMP(Data Management Platform)数据管理平台，是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推向现有的互动营销环境里的平台。

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

具体的，根据本发明的一个实施例，提供一种数据授权脱敏自动化方法，应用于电子装置40。

图1为根据本发明实施例的数据授权脱敏自动化方法应用环境示意图。如图1所示，在本实施例的实施环境中为计算机设备110。

其中的计算机设备110为计算机设备，例如电脑等终端设备。

需要说明的是，计算机终端设备110可为平板电脑、笔记本电脑、台式计算机等，其为cenOS(linux)系统，但并不局限于此。计算机设备等终端设备110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。

图2为根据本发明实施例的数据授权脱敏自动化方法的流程图。如图2所示，在本实施例中，数据授权脱敏自动化方法包括如下步骤：

S110：根据预设规则创建脱敏需求，根据脱敏需求确定表访问权限和数据访问范围；

该创建的脱敏需求是指根据预设规则创建的脱敏需求，所预设的需求受数据提供方的限制；该脱敏需求包括的具体脱敏字段是一些业务敏感字段，比如金额、销售额、电话、地址、证件号等；

该数据访问范围一般包括时间范围、跨度范围等，比如只允许访问最近一个月的记录、只允许访问数据使用方某一部门的记录或者数据使用方所有的记录。

S120：根据该表访问权限和数据访问范围在DMP发起访问业务表的权限申请，DMP用于对该权限申请进行审批；

其中，数据提供方在DMP平台上能看到的所有专业公司数据，数据使用方在DMP平台申请脱敏及脱敏规则，需要数据提供方的审批；

具体的，该数据使用方为待审批者，该数据提供方为审批者，该数据提供方判定该脱敏需求符合数据使用要求，则会通过审批；

是否通过都由数据提供方决定，通过该DMP审批后的数据使用方都可以申请提交脱敏；

判定脱敏需求符合数据使用要求的标准为：不破坏脱敏源、不含有超范围指令(如：脱敏源中无“电话”栏，选择脱敏需求为“电话”)等，此处的脱敏源为。

S130：通过DMP对通过审批的权限申请进行脱敏配置，针对敏感字段强制性配置指定的脱敏规则；

在审批通过后，在DMP进行脱敏配置，针对“特殊”敏感的字段(如身份证号、电话、金额等)，强制性配置指定的脱敏规则，确保数据能被正确的使用，为不破坏数据的二义性，保持数据的业务完整性，可供用户选择有直接脱敏还是“关联”脱敏；不同专业务敏规则可能不一致，系统提供了根据不能需求制定不同而又统一的脱敏规则，以达到“个性化”定制脱敏规则。

直接脱敏的意思是对某个表的字段应用规则进行脱敏，与其他表没有任何关系。

“关联”脱敏，是指表之间的关联字段，应用同一个脱敏规则，以达到脱敏后的字段依然能关联上，不破坏数据的一致性。

其中，敏感字段是由数据提供方标识哪些字段是必须脱敏的字段，针对这类字段，DMP在提供之前必须选择指定几个脱敏规则中的一个，否则无法提交。这类字段为直接脱敏。

S140：将指定的脱敏规则及数据访问范围同步到ETL，ETL根据数据访问范围产生目标字段，根据脱敏规则自动生成目标字段的脱敏任务；；

其中，该ETL根据相应的信息自动的生成相应的脱敏任务的过程包括：

根据脱敏规则判断创建脱敏表、视图还是物化视图；

若创建脱敏表，则根据脱敏源的字段建立脱敏表；若创建视图和物化视图，则根据脱敏规则生成新的视图，并替换之前的视图。

具体的，配置完脱敏规则后，则把相应的规则及数据访问的范围同步给ETL，ETL根据接收到的脱敏规则和数据访问范围自动化的生成相应的脱敏任务，包括自动化创建目标字段，即脱敏表、物化视图或者视图，以备对数据进行脱敏操作。

为提高后续使用的效率且减少存储空间，根据脱敏规则判断建立脱敏表、物化视图还是视图的过程中包括：

脱敏规则预设脱敏源占用HDFS空间存储量的区间；

若脱敏源占用HDFS的空间存储量小于区间，则创建视图，若在区间内，则创建物化视图，若大于区间，则创建脱敏表。比如，当原始Hive表占用HDFS空间大小小于100G，则创建视图，大于100G小于500G，则创建物化视图，单表大于500G，则创建脱敏表，并将脱敏数据直接Insert到该脱敏表，具体的规则根据业务需求而定。

S150：检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源和目标字段及顺序一致，若不一致，则使脱敏源和目标字段一致，检查完成后执行ETL并完成脱敏任务；脱敏源为

检查脱敏源和目标字段是否一致的过程中，包括：

若脱敏源字段有变更，则根据该目标字段的顺序判断是新增字段还是删除字段；

若脱敏源相对目标字段有新增字段，则在该目标字段基础上新增同样的字段，并替换之前的脱敏表、物化视图或视图，若脱敏源相对目标字段有删除字段，则在该目标字段基础上删减同样的字段，并替换之前的脱敏表、物化视图或视图。

具体的，应用了脱敏规则后的数据也储存在Hive里；

其中，脱敏源为数据使用方初始筛选出的等待被脱敏的数据，目标字段为立即被脱敏的准确脱敏数据，数据均存在Hive里，由于脱敏源的表和目标字段的表是Hive表，不能像关系型数据库那样来处理，因此字段的顺序就格外重要，否则可能会出现该脱敏的字段未脱敏，不该脱敏的字段却脱敏了，为了确保脱敏源的表和目标字段的表在特定顺序位置的字段代表的含义是同一个，确保运用脱敏规则的字段是用户真正需要脱敏的字段，需要按字段顺序来判断。因此，在脱敏任务运行之前，需要保持脱敏源的表和目标字段的表及顺序一致，若不一致则会导致任务失败或者数据错位，因此，检查脱敏源的表和目标字段的表是在运行脱敏任务之前，两边一致之后，才能顺利进行脱敏，否则任务失败，需要人为介入，会增加任务运维工作量。

若脱敏任务为创建视图，如果有字段的变更，即新增或删除，则根据字段的顺序来判断，如果脱敏源是在最后面新增了一个字段，则可在原基础上进行新增字段，替换之前的视图，否则需要删除再新建hive表，完成后，则进行视图的替换或物化视图的rebuild及脱敏表数据的重新装载等后续ETL过程；

本实施例中数据授权脱敏自动化方法通过根据脱敏需求判断表访问权限和数据访问范围，然后数据使用方根据表访问权限和数据访问范围在DMP发起访问业务表的权限申请，DMP对权限申请进行审批，审批通过后，在DMP进行脱敏配置，针对敏感字段强制性配置指定的脱敏规则，进而将指定的脱敏规则及数据访问范围同步到ETL，ETL根据相应的信息自动的生成相应的脱敏任务，产生目标字段，检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源表和目标表字段及顺序一致，若不一致，则使源和目标的字段一致，检查完成后执行ETL并完成脱敏任务，极大地确保了自动对字段的变更进行同步更改，减少了人为参与，节省了人力，提高了脱敏效率，减少了存储空间。

另一方面，本发明还提供一种数据授权脱敏自动化系统，图3为根据本发明实施例的数据授权脱敏自动化系统框架图，该系统对应于数据授权脱敏自动化方法，可以设置于数据授权脱敏自动化电子装置中。

如图3所示，该数据授权脱敏自动化系统包括DMP模块310、ETL模块320、原始库模块330和脱敏库模块340。

其中的DMP模块310用于接受数据使用方发起的访问业务表访问申请，并根据该数据使用方的访问权限和访问范围对数据使用方的申请进行审批，若通过审批，则该DMP模块310开始进行脱敏配置，针对脱敏字段针对性指定脱敏规则，并将该脱敏规则同步到ETL模块320；

其中，数据提供方在DMP模块310上能看到的所有专业公司数据，数据使用方在DMP模块310申请脱敏及脱敏规则，需要数据提供方的审批；

具体的，该数据使用方为待审批者，该数据提供方为审批者，该数据提供方判定该脱敏需求符合数据使用要求，则会通过审批；

是否通过都由数据提供方决定，通过该DMP模块310审批后的数据使用方都可以申请提交脱敏；

判定脱敏需求符合数据使用要求的标准为：不破坏脱敏源、不含有超范围指令，如：脱敏源中无“电话”栏，选择脱敏需求为“电话”。

该ETL模块320根据DMP模块310同步来的脱敏规则自动生成脱敏任务；其中，该ETL模块320根据相应的信息自动的生成相应的脱敏任务的过程包括：

根据脱敏规则判断创建脱敏表、视图还是物化视图；若创建脱敏表，则根据脱敏源的字段建立脱敏表；若创建视图和物化视图，则根据脱敏规则生成新的视图，并替换之前的视图。

该原始库模块330与该脱敏库模块340用于存放脱敏源及脱敏任务、目标字段等数据，结合DMP模块310、ETL模块320完成脱敏任务。

图4为本发明电子装置示意图，在本实施例中，电子装置40可以是服务器、平板计算机、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置40包括：处理器41、存储器42、计算机程序43、网络接口及通信总线。

电子装置40可以是平板电脑、台式电脑、智能手机，但不限于此。

存储器42包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置40的内部存储单元，例如该电子装置40的硬盘。在另一些实施例中，可读存储介质也可以是电子装置40的外部存储器，例如电子装置40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，存储器42的可读存储介质通常用于存储安装于电子装置40的计算机程序43，密钥生成单元310、密钥管理单元320、传输单元330和告警单元340等。

处理器41在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器42中存储的程序代码或处理数据，例如数据授权脱敏自动化程序43等。

网络接口可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置40与其他电子设备之间建立通信连接。

通信总线用于实现这些组件之间的连接通信。

图4仅示出了具有组件41-43的电子装置40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

在图4所示的电子装置实施例中，作为一种计算机存储介质的存储器42中可以存储操作系统以及数据授权脱敏自动化程序43；处理器41执行存储器42中存储的数据授权脱敏自动化程序43时实现如下步骤：

S110：根据预设规则创建脱敏需求，根据所述脱敏需求确定表访问权限和数据访问范围；

S120：根据所述表访问权限和数据访问范围在DMP发起访问业务表的权限申请，所述DMP用于对所述权限申请进行审批；

S130：通过所述DMP对通过审批的权限申请进行脱敏配置，所述脱敏配置包括针对敏感字段强制性配置指定的脱敏规则；

S140：将所述指定的脱敏规则及所述数据访问范围同步到ETL，所述ETL根据所述数据访问范围产生目标字段，根据所述脱敏规则自动生成所述目标字段的脱敏任务；

S150：检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源和目标字段及顺序一致，若不一致，则使脱敏源和目标字段一致，检查完成后执行ETL并完成所述脱敏任务。

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质中包括数据授权脱敏自动化程序，该数据授权脱敏自动化程序被处理器执行时实现如下操作：

S110：根据预设规则创建脱敏需求，根据所述脱敏需求确定表访问权限和数据访问范围；

S120：根据所述表访问权限和数据访问范围在DMP发起访问业务表的权限申请，所述DMP用于对所述权限申请进行审批；

S130：通过所述DMP对通过审批的权限申请进行脱敏配置，所述脱敏配置包括针对敏感字段强制性配置指定的脱敏规则；

S140：将所述指定的脱敏规则及所述数据访问范围同步到ETL，所述ETL根据所述数据访问范围产生目标字段，根据所述脱敏规则自动生成所述目标字段的脱敏任务；

S150：检查脱敏源和目标字段是否一致，若一致，则继续保持脱敏源和目标字段及顺序一致，若不一致，则使脱敏源和目标字段一致，检查完成后执行ETL并完成所述脱敏任务。

本发明之计算机可读存储介质的具体实施方式与上述数据授权脱敏自动化方法、电子装置的具体实施方式大致相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。