数据平台的控制方法、系统、设备及存储介质

本申请涉及大数据技术，尤其涉及一种数据平台的控制方法、系统、设备及存储介质。

随着互联网技术的发展，越来越多的公司会使用大数据平台来支撑公司业务发展。

大数据平台提供了强大的数据处理能力，用户可以通过大数据平台执行计算任务，或者使用大数据平台的存储数据。用户可以单独提交申请使用，或者也可以是多个用户按照自己所在的业务部门或工作组的划分来提交申请使用，大数据平台会按照接收到的申请来提供服务。

由于一个工作组中会包括多个用户，而个别用户的使用习惯可能较差，例如，有些用户经常长期无故占用数据平台，导致其他工作组无法使用。

本申请提供一种数据平台的控制方法、系统、设备及存储介质，以实现数据平台的合理利用。

第一方面，本申请提供一种数据平台的控制方法，包括：

接收多个工作组的数据平台使用申请，每个工作组包括多个用户；

获取与所述多个工作组对应的数据平台记录，所述数据平台记录包括：工作组向所述数据平台提交的申请信息以及对应的使用信息；

根据所述多个工作组的数据平台记录确定所述多个工作组的优先级；

控制所述数据平台按照所述多个工作组的优先级从高到低的顺序为所述多个工作组提供使用服务。

可选的，所述根据所述多个工作组的数据平台记录确定所述多个工作组的优先级，包括：

根据所述多个工作组的数据平台记录确定每个工作组的平台使用率；

根据每个工作组的平台利用率确定每个工作组的优先级；所述平台使用率越高，则相应的优先级越高。

可选的，所述根据所述多个工作组的数据平台记录确定每个工作组的平台使用率，包括：

根据每个工作组中的每个用户的数据平台记录，确定每个用户的平台使用率；

根据每个工作组中的多个用户的平台使用率确定每个工作组的平台使用率。

可选的，所述数据平台使用申请用于提交计算任务；

所述根据所述多个工作组的数据平台记录确定每个工作组的平台使用率，包括：

根据所述数据平台记录中每个工作组向所述数据平台提交计算任务时申请的计算资源，以及所述计算任务执行时使用的计算资源，确定每个用户的平台使用率。

可选的，所述

数据平台使用申请用于提交存储任务；

所述根据所述多个工作组的数据平台记录确定每个工作组的平台使用率，包括：

根据每个工作组在所述数据平台中存储的数据资产在所述数据平台的计算任务中被调用的次数，确定每个用户的平台使用率。

可选的，所述方法还包括：

将每个工作组的资源利用率输出至用户界面以提示用户。

可选的，所述方法还包括：

根据工作组与资源队列之间的对应关系，将目标工作组的任务提交至数据平台中与所述目标工作组对应的目标资源队列。

可选的，所述方法还包括：

根据工作组的类型和资源的类型，确定工作组与资源队列之间的对应关系。

第二方面，本申请提供一种数据平台的控制系统，包括：账户管理子系统和数据质量控制子系统；

所述账户管理子系统用于接收多个工作组的数据平台使用申请，每个工作组包括多个用户，并控制所述数据平台按照所述多个工作组的优先级从高到低的顺序为所述多个工作组提供使用服务；

所述数据质量控制子系统用于获取与所述多个工作组对应的数据平台记录，所述数据平台记录包括：工作组向所述数据平台提交的申请信息以及对应的使用信息；并根据所述多个工作组的数据平台记录确定所述多个工作组的优先级。

可选的，所述账户管理子系统还用于管理工作组以及工作组与资源队列之间的对应关系。

可选的，所述账户管理子系统还用于根据工作组与资源队列之间的对应关系，确定与所述目标工作组对应的目标资源队列；

根据目标资源队列与服务器集的标签之间的对应关系，将目标工作组的任务提交至具有与所述目标资源队列对应的标签的服务器集。

可选的，所述账户管理子系统还用于将用户信息同步至数据平台的服务器集中。

可选的，所述系统还包括：数据资产管理子系统；

所述数据资产管理子系统用于根据用户的类型控制用户对数据平台中的数据资产的操作权限。

可选的，所述系统还包括：元数据库；

所述元数据库用于存储所述账户管理子系统、所述数据资产管理子系统和所述数据质量控制子系统的元数据信息。

第三方面，本申请提供一种电子设备，包括存储器和处理器；

所述存储器和所述处理器连接；

所述存储器用于存储计算机程序；

所述处理器用于在所述计算机程序执行时，实现如第一方面中任一项所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面中任一项所述的方法。

本申请提供一种数据平台的控制方法、系统、设备及存储介质，该方法包括接收多个用户的数据资源申请请求，根据多个用户使用数据平台的历史数据，确定用户的数据资源分配的优先级，保证了资源利用率高的用户可以优先获得资源分配，避免了资源利用率低的用户长期占用资源而导致其他用户无法使用，避免了数据平台的资源浪费，降低了数据平台的成本。此外，该数据平台的管理系统实现了数据平台元数据的统一存储管理，通过账户管理子系统实现了账户的统一管理认证；通过数据资产管理子系统和账户管理子系统实现了数据资源统一授权和安全防护；通过账户管理子系统中的资源队列管理实现了计算资源和数据资产的业务隔离；同时还通过数据质量控制子系统实现了数据资源的质量控制，推动优化计算和存储资源，该管理系统提供了管理数据平台用户和数据资源的统一的解决方案。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种数据平台的管理系统的示意图；

图2为本申请提供的一种数据平台的资源分配方法的流程示意图；

图3为本申请提供的一种电子设备的结构示意图。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

大数据平台提供了强大的数据处理能力，用户可以通过大数据平台执行计算任务，或者使用大数据平台的存储数据。当前，构建数据平台的开源组件繁多且规范不统一，大数据行业里始终没有一套用于统一解决数据平台的账户管理，数据安全防护，存储及计算资源隔离和数据质量监控的完整方案，大多数据平台都是利用各种开源组件的固有特性来实现上述管理功能，这样也导致了数据平台的使用存在诸多问题。

例如，利用基于操作系统的用户实现数据平台账户管理，其中用户得不到认证且用户管理和同步混乱。或者，针对计算资源隔离，目前的做法通常是通过一些调度器的队列来进行计算隔离，这种方法中，用户可以控制提交的资源队列，导致资源队列使用混乱，使得非核心的计算任务影响核心计算任务的执行。此外，现有的数据平台中对于质量管控更是没有具体的实现方案，例如，用户可以单独提交申请使用，或者也可以是多个用户按照自己所在的业务部门或工作组的划分来提交申请使用，大数据平台会按照接收到的申请来提供服务，有些用户经常长期无故占用数据平台，导致其他工作组无法使用，资源被严重浪费。

基于上述问题，本申请中的数据平台的控制系统可以实现对数据平台进行质量管控，实现数据平台的合理利用。除此之外，该数据平台还可以实现数据平台的用户和数据资源统一管理。示例的，图1为本申请提供的一种数据平台的控制系统的示意图。如图1所示，该数据平台的控制系统包括账户管理子系统、数据质量控制子系统、数据资产管理子系统和元数据库。需要说明的是，本申请提供的数据平台的控制系统可以作为一个整体的系统提供数据平台的统一管理控制功能，同时，其中所包含的各个子系统也可以独立运行来实现该子系统相应的功能，或者部分子系统可以结合来实现该部分子系统对应的功能。以下首先对数据平台的控制系统的各部分进行介绍。

账户管理子系统可以用于进行用户管理，工作组管理，角管理，用户同步、计算资源管理，任务调度，资源授权等账户相关的服务，还可以用于管理工作需与资源队列之间的对应关系。

其中，用户可以分为个人用户和租户，可选的，个人用户可用于进行开发测试，租户区别于个人用户是线上运行任务的正式账户，租户可以根据具体业务团队进行自定义。数据平台的管理员可以通过账户管理子系统的个人用户管理模块导入人员信息和/或自定义增查改删(Create-Retrieve-Update-Delete，简称CRUD)个人用户，通过账户管理子系统的租户管理模块根据具体业务团队自定义CRUD租户，被管理员导入或添加的用户即是被作为认证的用户，用户被认证过程中账户管理子系统会实时调用用户同步接口将用户信息同步到数据平台的服务器集，从而实现用户的统一管理和认证同步，避免了用户管理混乱导致数据平台安全性较差。

工作组是数据平台上具体业务团队用户的集合，示例的，可以分为职级工作组和项目工作组，每个个人用户隶属一个职级工作组，另外每个工作组唯一对应一个租户，通过账户管理子系统的工作管理模块导入现有的职级信息和/或根据具体项目自定义CRUD工作组。

对用户权限进行管理通常是以角为基础，为避免针对角的授权混乱难以管理，本申请中的角按用户定义，由于用户分为个人用户和租户两种，因此角也分为个人角和租户角，通过账户管理子系统的角管理模块进行角的CRUD操作。

计算资源管理主要是合理分配用户提交至数据平台的任务的执行计划，通过账户管理子系统的计算资源模块管理实现计算资源队列的CRUD操作，管理工作组与资源队列之间的对应关系，在实际应用中，不同的工作组对数据平台的使用需求往往不同，例如，由于不同工作组的工作属性不同，其需要使用的数据平台资源也不同，因此可以按照工作组的类型划分对应的资源队列，确定工作组与资源队列之间的对应关系。计算资源队列的划分主要是根据业务线进行划分，多个工作组可对应一个资源队列，从而实现计算资源的业务隔离。

账户管理子系统的任务调度接口主要是提供给数据平台的外围调度系统或集客户端等提交计算任务的组件，用户通过外围调度系统或集客户端提交计算任务时，账户管理子系统判断用户所在工作组，获取工作组对应的计算资源队列，进而实现计算资源按业务隔离。此外，对于数据平台的服务器集，可以按照集类型的不同为其添加标签，不同的资源队列对应不同标签的服务器集，从而可以根据目标资源队列与服务器集的标签之间的对应关系，将目标工作组的任务提交至具有与目标资源队列对应的标签的服务器集，实现物理隔离。

此外，账户管理子系统的资源授权接口提供给数据资产管理子系统进行数据资产的授权管理。

数据资产管理子系统提供包括核心数据的归属认领，浏览查看，上线/下线，禁用/启用，生命周期管理，数据脱敏，安全级别控制，权限审批和授权管控等功能，可以根据用户的类型控制用户对数据平台中的数据资产的操作权限。数据资产管理子系统的用户基于账户管理系统的用户，示例的，根据权限不同，可将用户的角分为数据负责人，业务负责人，数据使用方，不同角的用户对数据资源的操作权限不同。

示例的，数据负责人是加工生产数据的用户，对数据准确性负责的同时可以使用数据资产管理子系统对自己加工的数据进行上线/下线，禁用/启用，数据生命周期设置，字段脱敏和安全级别设置等操作。业务负责人将自己业务团队下的所有数据资产归属到自己名下，实现数据按业务隔离，还可以通过鉴权管控进而实现数据的安全访问。数据使用方可以查看浏览数据及数据明细，但只能使用自己加工和已经申请权限的数据，如需要使用其他数据需要在数据资产管理子系统发起该数据资产的权限申请流程，审批环节有该数据负责人和业务负责人，待双方审批通过方可使用，其中在最终审批通过后数据资产管理子系统会调用账户管理子系统的资源授权接口把数据授权给发起申请流程的用户。数据资产管理子系统上的用户可以同时拥有数据负责人和业务负责人和数据使用方中的一种或多种用户角。

为了实现对数据平台的合理利用，避免部分工作组中有用户长期占用数据平台，而导致其他工作组无法使用，数据质量控制子系统获取工作组对应的数据平台记录，并根据数据平台记录确定每个工作组在数据平台的优先级。若工作组对应的数据平台记录中平台使用率较低，则该工作组的质量评分较低，优先级也较低，若工作组对应的数据平台记录中平台使用率较高，则该工作组的质量评分较高，优先级也较高。从而，账户管理子系统可以根据当前请求使用数据平台的工作组中每个工作组的优先级为每个工作组提供服务分配资源，优先为优先级高的工作组分配资源，从而实现数据平台的合理利用，避免优先级低的工作组长期占用过多资源而影响优先级高的工作组的任务执行。

具体的，数据质量控制子系统可以根据每个工作组中的每个用户的数据平台记录，确定每个用户的平台使用率，再进一步根据每个工作组中的多个用户的平台使用率确定每个工作组的平台使用率，例如将每个工作组中的多个用户的平台使用率进行加权平均处理得到每个工作组的平台使用率，也就是数据质量控制子系统可对每个用户进行质量评分，再综合每个工作组所有用户的质量评分来获得工作组的质量评分。或者，数据质量控制子系统也可以直接根据每个工作组中所有用户的数据平台记录中包括的申请信息和使用信息，直接计算每个工作组的平台使用率。

数据质量控制子系统的用户同样基于账户管理子系统的用户，但不是账户管理子系统中的所有用户都需要进行质量评分，只有用户在数据平台有计算任务或在数据资产管理子系统里有作为数据负责人的数据资产时，才需要按照该用户的数据平台记录对该用户进行质量评估。

针对计算资源质量评估，数据质量控制子系统可以每天获取用户在数据平台的所有计算任务，分析每个计算任务的资源使用情况，包括申请的总资源，使用的资源和浪费的资源，将这些数据存入元数据库，在系统上进行分维度展示，并且计算出用户历史上所有计算任务的平台使用率，即质量分数，或称为健康分数。即，数据质量控制子系统可以确定用户的每个计算任务的资源使用情况和用户所有历史任务的总体资源使用情况。同时数据质量控制子系统还可以每天将浪费资源严重的计算任务通过邮件通知数据使用方进行任务优化。

针对存储资源质量评估，数据质量控制子系统可以每天通过获取数据资产管理系统里用户为数据负责人的所有数据资产，同时会分析该用户所有这些数据资产在数据平台的计算任务里被调用的频次来计算该用户数据资产的不同热度值，将这些数据存入元数据库，在系统上进行展示。数据资产被调用的频次越高，则热度值越高，也表示该数据资产占用的存储资源没有被浪费，因此用户的质量分数较高，即健康分数较高。此外，还可以计算出该用户历史数据资产存储的总体质量分数，或称为总体健康分数。同时数据质量控制子系统每天针对一些数据资产热度值比较低的数据资产发送邮件给该用户建议修改数据资产的生命周期，避免长期存储热度值较低的数据资产。通过数据质量控制子系统不断推动用户优化计算资源和数据资产的存储周期，提高用户整体的计算和存储总的健康分值来达到数据平台资源的合理使用。

数据质量控制子系统根据用户的平台使用率确定工作组的平台使用率后，确定出工作组的优先级，工作组的平台使用率越高，则优先级越高，资源利用率越低，则优先级越低。相应的，账户管理子系统在为工作组进行资源分配时，优先为优先级较高的工作组分配资源，从而有限保证资源利用率高的工作组的计算任务的执行和数据资产的存储，避免资源利用率低的工作组的计算任务或数据资源长期占用过多资源而导致其他工作组无法使用。

上述账户管理子系统、数据资产管理子系统和数据质量控制子系统的元数据信息均可以存储在元数据库中。具体的，元数据库中可以包括用户信息，工作组信息，角信息，计算资源队列信息，数据资产信息，数据质量信息和其他各种关联数据信息。其中，用户信息主要包括个人用户和租户信息，工作组信息包括职级工作组和项目工作组信息。角信息包括个人用户角和租户角信息。数据资产信息主要包括核心数据库表资源信息及库表资源归属和库表资源审批授权信息。数据质量信息存储主要包括数据资源的存储质量评分信息和数据资源计算质量评分信息等。

本申请提供的数据平台的控制系统实现了数据平台元数据的统一存储管理，通过账户管理子系统实现了账户的统一管理认证；通过数据资产管理子系统和账户管理子系统实现了数据资源统一授权和安全防护；通过账户管理子系统中的资源队列管理实现了计算资源和数据资产的业务隔离；同时还通过数据质量控制子系统实现了数据资源的质量控制，推动优化计算和存储资源，降低了数据平台的总成本。

基于上述数据平台的控制系统，对通过数据质量控制子系统和账户管理子系统对数据平台进行控制的方法进行说明。图2为本申请提供的一种数据平台的控制方法的流程示意图。如图2所示，该方法包括：

S201、接收多个工作组的数据平台使用申请。

其中，每个工作组包括多个用户

在数据平台的实际使用中，会有多个工作组请求使用数据平台，数据平台的控制系统在接收到请求后为每个工作组提供相应的服务。工作组请求的数据资源可以是计算资源和/或存储资源。工作组的使用申请可以是该工作组中的任一用户提交的。

S202、获取与多个工作组对应的数据平台记录。

其中，数据平台记录包括：工作组向数据平台提交的申请信息及其对应的使用信息。

工作组使用数据平台可以包括通过数据平台的计算资源执行计算任务，或者使用数据平台的存储资源存储数据，在工作组的数据平台记录中包括了工作组提交使用申请时的申请信息以及对应的使用情况，即在数据平台记录中所申请的资源的使用情况。

S203、根据多个工作组的数据平台记录确定多个工作组的优先级。

根据工作组的数据平台记录中对数据资源的使用情况，可以确定工作组是否存在资源浪费。例如，若工作组申请了较多资源，但最终实际使用的资源较少，则确定该工作组存在资源浪费。或者，若工作组申请的存储资源周期较长，但工作组存储的数据从未被使用过或较少使用，则表示该存储资源被浪费。通过工作组的历史数据中的资源使用情况确定工作组的优先级。显然，若工作组的资源浪费越少，则工作组的优先级越高，相反的，若工作组的资源浪费越多，则用户的优先级越低。可以理解的是，由于一个工作组包括多个用户，因此若工作组中有较多用户在使用数据平台时存在浪费，则会导致该工作组的优先级较低。相反，若工作组中有较少用户甚至没有用户在使用数据平台时存在浪费，则该工作组的优先级较高。

S204、控制数据平台按照多个工作组的优先级从高到低的顺序为多个工作组提供使用服务。

在有多个工作组申请使用数据平台时，按照每个工作组的优先级顺序，优先为优先级高的工作组提供服务。若工作组的优先级较低，则表示该工作组申请到资源后较少使用申请到的资源，即资源利用率较低，从而导致资源被无故占用浪费，而其他工作组却无法使用。因此，本实施例中，优先满足优先级高的工作组，使得数据平台能够得到合理利用，数据资源的利用率更高。

本实施例提供的资源分配方法，S201和S204可以是上述实施例中账户管理子系统实现的步骤，S202和S203可以是数据质量控制子系统实现的步骤。根据工作组使用数据平台的记录，确定工作组的优先级，保证了平台使用率高的工作组可以优先使用数据平台，避免了平台使用率低的用户长期占用资源而导致其他工作组无法使用，避免了数据平台的资源浪费，降低了数据平台的成本。

需要说明的是，上述实施例中，S202和S203中确定工作组优先级的步骤也可以在S201之前执行，即数据质量控制子系统可以预先根据每个工作组的数据平台记录确定每个工作组的优先级，从而账户管理子系统在接收到数据平台使用申请时，可以直接根据每个工作组的优先级为每个工作组提供服务。

在上述实施例的基础上，进一步对如何根据数据平台记录确定工作组的优先级进行说明。具体的，根据多个工作组的数据平台记录确定每个工作组的平台使用率；根据平台使用率确定每个用户的优先级；平台使用率越高，则相应的优先级越高。

当工作组的数据平台使用申请用于提交计算任务时，针对计算资源，根据数据平台记录中每个工作组向数据平台提交计算任务时申请的计算资源，以及计算任务执行时使用的计算资源，确定每个工作组的平台使用率。

具体的，可以先计算每个工作组中每个用户的平台使用率，再进一步根据每个工作组中的多个用户的平台使用率确定每个工作组的平台使用率。例如，可以对每个工作组中的多个用户的平台使用率进行加权平均处理。以下对每个用户的平台使用率进行介绍。

示例的，用户甲向数据平台提交计算任务a时申请内存64G，而用户甲数据平台记录中该任务a实际执行过程中所使用的内存为20G，则用户甲的任务a的平台使用率为31.25％。用户乙向数据平台提交计算任务b时申请内存64G，而用户乙历史数据中该任务b实际执行过程中所使用的内存为50G，则用户的任务b的平台使用率为78.125％。通过对用户的数据平台记录中所有计算任务进行汇总计算，例如可以将每个任务的资源利用率进行加权处理，即可确定用户整体的计算资源利用率，还可以确定用户的历史任务中资源利用率较高或较低的前若干个任务。

当用户的数据平台使用申请用于提交存储任务时，针对存储资源，根据数据平台记录中每个用户在数据平台中存储的数据资产在数据平台的计算任务中被调用的次数，确定每个用户的平台使用率。

示例的，用户丙一年前在数据平台中存储了数据文件c，在这一年中，该数据文件c仅被调用了一次，显然，用户的数据文件c所占用的存储资源利用率较低。在实际应用中，可以根据数据资产占用存储资源的大小和周期，以及被调用的频次来共同确定平台使用率。将用户的所存储的所有数据资源的平台使用率进行汇总计算，即可确定用户整体的存储资源的平台使用率。

对于平台使用率较低的用户和工作组，除了降低用户和工作组的优先级，还可以通过其他方式提醒用户进行优化。示例的，将用户和工作组的平台使用率通过邮件发送至用户，或者将平台使用率输出至用户界面以提示用户。对于计算资源利用率较低的用户，提醒用户在提交计算任务时申请较少的资源；对于存储资源利用率较低的用户，提醒用户缩短数据资产的生命周期。通过系统按照优先级进行资源分配，以及提醒用户自行进行资源优化调整，来达到数据平台资源的合理使用。

进一步的，用户通过工作组提交计算任务至数据平台时，数据平台的管理系统除了按照优先级进行资源分配外，还根据工作组与资源队列之间的对应关系，将目标工作组的任务提交至数据平台中与目标工作组对应的目标资源队列。

具体的，计算资源队列的划分主要是根据业务线进行划分，每个用户所在的工作组有对应的资源队列，例如，不同业务线的工作组中的用户提交的计算任务所需要的资源类型可能不同，根据工作组的类型和资源队列的类型可以确定工作组与资源队列之间的对应关系，将目标工作组的任务提交至数据平台中与目标工作组对应的目标资源队列，从而实现计算资源的业务隔离，避免资源队列使用混乱，非核心任务影响核心任务等问题，提高了资源利用率。

此外，对于数据平台的服务器集，可以按照集类型的不同为其添加标签，不同的资源队列对应不同标签的服务器集，从而可以根据目标资源队列与服务器集的标签之间的对应关系，将目标工作组的任务提交至具有与目标资源队列对应的标签的服务器集，实现资源的物理隔离。

图3为本申请提供的一种电子设备的结构示意图。如图3所示，电子设备30包括存储器301和处理器302。可选的，存储器301和处理器302通过总线303连接。

存储器301用于存储计算机程序。处理器302用于在计算机程序执行时，实现上述方法实施例中的方法。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述方法实施例中的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。