资源管理方法及装置

本发明涉及计算机技术领域，尤其涉及一种资源管理方法及装置。

在分布式数据库系统中，资源的申请和释放过程中可能出现网络延迟导致请求超时或者重复发送资源申请的情况，会导致资源节点短时间内丢失然后再次重连，甚至可能导致某个资源节点崩溃。因此造成资源申请不正确或者导致资源申请失败，从而影响集任务的正常运行。

本发明提供一种资源管理方法及装置，用以解决现有技术中资源申请失败的技术问题。

第一方面，本发明提供一种资源管理方法，包括：

根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

在一个实施例中，所述资源管理方法，还包括：

在所述资源队列初始化完成的情况下，通过异步线程确定所述资源队列中缓存的本地资源；

在所述本地资源小于等于预设配额的情况下，通过所述异步线程进行资源申请；

在所述本地资源大于所述预设配额的情况下，释放多余的本地资源。

在一个实施例中，所述资源管理方法，还包括：

根据结构化查询语言SQL对应的各子计划的预估资源进行资源申请；

在所述预估资源超过当前资源队列的SQL使用资源阈值的情况下，生成报错信息；

在所述预估资源不超过所述当前资源队列的SQL使用资源阈值的情况下，将所述预估资源对应的资源申请加入等待队列；

在确定所述预估资源对应的资源申请成功的情况下，执行所述SQL对应的各子计划。

在一个实施例中，所述资源管理方法，还包括：

在所述SQL对应的各子计划执行完成的情况下，释放所述SQL对应的各子计划使用的资源。

在一个实施例中，所述基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请包括：

在所述资源队列中的可用资源小于目标申请资源的情况下，基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列向预留资源队列申请预留资源。

在一个实施例中，所述资源管理方法，还包括：

在所述资源队列中的可用资源大于等于目标申请资源的情况下，将所述资源队列中的可用资源分配至所述目标申请资源对应的资源队列。

在一个实施例中，所述资源管理方法，还包括：

在所述SQL未解析成对应的各子计划之前，在预定队列的使用资源不超过所述预定队列的SQL使用资源阈值的情况下，将所述SQL加入所述预定队列中进行预定排队；

在所述SQL被允许加入等待队列的情况下，通过所述等待队列进行资源申请。

第二方面，本发明提供一种资源管理装置，包括：

确定模块，用于根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

申请模块，用于基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

第三方面，本发明提供一种电子设备，包括存储器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述资源管理方法的步骤。

第四方面，本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行第一方面所述资源管理方法的步骤。

本发明提供的资源管理方法及装置，通过资源队列的优先级分数和资源队列申请资源的大小，确定资源队列的资源分片结果，可以根据不同优先级的资源分片结果实现资源合理划分；还通过资源分片结果和资源队列对应的预设优先级，对资源队列进行资源分配，可以使得不同优先级的资源队列都能够申请到资源，从而实现高可用的资源管理。

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的资源管理方法的流程示意图；

图2是本发明提供的资源管理装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的资源管理方法的流程示意图。参照图1，本发明提供的资源管理方法包括：

步骤110、根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

步骤120、基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

本发明提供的资源管理方法的执行主体可以是分布式系统或分布式数据库。

下面以分布式数据库执行本发明提供的资源管理方法为例，详细说明本发明的技术方案。

可选地，分布式数据库可以包括如下模块：GRM(Global Resource Manager，全局资源管理)模块、LRM(Local Resource Manager，本地资源管理)模块，Resource Queue资源队列模块。GRM模块主要负责全局资源管理，包含接收节点资源注册信息和各个节点资源的申请。LRM模块主要负责本地资源收集、注册和本地资源管理。资源队列是GRM模块中的资源队列，对GRM模块中整体的资源按照队列的形式划分。不同的资源队列可以有不同的功能，也可以对应不同的用户，还可以对应不同的预设优先级。

可选地，资源节点启动之后，LRM模块先向zookeeper注册当前节点，然后利用zookeeper的领导者leader选举机制选出一个leader节点作为GRM模块。GRM模块被选举出来之后，LRM模块会将本地资源信息上报给GRM模块。如果是初次启动节点，LRM模块只上报当前节点资源信息。如果是节点运行过程中，Leader节点改变导致的资源上报，上报信息还需要包含当前节点的资源使用信息。

需要说明的是，ZooKeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

可选地，资源节点如果在运行过程中崩溃或者停止，LRM模块不负责向GRM模块发送节点释放资源信息，由zookeeper负责向GRM模块发送节点资源释放信息。GRM模块接收到zookeeper的资源释放信息后，会检查当前节点的资源使用情况，如果当前节点有资源没有释放，会主动释放资源，然后释放当前节点在GRM模块中的注册资源信息。

可选地，GRM模块在接收到zookeeper的通知成为Leader后，GRM模块首先会读取在HDFS(Hadoop Distributed File System，分布式文件系统)的资源队列信息，根据HDFS保存的资源队列信息初始化资源队列。在资源队列初始化成功之后。GRM模块会根据资源队列的静态信息将LRM模块上报的节点分配到资源队列中。其中，资源队列的静态信息可以包括队列名称、分类标识、CPU请求值和限制值、内存请求值和限制值、已创建时间数据等。

可选地，如果LRM模块上报的节点资源信息携带当前节点资源的使用的资源信息，GRM模块首先会把各个节点的资源使用信息恢复，即获取当前节点的资源信息和已经使用的资源信息，然后才对外提供服务。因为在进行leader节点切换后，新的leader节点需要获知之前的各个节点的资源使用信息。

可选地，GRM模块中的资源队列恢复成功后，会给LRM模块发送信息，将可以对外提供的资源队列发送给LRM模块，LRM模块会根据队列配置信息向GRM模块申请缓存到LRM模块的资源信息，供SQL运行过程申请运行时需要的资源。

可选地，在运行过程中，可以实时对资源队列进行修改，修改资源队列的属性，包含对SQL资源使用的限制，对预留资源队列资源的使用的最大额度，当前资源队列的额度配置，LRM模块资源缓存的大小，资源队列的优先级等。

可选地，在步骤110中，不同资源队列设有不同的预设优先级，不同的预设优先级可以对应不同的分数。

例如：可以将资源队列分为MAX最高、HIGH高、MIDDLE中和LOW低四个等级。根据从高到低的等级设置对应的优先级分数为：100000、10、3和1。预设优先级为MAX的资源队列具有最高的优先级，此类资源队列请求的资源不需要进行分片。

可选地，在资源队列出现资源竞争的情况下，可以根据资源队列的优先级分数和资源队列申请资源的大小，确定资源队列的资源分片结果。资源分片算法可以根据资源队列优先级分数设置。例如：资源队列的分片算法可以为：资源分片结果＝((14-当前资源队列优先级分数)*申请资源大小)/(当前资源队列优先级分数)。

可选地，在步骤120中，根据不同预设优先级的资源队列分片结果，资源队列按照预设优先级排序进行资源申请。

例如：假设有资源队列A，优先级为高，对应的优先级分数为10；资源队列B，优先级为中，对应的优先级分数为3。上述两个资源队列均申请100M资源。则根据资源分片算法有：

资源队列A的资源分片结果为：

资源队列B的资源分片结果为：

根据预设优先级排序，申请资源的顺序为：资源队列A、资源队列B。则有资源队列A可以申请40M资源，资源队列B可以申请60M资源。经过资源分片后，既能保证高优先级资源队列优先申请到资源，也能保证低优先级资源队列可以申请到资源，不会出现低优先级资源队列一直申请不到资源的情况。

本发明提供的资源管理方法，通过资源队列的优先级分数和资源队列申请资源的大小，确定资源队列的资源分片结果，可以根据不同优先级的资源分片结果实现资源合理划分；还通过资源分片结果和资源队列对应的预设优先级，对资源队列进行资源分配，可以使得不同优先级的资源队列都能够申请到资源，从而实现高可用的资源管理。

在一个实施例中，所述资源管理方法，还包括：

在所述资源队列初始化完成的情况下，通过异步线程确定所述资源队列中缓存的本地资源；

在所述本地资源小于等于预设配额的情况下，通过所述异步线程进行资源申请；

在所述本地资源大于所述预设配额的情况下，释放多余的本地资源。

可选地，在分布式数据库运行的过程中，SQL(Structured Query Language，结构化查询语言)会分为解析之前和解析之后两个过程，在解析之前SQL只是一个字符串存储，但是在解析之后可能是一个很庞大的逻辑计划，此逻辑计划可能需要很大的内存存储。为了减少此逻辑计划展开之后物理内存的消耗，资源申请可以分为如下四个阶段：资源预定、预估资源申请、运行时资源申请和释放和预估资源释放。

可选地，在SQL运行过程中，通过动态扩展内存以加快其运行速度。此时资源申请可能会很频繁，如果每次内存申请都向GRM模块申请，那么每次内存申请都会通过RPC(Remote Procedure Call，远程过程调用)操作。频繁的RPC操作不但会造成网络压力，还可能影响SQL的整体性能。LRM模块中存在与GRM模块对应的资源队列，此资源队列在初始化完成之后，会向GRM模块申请预设配额的内存缓存到本地，此缓存资源以供SQL运行时的资源申请。LRM模块中的后台设有一个异步线程定时检查LRM中资源队列中缓存的本地资源大小，如果本地资源小于预设配额，或者通知增大本地资源配额，LRM模块会通过异步线程向GRM模块申请配额资源。同样，在运行时资源的释放过程中，SQL的逻辑计划执行计划完成后，会先释放使用完的资源到LRM模块的资源队列中。LRM的后台线程检查到本地资源队列中缓存的本地资源大于预设配额，就会将多余的本地资源释放给GRM模块。

本发明提供的资源管理方法，通过异步线程确认资源队列中缓存的本地资源与预设配额的大小关系，并通过异步线程调节本地资源的大小，可以减少RPC的通信次数，从而减少向GRM模块申请资源的次数；同时可以提高运行时资源申请的效率，进一步可以提高SQL的性能。

在一个实施例中，所述资源管理方法，还包括：

根据结构化查询语言SQL对应的各子计划的预估资源进行资源申请；

在所述预估资源超过当前资源队列的SQL使用资源阈值的情况下，生成报错信息；

在所述预估资源不超过所述当前资源队列的SQL使用资源阈值的情况下，将所述预估资源对应的资源申请加入等待队列；

在确定所述预估资源对应的资源申请成功的情况下，执行所述SQL对应的各子计划。

可选地，在SQL做计划展开之后，可以对SQL的每个子计划进行资源预估，按照当前的预估资源进行资源申请。如果预估资源超过当前资源队列限制的SQL使用资源大小，则生成报错信息。如果没有超过当前资源队列限制的SQL使用资源大小，则将此资源申请加入到等待waiting队列。后台会根据资源实时情况判断其是否申请到资源，如果申请到资源则返回至资源申请对应的资源队列，通知该资源队列资源申请成功，同时可以执行SQL对应的各子计划。

可选地，SQL在资源申请过程中的状态可以用于预定book队列，等待waiting队列，运行runtime队列表示。预定book队列用于表示SQL申请资源之前预定排队的状态，waiting队列用于表示SQL申请资源的状态，在当前资源不满足资源申请的情况下，waiting队列中的资源申请处于等待状态。运行runtime队列用于表示SQL申请到资源后的运行状态。本发明提供的资源管理方法，通过在SQL做计划展开后，对SQL进行资源预估，可以提高资源申请的效率。

在一个实施例中，所述资源管理方法，还包括：

在所述SQL对应的各子计划执行完成的情况下，释放所述SQL对应的各子计划使用的资源。

可选地，在一个SQL执行完成之后，该SQL使用的资源会被释放。因为一个SQL会被拆分成多个子计划，每个子计划的资源是独立的，而且每个子计划执行完成的时间不一样。如果等到所有子计划都执行完成之后再释放资源，可能会造成资源的浪费。所以在资源申请资源申请和使用过程中，先统一申请资源，再在每个子计划执行完成之后分步释放资源，以使子计划的资源可以很快被利用。

本发明提供的资源管理方法，通过在SQL执行完成之后及时释放资源，可以提高资源使用率。

在一个实施例中，所述基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请包括：

在所述资源队列中的可用资源小于目标申请资源的情况下，基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列向预留资源队列申请预留资源。

可选地，GRM模块在初始化时会默认创建三个资源队列：ROOT资源队列、DEFAULT资源队列和GENERAL资源队列。ROOT队列是根队列，DEFAULT资源队列和GENERAL资源队列是ROOT队列的子队列。在运行过程中，DBA(Database Administrator，数据库管理员)可以根据需求创建用户资源队列，如USER资源队列，可以包括USER1资源队列和USER2资源队列。DEFAULT资源队列可以给没有指定资源队列的用户执行SQL。GENERAL资源队列是预留公共资源供其他资源队列使用，即预留资源队列。而GENERAL资源队列的资源不能被用户直接使用，用户通过USER资源队列申请资源时，在USER资源队列的可用资源小于用户目标申请资源的情况下，USER资源队列会向预留资源队列申请预留资源。

可选地，预留资源队列中有优先级的策略，可以对进行资源申请的资源队列进行资源分片，根据资源分片结果和资源队列对应的预设优先级，该资源队列向预留资源队列申请预留资源。

本发明提供的资源管理方法，通过预留资源队列预留资源，从而可以提供公共的资源供各个资源队列之间相互抢占，同时可以提高资源使用的灵活性。

在一个实施例中，所述资源管理方法，还包括：

在所述资源队列中的可用资源大于等于目标申请资源的情况下，将所述资源队列中的可用资源分配至所述目标申请资源对应的用户资源队列。

可选地，资源队列中的可用资源大于目标申请资源的情况下，资源队列中的可用资源可以根据不同资源队列的资源申请分配与之对应的目标申请资源。例如：用户通过USER资源队列申请资源时，在USER资源队列的可用资源大于等于用户目标申请资源的情况下，USER资源队列可以分配USER1资源队列和USER2资源队列对应的用户使用资源，即可以指定不同的用户使用，同时能够使USER1资源队列和USER2资源队列对应的用户使用资源实现隔离。

本发明提供的资源管理方法，通过根据目标资源申请，分配给对应的资源队列相应的资源，使得不同资源队列可以使用不同的资源，进而可以隔离资源队列之间的资源，保证资源使用的独立性。

在一个实施例中，所述资源管理方法，还包括：

在所述SQL未解析成对应的各子计划之前，在预定队列的使用资源不超过所述预定队列的SQL使用资源阈值的情况下，将所述SQL加入所述预定队列中进行预定排队；

在所述SQL被允许加入等待队列的情况下，通过所述等待队列进行资源申请。

可选地，在资源申请过程中，在预定book队列、等待waiting队列和运行runtime队列的内存空间均存在空余的情况下，SQL先进入book队列中进行预定排队，再进入waiting队列中进行资源申请，资源申请成功后SQL进入runtime中队列执行。其中，book队列可以设置相对较大的内存空间。

可选地，在SQL没有做计划展开的情况下，需要在资源队列中的book队列进行预定排队，如果book队列的内存空间已满，说明此时当前资源队列运行SQL的最大内存空间已满，因此不能对外提供服务。如果book队列的内存空间没有满，则SQL会继续在后台进行排队，如果当前book队列的SQL被允许行进入waiting队列，则能够进行资源申请。

本发明提供的资源管理方法，通过在SQL未解析之前先进行资源预定，可以提高资源申请的效率。

下面对本发明提供的资源管理装置进行描述，下文描述的资源管理装置与上文描述的资源管理方法可相互对应参照。

图2为本发明提供的资源管理装置的结构示意图，如图2所示，该装置包括：

确定模块210，用于根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

申请模块220，用于基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

本发明提供的资源管理装置，通过资源队列的优先级分数和资源队列申请资源的大小，确定资源队列的资源分片结果，可以根据不同优先级的资源分片结果实现资源合理划分；还通过资源分片结果和资源队列对应的预设优先级，对资源队列进行资源分配，可以使得不同优先级的资源队列都能够申请到资源，从而实现高可用的资源管理。

在一个实施例中，所述资源管理装置，还包括异步线程模块(未示出)，具体用于：

在所述资源队列初始化完成的情况下，通过异步线程确定所述资源队列中缓存的本地资源；

在所述本地资源小于等于预设配额的情况下，通过所述异步线程进行资源申请；

在所述本地资源大于所述预设配额的情况下，释放多余的本地资源。

在一个实施例中，所述资源管理装置，还包括资源预估模块(未示出)，具体用于：

根据结构化查询语言SQL对应的各子计划的预估资源进行资源申请；

在所述预估资源超过当前资源队列的SQL使用资源阈值的情况下，生成报错信息；

在所述预估资源不超过所述当前资源队列的SQL使用资源阈值的情况下，将所述预估资源对应的资源申请加入等待队列；

在确定所述预估资源对应的资源申请成功的情况下，执行所述SQL对应的各子计划。

在一个实施例中，所述资源管理装置，还包括资源释放模块(未示出)，具体用于：

在所述SQL对应的各子计划执行完成的情况下，释放所述SQL对应的各子计划使用的资源。

在一个实施例中，所述申请模块220，具体用于：

在所述资源队列中的可用资源小于目标申请资源的情况下，基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列向预留资源队列申请预留资源。

在一个实施例中，所述资源管理装置，还包括资源分配模块(未示出)，具体用于：

在所述资源队列中的可用资源大于等于目标申请资源的情况下，将所述资源队列中的可用资源分配至所述目标申请资源对应的资源队列。

在一个实施例中，所述资源管理装置，还包括资源预定模块(未示出)，具体用于：

在所述SQL未解析成对应的各子计划之前，在预定队列的使用资源不超过所述预定队列的SQL使用资源阈值的情况下，将所述SQL加入所述预定队列中进行预定排队；

在所述SQL被允许加入等待队列的情况下，通过所述等待队列进行资源申请。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communication Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的计算机程序，以执行资源管理方法的步骤，例如包括：

根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的资源管理方法，该方法包括：

根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的方法，例如包括：

根据资源队列的优先级分数和所述资源队列申请资源的大小，确定所述资源队列的资源分片结果；

基于所述资源分片结果和所述资源队列对应的预设优先级，通过所述资源队列进行资源申请；

其中，所述优先级分数基于所述预设优先级确定。

所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。