资源分配方法、装置、存储介质及电子设备

本申请涉及资源管理技术领域，具体涉及一种资源分配方法、装置、存储介质及电子设备。

在深度学习技术领域中，模型要表现出更好的性能，需要增大数据规模，然而，更大模型的训练也带来了更大量的矩阵运算，为了加快模型的训练速度，通常需要使用较多的计算资源进行加速处理，但服务器上资源有限且价格昂贵。

在构建深度学习训练环境中，对于不同的深度学习模型，其存在不同的资源使用需求，在部分计算资源分配后，并没有被充分的计算执行，因此，如何提高计算资源的使用效率是目前需要解决的技术问题。

鉴于上述问题，本申请提供一种资源分配方法、装置、存储介质及电子设备，以实现根据计算资源的申请需求，分配更合理的剩余资源量，提高资源的使用效率。

第一方面，本申请实施例提供了一种资源分配方法，应用于服务器集，所述服务器集包括多个服务器，所述方法包括：接收资源申请请求；确定每个所述服务器的剩余资源量；基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配。

在一实施例中，所述资源申请请求包括：申请用途信息；所述方法还包括：将所述剩余资源量按资源量大小依次排序，获得剩余资源量排序结果；所述基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配，包括：基于所述申请用途信息，对所述资源申请请求进行优先级排序，获得第一排序结果；根据第一排序结果和剩余资源量排序结果将剩余资源量从大到小依次进行分配，其中，剩余资源量的分配优先级为所述第一排序结果大于所述剩余资源量排序结果。

在一实施例中，所述剩余资源量包括：GPU剩余计算资源量、CPU剩余计算资源量和内存剩余计算资源量；所述将所述剩余资源量按资源量大小依次排序，获得剩余资源量排序结果，包括：将所述GPU剩余计算资源量从大到小依次排序，将所述CPU剩余计算资源量从大到小依次排序，以及，将所述内存剩余计算资源量从大到小依次排序；其中，所述GPU剩余计算资源量的排序优先级大于所述CPU剩余计算资源量，所述CPU剩余计算资源量的排序优先级大于所述内存剩余计算资源量。

在一实施例中，所述基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配，还包括：基于所述GPU剩余计算资源量、所述CPU剩余计算资源量和所述内存剩余计算资源量的排序顺序调整所述第一排序结果，获得第二排序结果；根据第二排序结果将剩余资源量从大到小依次进行分配。

在一实施例中，所述资源申请请求还包括：模型训练数据量和模型迭代次数；所述基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配，还包括：计算所述模型训练数据量与所述模型迭代次数的乘积，获得乘积结果；基于所述乘积结果按从大到小的先后顺序调整所述第二排序结果，获得第三排序结果；根据第三排序结果将剩余资源量从大到小依次进行分配。

在一实施例中，所述方法还包括：判断对所述剩余资源量是否分配成功；当确定对所述剩余资源量分配成功时，删除所述资源申请请求；当确定对所述剩余资源量分配失败时，接收更换的资源申请请求，直至所述剩余资源量满足所述更换的资源申请请求或所述剩余资源量不满足所有更换的资源申请请求。

在一实施例中，所述确定每个所述服务器的剩余资源量，包括：获取每个所述服务器的资源的状态信息；其中，所述资源的状态信息包括：资源总量和资源使用量；基于所述资源总量和所述资源使用量，确定每个所述服务器的所述剩余资源量。

第二方面，本申请实施例提供了一种资源分配装置，应用于服务器集，所述服务器集包括多个服务器，资源分配装置包括：接受模块，用于接收资源申请请求。确定模块，用于确定每个所述服务器的剩余资源量。分配模块，用于基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配。

第三方面，本申请实施例提供一种电子设备，该设备包括：至少一个处理器和存储器；处理器用于执行存储器中储存的计算机程序，以实现如第一方面任一项实施方式所介绍的资源分配方法。

第四方面，本申请实施例提供一种计算机存储介质，该计算机存储介质储存有一个或多个程序，一个或者多个程序可被如第三方面介绍的电子设备执行，以实现如第一方面任一项实施方式所介绍的资源分配方法。

本申请实施例提供的一种资源分配方法、装置、存储介质及电子设备，应用于服务器集，服务器集包括多个服务器，能够根据不同深度学习环境接收资源申请请求，并确认确定每个所述服务器的剩余资源量，基于所述资源申请请求和所述剩余资源量，对所述剩余资源量进行分配，根据实际资源申请请求来分配更合理的服务器剩余资源量，提高了资源的使用效率。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围，本申请的其它特征将通过以下的说明书而变得容易理解。

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1示出了本申请一实施例中提出的一种资源分配方法的流程示意图；

图2示出了本申请一实施例中提出的一种资源分配方法的应用场景示意图；

图3示出了本申请一实施例中提出的一种资源分配装置的结构框图；

图4示出了本申请实施例中提出的用于执行根据本申请实施例的资源分配方法的电子设备的结构框图；

图5示出了本申请实施例中提出的用于保存或者携带实现根据本申请实施例的资源分配方法的计算机可读存储介质。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

与传统机器学习相比，深度学习能够随着数据规模的增大，模型表现出更好的性能。更大规模的训练数据也带来了更大量的矩阵运算，为加快模型的训练速度，通常使用GPU进行加速处理。但服务器上的GPU资源数量有限且价格昂贵，如何提高深度学习模型训练的GPU使用效率就变得非常重要。

针对上述问题，考虑到现有技术中问题，申请人提出了本申请实施例的资源分配方法、装置、存储介质及电子设备，能够根据深度学习环境的资源使用需求来接收求对服务器集的资源申请，并得到服务器集中各个服务器的剩余资源量，根据不同的申请请求来适配对应的剩余资源量的相应服务器，以完成在对应服务器上剩余资源量的分配，使得请求分配更合理，提高资源的使用效率。其中，资源分配方法在后续的实施例中进行详细说明。

本申请实施例所涉及的资源分配方法可以是应用于如图3所示的资源分配装置300与如图4所示的电子设备200。电子设备200可以是一个或多个，本申请实施例对此不做具体限定，其中，电子设备可以是手机、电脑、虚拟机等设备。

下面将结合附图2，本申请的资源分配方法应用在服务器集中，其中服务器集可以包括是GPU服务器集、CPU服务器集以及内存服务器集，本申请的各项实施例的具体描述如下。

请参阅图1，图1为本申请实施例提供的一种资源分配方法的流程示意图，应用于服务器集，所述服务器集包括多个服务器，该方法可以包括步骤S110至步骤S130。

步骤S110：接收资源申请请求。

本申请实施例中，资源申请请求可以是通过电子设备创建的资源申请请求，服务器集可以接收该资源申请请求。

示例性地，如图2所示，申请请求可以是在用户端由电脑在构建深度学习环境所构建的资源申请请求，其中，服务器集可以是在使用GPU服务器搭建集，并在集上搭建机器学习平台。

步骤S120：确定每个服务器的剩余资源量。

在本申请实施例中，在服务器集可以包括多个服务器，每个服务器都具有其资源和自身的剩余资源量，作为一种方式，可以通过对服务器集中各个服务器进行监控以确定每个服务器的剩余资源量。

步骤S130：基于资源申请请求和剩余资源量，对剩余资源量进行分配。

在本申请实施例中，通过对服务器集进行监控，可以将剩余资源量进行统计，得到各个服务器的剩余资源情况，通过分析资源申请请求来将对应剩余资源量的服务器和资源申请请求所匹配，以完成资源的合理分配与调度，提高了服务器资源的使用效率。

考虑到，在相关技术中，深度学习模型根据用途进行开发和训练，计算资源通常被提前分配确定，但被分配好的计算资源在编写代码开发模型时，其占用计算资源较少，在训练过程中才需要大量的计算资源。在需要占用使用大量计算资源时，部分计算资源分配给了开发过程中，并没有被计算执行，因此，如何进一步提高资源的使用效率是需要解决的技术问题。

在一些实施例中，资源申请请求包括：申请用途信息；资源分配方法，还可以包括步骤S122至步骤S134。

步骤S122：将剩余资源量按资源量大小依次排序，获得剩余资源量排序结果。

在本申请实施例中，在得到通过对服务器集统计得到剩余资源量后，对剩余资源量做排序处理，按资源量大小得到剩余资源量排序结果。

基于资源申请请求和剩余资源量，对剩余资源量进行分配，包括：

步骤S132：基于申请用途信息，对资源申请请求进行优先级排序，获得第一排序结果。

在本申请实施例中，申请用途信息可以包括模型训练和模型开发，在一方面，考虑到在深度学习的训练环境中，当用户在编写代码开发模型时，通常只需要少量的测试数据来测试代码是否正确，此时可为用户不分配或只分配少量运算资源。在另一方面，当代码开发完成，开始正式训练深度学习模型时，则需要为资源申请请求的环境提供充足的资源。当资源申请请求被分配大量运算资源时，而训练环境中又没有大量的计算任务被执行，此时就产生了资源的浪费。对资源申请请求进行优先级排序，获得第一排序结果，可以将模型训练的优先级设置为高于模型开发，来对申请用途做排序，以满足资源申请请求的刚需性，即，得到第一排序结果中模型训练位靠前于模型开发。

步骤S134：根据第一排序结果和剩余资源量排序结果将剩余资源量从大到小依次进行分配，其中，剩余资源量的分配优先级为第一排序结果大于剩余资源量排序结果。

在本申请实施例中，由于模型训练存在需要的资源量较多，因此对剩余资源量排序结果得到的剩余资源量按由大到小来分配，即，模型训练分配的资源量要靠前于模型开发的资源量。即便需求的剩余资源量较多的资源申请请求，也按照第一排序结果来优先分配剩余资源量。

考虑到在深度学习环境中，运算资源包括了内存、CPU、GPU等，结合在深度学习加速模型处理过程中，上述资源的效率存在差异。

在一些可能的实施方式中，剩余资源量包括：GPU剩余计算资源量、CPU剩余计算资源量和内存剩余计算资源量，步骤S122还可以包括步骤S1221至步骤S1223。

步骤S1221：将GPU剩余计算资源量从大到小依次排序。

步骤S1222：将CPU剩余计算资源量从大到小依次排序。

步骤S1223：将内存剩余计算资源量从大到小依次排序。

在上述步骤中，GPU剩余计算资源量的排序优先级大于CPU剩余计算资源量，CPU剩余计算资源量的排序优先级大于内存剩余计算资源量。

在本申请实施例中，为了资源使用的效率最大化，避免GPU资源，内存、CPU计算资源的浪费，通过对上述各类资源设置优先级排序，来获得一个高效的剩余资源量排序结果。

在一些可能的实施方式中，步骤S130还可以包括步骤S136至步骤S138。

步骤S136：基于GPU剩余计算资源量、CPU剩余计算资源量和内存剩余计算资源量的排序顺序调整第一排序结果，获得第二排序结果。

步骤S138：根据第二排序结果将剩余资源量从大到小依次进行分配。

在本申请实施例中，通过对GPU剩余计算资源量、CPU剩余计算资源量和内存剩余计算资源量设置排序优先级来调整第一排序结果的优先级，使得在新建立资源申请请求的情况下，能够到的第一个能满足所需的服务器。

示例性地，当某台服务器上的GPU资源全部分配出去，而剩余大量的内存和CPU资源时，当用户需要开发时，可以在这些机器进行创建。当用户需要训练时，可以在剩余有GPU资源的服务器进行创建，来更合理地使用资源。

需要说明的是，任务调度队列对待创建的资源申请请求按任务优先级和资源使用量进行排序，若任务优先级高则排在调度队列的前面，优先进行创建，即优先接受资源申请请求并进行处理。

在一些可能的实施方式中，资源申请请求还包括：模型训练数据量和模型迭代次数，步骤S130还可以包括步骤S1310至步骤S1314。

步骤S1310：计算模型训练数据量与模型迭代次数的乘积，获得乘积结果。

步骤S1312：基于乘积结果按从大到小的先后顺序调整第二排序结果，获得第三排序结果。

在本申请实施例中，即调整上述第二排序结果，将资源申请量最大且训练数据量与模型迭代次数乘积最大的申请请求排在顺序最前。

步骤S1314：根据第三排序结果将剩余资源量从大到小依次进行分配。

在本申请实施例中，对第三排序结果中根据排序结果对资源申请量最大且训练数据量与模型迭代次数乘积最大的申请请求分配最多的剩余资源量。

示例性地，确定GPU的申请数量，可以根据训练任务的数据量和训练的迭代次数来确定GPU的分配数量。

在一些可能的实施方式中，资源分配方法还可以包括步骤S210至步骤S230。

步骤S210：判断对剩余资源量是否分配成功。

在本申请实施例中，可以创建对服务器集的资源申请请求队列，可以对每项资源申请请求进行监测以判断其是否分配完成。

示例性地，对于训练的资源申请请求创建和调度，我们根据申请训练所需GPU数量来匹配GPU服务器。可以通过查剩余GPU资源的服务器，将各个GPU服务器按照剩余GPU资源数量从小至大排列(得到的一个临时序列)，并判断是否分配完成。

需要说明的是，任务调度队列对待创建的资源申请请求可以按任务优先级和资源使用量进行排序，若任务优先级高则排在调度队列的前面，优先进行创建。

步骤S220：当确定对剩余资源量分配成功时，删除资源申请请求。

在本申请实施例中，在对应服务器上创建资源申请请求，待资源申请请求创建成功，从队列中删除该资源申请请求申请。

步骤S230：当确定对剩余资源量分配失败时，接收更换的资源申请请求，直至剩余资源量满足更换的资源申请请求或剩余资源量不满足所有更换的资源申请请求。

在本申请实施例中，当确定对剩余资源量分配失败时，则说明集中没有一个服务器有足够的资源来满足资源申请请求，跳过资源申请请求，对下一个资源申请请求进行匹配操作，直到出现资源申请请求申请被匹配成功或队列中所有资源申请请求都没有足够资源可供创建。

在一些可能的实施方式中，步骤S120可以包括步骤S1202至步骤S1204。

步骤S1202：获取每个服务器的资源的状态信息；其中，资源的状态信息包括：资源总量和资源使用量。

步骤S1204：基于资源总量和资源使用量，确定每个服务器的剩余资源量。

在本实施例中，通过监控各个服务器的资源总量和资源使用量来计算得到每个服务器的剩余资源量。

结合上述附图2，本申请的资源分配方法的示例性实施方式如下：以创建的notebook调度算法为例：

在kubeflow中创建notebook时，需要选择内存、CPU、GPU、训练环境(镜像)、数据保存方式，确定上述条件后才创建notebook。将notebook训练环境的数据保存方式使用k8s的PVC来进行保存，当notebook关闭时，使用PV(持久化存储卷)这种持久化存储方式，能够保留用户在notebook中存储的数据和模型，使用GPU服务器搭建k8s集，并在k8s集上搭建kubeflow机器学习平台。其中，在kubeflow中可以创建Jupyter notebook作为深度学习的训练环境，用户可以在notebook训练环境中实施深度学习模型的开发和训练。

资源分配方法可以包括以下步骤：

S1：从资源监控模块上获取各GPU服务器的资源状态信息，包括：各台GPU服务器的内存、CPU、GPU资源总量；各台GPU服务器的内存、CPU、GPU的已使用量。

S2：计算得到各GPU服务器的内存、CPU、GPU的剩余资源量。

S3：对各GPU服务器按照GPU剩余资源量的从小到大依次进行排序；当GPU剩余资源量相同时，按照CPU剩余资源量从小到大依次排序；当GPU和CPU的剩余量相同时，按照内存剩余量从小到大排序。

S4：待创建notebook队列中，将notebook创建申请根据用途、计算资源申请量、训练数据规模、模型迭代次数进行排序；具体排序规则如下：

S41：根据用途，依模型训练、代码开发的先后顺序进行第一轮排序。

S42：将S41的排序结果，按计算资源申请量，进行二轮排序。以GPU申请量为第一优先级、CPU申请量为第二优先级、内存申请量为第三优先级的顺序进行排序。(参阅S3)

S43：将S42的排序结果，按照训练数据规模乘以迭代次数的结果，从大到小进行排序。

S44：上述得到结果用于模型训练的notebook排在代码开发的notebook前；在模型训练的notebook中，资源申请量最大且训练数据量与模型迭代次数乘积最大的notebook申请排在最前。

S5：将S4得到排序结果，从前往后取出每个notebook创建申请，将该notebook的资源申请量与3得到的服务器剩余资源量序列从前往后进行匹配。

S51：若匹配成功，即在对应服务器上创建notebook，待notebook创建成功，从队列中删除该notebook申请；

S52：若匹配不成功，则说明集中没有一台GPU服务器有足够的资源来满足此notebook创建申请，跳过该notebook创建申请，对下一个notebook创建申请进行匹配操作；反复执行S52步骤，直到出现notebook创建申请被匹配成功或队列中所有notebook创建申请都没有足够资源可供创建。

S6：重复第上述步骤直到完成全部notebook创建申请。

在本实施例中，通过监测GPU服务器的资源使用情况，将notebook队列中的申请的资源与GPU服务器剩余资源进行匹配，以实现GPU资源的调控，提高了服务器计算资源的使用效率。

请参阅图3，图3为本申请提供的一种资源分配装置的结构框图，应用于服务器集，所述服务器集包括多个服务器，该资源分配装置300包括：接收模块310、确认模块320以及分配模块330，其中：

接收模块310，用于接收资源申请请求。

确定模块320，用于确定每个服务器的剩余资源量。

分配模块330，用于基于资源申请请求和剩余资源量，对剩余资源量进行分配。

需要说明的是，本申请还包括执行上述方法的其他模块，其与方法部分对应，此处不再赘述，本申请中装置实施例与前述方法实施例相互对应，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

在本实施例提供的几个实施例中，模块互相之间的耦合可以是电性，机械或其他形式的耦合。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图4，图4为本申请实施例提供的一种可以执行上述资源分配方法的电子设备200的结构框图，该电子设备200可以是智能手机、平板电脑、计算机或者便携式计算机等设备。

电子设备200还包括处理器202和存储器204。其中，该存储器204中存储有可以执行前述实施例中内容的程序，而处理器202可以执行该存储器204中存储的程序。

其中，处理器202可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器202利用各种借口和线路连接整个电子设备200内的各个部分，通过运行或执行储存在存储器204内的指令、程序、代码集或指令集，以及调用存储在存储器204内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器202可以采用数字信号处理(DigitalSignal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编辑逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器202可集成中央处理器(Central Processing Unit，CPU)、图像处理器(GraphicsProcessing Unit，GPU)和调制解码器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解码器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

存储器204可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器204可用于储存指令、程序、代码、代码集或指令集。存储器204可包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(如，用户获取随机数的指令)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(如，随机数)等。

电子设备200还可以包括网络模块以及屏幕，网络模块用于接受以及发送电磁波，实现电磁波与电信号的互相转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。

请参考图5，图5示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质400中存储有程序代码410，程序代码410可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任意方法步骤的程序代码410的存储空间。这些程序代码410可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质400中。计算机设备的处理器从计算机可读存储介质400读取该计算机指令，处理器202执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的资源分配方法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。