一种多租户大数据平台的租户优先级管理方法及系统

本发明涉及大数据平台领域，特别涉及一种多租户大数据平台的租户优先级管理方法及系统。

时至今日，大数据平台技术已经应用于大小企业的方方面面。越来越多的企业也已经构建了自己的大数据平台，用于运行企业内部的大数据应用。传统上的企业内部的大数据平台通常是每个部门使用本部门的私有集满足计算或存储需求，这将带来三个方面的挑战：一是集整体的资源利用率较差；二是企业管理者对整个集的管理负担较重；三是各个部门之间的数据共享会变的更加复杂。

面对上述三个问题，面向Hadoop大数据平台的多租户(multi-tenant)技术便应运而生。Hadoop作为一个开源大数据框架，因为其强大的负载均衡机制和可扩展性占据了非常多的市场份额。虽然一个面向Hadoop大数据平台的多租户系统可以集成Hadoop的优点：如部署大数据处理组件Hive、Spark、Storm等处理数据，使用MapReduce分布式计算框架进行作业的运算。同时该系统为多个租户共享集资源提供了可能：一个完整的多租户系统允许每个有相应权限的租户在整个集上，统一、交互的和实时的处理同一份数据，或者利用被授权的部分或整体计算资源(CPU、内存等)来运行租户个人的作业。多租户技术的出现一定程度上解决了大数据集内部的数据共享与隔离、资源共享与隔离问题，然而，在集资源有限的情况下，如何保证重要租户的计算能力，让大数据平台更高效的完成各个租户的任务——集资源的优先级管理成为了一个至关重要的问题。

通常，在面向Hadoop大数据平台的多租户系统中，使用的是Hadoop YARN将整个集的资源统一调度和管理。YARN是一种集成在Hadoop内部的资源管理器实现的。根据资源需求和可用性，YARN提供了三种调度策略：先进先出调度策略(FIFO Scheduler)、容量调度策略(Capacity Scheduler)和公平调度策略(Fair Scheduler)。其中，容量调度策略和公平调度策略由于其不会因为长耗时作业而导致其他作业饿死而广泛应用于多租户系统中。那么，在企业级的大数据平台的多租户系统中，使用YARN将整个集的资源统一调度和管理却不能解决不同租户之间作业的优先级问题(尽管在公平调度策略下，租户也需要等待一个时间段才能顺利分配到所需资源)，对于急需完成的任务会因为资源不足而无法及时交付。其次，由于YARN的资源预留机制，每个租户都有权将各自的作业上传至YARN管理，而不考虑当前资源是否可用，根据YARN的机制则会接受这些作业并挂起。当挂起的作业过多时，会导致整个集的工作效率极速下降，严重时甚至导致部分节点宕机。使用YARN作为集资源的总调度器弊端日益明显。

另外，在现代化的企业内部，由于复杂产品的开发涉及到不同部门的不同人员在完成一系列任务时的协作，各个部门(租户)之间的资源需求与权限变化较大。使用一个固定的调度策略并不足以应对所有的突发情况，因此需要一种有效的机制来分析这些租户资源请求，然后根据它们当前的时效性特点确定各个租户的资源请求的优先级。在上述传统的资源请求优先级管理中，大多数分析工作都是工程师根据之前项目中获得的经验完成的。这种基于隐性知识的管理策略会因为企业人员变动而产生巨大影响。

对于一个企业级大数据平台的多租户系统而言，如何将有限的计算资源效益最大化是集所有者必须解决的问题。目前，许多学者、研究机构以及大型IT公司也提出了一些方法，但这些方法并没有考虑到当前企业级大数据平台的复杂应用环境：难以实时权衡企业中各个部门的作业在资源需求优先级上的问题。动态分配资源无法有效解决优先级的问题，而固定优先级的资源分配策略则显得尤为笨重。如果每个租户的资源请求优先级都由工程师根据之前的项目经验来确定的话，不仅增加了工程师的工作量，而且会因为人事调动而对整个项目的工作产生巨大影响。总之，在如今的企业级Hadoop多租户系统中，没有合适的方案来解决不同租户的作业资源申请优先级的问题。

本发明的目的在于克服现有技术的缺点与不足，提供一种多租户大数据平台的租户优先级管理方法。在动态地向多租户分配集资源的基础上，本发明利用径向基函数神经网络的方法帮助系统管理员管理租户的优先级。与传统的多租户大数据平台资源分配策略相比，本发明提出的方法可以有效地解决大数据平台中的租户优先级管理问题。

本发明的另一目的在于提供一种多租户大数据平台的租户优先级管理系统。

本发明的目的通过以下的技术方案实现：

一种多租户大数据平台的租户优先级管理方法，基于径向基函数神经网络，包括以下顺序的步骤：

S1、初始化租户优先级管理器；

S2、租户向集(大数据平台)发出资源请求，集向该租户分配资源；

S3、当集资源不足以满足当前租户的资源请求时，将启动租户优先级管理器，将该租户的资源请求加入资源申请等待队列中；

S4、当租户需要提高租户的资源请求优先级时，租户通过系统内部信箱向租户优先级管理器发出申请；

S5、租户优先级管理器通过径向基函数神经网络计算出租户资源申请优先级，并生成判断文档交给系统管理员；

S6、系统管理员根据判断文档决定是否同意提升租户的资源请求优先级；

S7、对于高优先级的资源请求，系统管理员有权控制其抢占其他租户的资源；

S8、当某租户的所有作业完成后，集资源管理器将收回其占有的资源；当该租户有新的任务时，将重新发出资源请求。

所述步骤S1，具体为：

S101、为系统内的租户分配一个固定的租户ID，每个租户ID为该租户的唯一标识，不能更改和重复；

S102、收集用于训练径向基函数神经网络的相关数据，需要提供的输入向量为：租户ID、资源申请量、作业类型、作业预计完成时间、资源申请等待时间；输出向量为：3、2、1；其中，3表示低优先级，2表示中优先级，1表示高优先级；

S103、用收集到的信息训练径向基函数神经网络，直到输出结果达到预期；

S104、部署租户优先级管理器。

所述租户优先级管理器由径向基函数神经网络和资源请求等待队列组成。

步骤S2中，所述租户向集发出资源请求，其请求信息包括：当前租户ID、作业类型、资源申请量、作业预计完成时间。

步骤S2中，所述集若负载较低，各个租户作业的资源请求均可得到满足的情况下，不启动租户优先级管理器。

步骤S2中，所述集向该租户分配资源，是通过修改集的资源管理器来实现的：当集为某租户分配资源时，在资源管理器中为该租户创建一个资源队列，并向该资源队列分配资源。

所述集的资源管理器包括YARN中的ResourceManager。

步骤S3中，所述租户的资源请求，其请求内容包括当前租户ID、作业类型、资源申请量、作业预计完成时间、资源申请等待时间；其中，资源申请等待时间由资源申请等待队列在该请求加入队列时开始计时。

步骤S4中，所述租户通过系统内部信箱向租户优先级管理器发出申请，会带有备注文档，备注文档的内容由租户自行决定。

步骤S5中，所述优先级管理器收到来自租户的输入向量从资源请求等待队列中获取。

步骤S5中，所述判断文档由径向基函数神经网络计算出的相应租户作业优先级和租户自定的备注内容组成。

步骤S7中，所述其他租户的资源，被抢占后，由集的资源管理器暂时收回其资源队列占有的资源，同时不删除该租户的资源队列，队列中的作业将被暂时挂起，等高级租户作业完成后或集有空闲资源时再重新分配。

步骤S8中，所述集资源管理器将收回租户占有的资源，具体的方法为：

通过修改集的资源管理器，每当大数据平台内有作业完成时，检查该作业的资源队列，若资源队列中无其他作业，则收回该资源队列占有的资源。

所述径向基函数神经网络，具体设计为：

输入层(第一层)：为了预测每个资源请求的优先级，输入向量由五个变量构建，分别为：租户ID、租户资源申请量、租户作业类型、租户作业预计完成时间、租户资源申请等待时间；

隐含层：隐含层对输入层向量进行空间映射变换；通过该层非线性基函数(本发明采用高斯函数)的线性组合，RBFNN能够在近似非线性关系中获得良好的性能；采用高斯核函数作为神经元核函数，节点数视需要而定；所述高斯核函数如公式(1)所示：

式中，x为输入层向量，n为输入层单元数；σ为神经网络初始化宽度向量，宽度越小，相应隐含层神经元作用函数的形状越窄，那么处于其他神经元中心附近的信息在该神经元出的响应就越小；x'为中心向量；K为该径向基函数的输出值；

输出层：输出层输出节点设置为一个，输出结果为高优先级、中优先级、低优先级三种；计算该神经网络输出值的公式如公式(2)所示：

由上式可知，RBFNN的参数学习包含两部分：第一个涉及到隐藏层中的参数，包括中心向量x'和初始化宽度向量σ，另一个涉及到隐藏层中的权重参数ωi；输入空间中任何径向基函数的位置都由其中心和宽度惟一指定；RBFNN的输出是每个激活的隐藏层神经节点的加权和。

本发明的另一目的通过以下的技术方案实现：

一种多租户大数据平台的租户优先级管理系统，包括大数据平台(即集)、租户优先级管理器、系统管理员；其中租户优先级管理器用于生成优先级判断文档辅助系统管理员做优先级判断，并且将未分配的资源请求在集外收集起来，让大数据平台自带的资源管理器专注于资源的分配与租户内资源的调度，一定程度上降低了集宕机的风险；租户使用大数据平台的计算资源；所述租户优先级管理器包括两个组件：径向基函数神经网络和资源请求等待队列。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明可适用于基于大数据平台的企业级多租户系统，与一般的多租户系统不同，当集负载较重时，可通过租户优先级管理器来解决租户作业在资源分配优先级上的问题。

(2)由于租户作业的资源申请优先级与租户ID、资源申请量、作业类型、作业预计完成时间、资源申请等待时间等方面存在复杂的非线性关系，本发明所构建的租户优先级管理器采用径向基函数神经网络(RBFNN)生成优先级判断文档。RBFNN能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性映射，具有良好的泛化能力，并有很快的学习收敛速度。能够很好的应用于本发明所需要的优先级模式分类。

(3)通过租户优先级管理器辅助管理员对租户资源请求优先级进行判断，解决了当前企业级大数据平台的多租户系统中各个租户的资源请求优先级因为管理人员的人事变动而难以判断的问题。

(4)本发明采用了管理员可控的优先级判定方法，避免了一些在敏感任务上由于系统自动判断而产生的优先级处理不当问题。在一定程度上保证了系统的可靠性。

图1为本发明所述一种多租户大数据平台的租户优先级管理系统的结构示意图。

图2为本发明所述一种多租户大数据平台的租户优先级管理方法的流程图。

图3为本发明所述初始化租户优先级管理器流程图。

图4为本发明所述径向基函数神经网络示意图。

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

一种基于径向基神经网络的多租户大数据平台的租户优先级管理方法，通过在大数据平台上组建租户优先级管理器实现。租户优先级管理器的功能主要是生成优先级判断文档辅助系统管理员做优先级判断，并且将未分配的资源请求在集外收集起来，让大数据平台自带的资源管理器专注于资源的分配与租户内资源的调度，一定程度上降低了集宕机的风险。其中，租户优先级管理器包括两个组件：径向基函数神经网络和资源请求等待队列。

其中，如图4所示的一种径向基神经网络模型，该模块通过计算租户的资源请求与优先级之间复杂的非线性关系，来辅助生成优先级判断文档。租户优先级管理器中的资源请求等待队列在大数据平台使用高峰期时，用来保存未成功分配资源的租户资源请求。在未调整优先级的资源请求中，资源请求等待队列中的资源请求符合先进先出(FIFO)的调度顺序。

本发明所述的多租户大数据平台中，租户向平台申请所需的资源后，大数据平台的资源管理器会向该租户分配其所需的资源。具体的分配方法为：大数据平台的资源管理器将为该租户创建一个资源队列，并向该队列划分一定的资源。这就意味着租户对其分配到的资源是独占的，当租户申请到资源之后，可以向资源队列中上传作业，随后资源管理器将按照其调度方法调度这些作业。由于大数据平台的资源量并非无限的，当某租户的所有作业完成后，集资源管理器将收回其占有的资源。具体的判断方法为：本发明通过修改大数据平台的资源管理器，每当大数据平台内有作业完成时，检查该作业的资源队列，若资源队列中无其他作业，则收回该资源队列占有的资源。

如图2所示，一种基于径向基神经网络的多租户大数据平台的租户优先级管理方法，可按如下步骤进行实施：

(1)初始化租户优先级管理器。初始化租户优先级管理器主要包括训练径向基神经网络和建立租户优先级管理器与大数据平台之间的连接。由于租户优先级管理器是建立在大数据平台之上的一种功能性中间件，因此需要与大数据平台的资源管理器有密切的数据交流。初始化租户优先级管理器的具体步骤如下：

(1-1)首先为多租户大数据平台内的每个租户分配一个固定的租户ID。租户ID为某租户的唯一标识，不可更改和重复。

(1-2)系统管理员收集用于训练径向基神经网络的相关数据。需要提供的输入向量为：租户ID、资源申请量、作业类型、作业预计完成时间、资源申请等待时间。输出向量为：3(低优先级)、2(中优先级)、1(高优先级)。

(1-3)：用收集到的信息训练径向基神经网络。直到输出结果达到预期。

(1-4)：部署租户优先级管理器。使用RPC协议建立租户优先级管理器与大数据平台的资源管理器间的连接。

(2)租户向大数据平台发出资源请求，大数据平台向租户分配资源。当集负载较低时，由于集资源可满足各个租户的资源请求，此时不启动租户优先级管理系统。如果当前集资源不足以满足当前租户的资源请求时，将启动租户优先级管理器将该租户的资源请求加入资源申请等待队列中。放置于资源申请等待队列中的租户资源请求内容应包括：当前租户ID、作业类型、资源申请量、作业预计完成时间、资源申请等待时间。其中，资源请求等待时间由资源申请等待队列在该请求加入队列时开始计时

(3)默认情况下，在资源请求等待队列中的租户资源请求将按照FIFO的方式进行资源分配，如果当前租户的作业是急需完成的，可向租户优先级管理器发出申请提高优先级从而尽快分配所需资源。

当租户需要提高租户的资源请求优先级时，通过系统内部信箱向租户优先级管理器发出申请。租户向租户优先级管理器发出的申请中，将同时提交备注信息，备注信息的内容由租户自行决定。租户优先级管理器控制径向基神经网络从资源请求等待队列中获取相应的资源请求输入向量，然后计算出租户的资源请求优先级。租户优先级管理器将根据径向基神经网络的计算结果结合租户提交的备注信息生成租户优先级判断文档交给系统管理员。

(4)系统管理员根据判断文档决定租户的资源请求优先级。通过采用这种方法，避免了在一些敏感任务上由于系统自动判断而产生的优先级处理不当问题。在一定程度上保证了系统的可靠性。

(5)如果系统管理员提高了租户的资源请求，对于需要优先分配资源的租户资源请求，系统管理员将把该资源请求调整到资源请求等待队列的队头等待优先调度。

(6)对于急需完成的紧急租户资源请求，系统管理员有权控制大数据平台的资源管理器进行抢占式分配。当需要抢占资源时，系统管理员控制被抢占的租户资源将由大数据平台的资源管理器暂时收回其资源队列占有的资源(不删除该租户的资源队列，队列中的作业将被暂时挂起)，等高级租户作业完成后或集有空闲资源时再重新向被抢占租户的资源队列分配相应资源。

(7)当资源请求等待队列中存在未分配的资源请求时，大数据平台的资源管理器每当收回某个租户的独占资源之后，都会查询是否满足资源请求等待队列的队头资源请求。

如图1，一种多租户大数据平台的租户优先级管理系统，包括大数据平台(即集)、租户优先级管理器、系统管理员；其中租户优先级管理器用于生成优先级判断文档辅助系统管理员做优先级判断，并且将未分配的资源请求在集外收集起来，让大数据平台自带的资源管理器专注于资源的分配与租户内资源的调度，一定程度上降低了集宕机的风险；租户使用大数据平台的计算资源；所述租户优先级管理器包括两个组件：径向基函数神经网络和资源请求等待队列。

实施例2

应用本发明到基于Hadoop大数据平台的多租户系统中，来实现一种基于径向基神经网络的多租户大数据平台的租户优先级管理方法。

如图1所示，为本发明的工作示意图。本发明构建的租户优先级管理器是位于Hadoop大数据平台与系统管理员之间的一个功能性部件。租户优先级管理器有采集大数据平台的一些资源请求信息的功能。默认情况下，租户优先级管理器中的资源请求等待队列将按照FIFO的策略为阻塞的资源请求分配资源。当租户需要提其资源请求优先级以便及时分配资源时，租户优先级管理器将计算该租户相关作业的优先级信息生成判断文档，然后交给系统管理员作辅助判断。

如图2所示，为本发明的工作流程图。在Hadoop平台应用该方法时，首先要初始化租户优先级管理器(图3)。为Hadoop大数据平台多租户系统中的各个租户分配唯一ID。然后提供数据训练租户优先级管理器中的径向基函数神经网络。如下表所示：

表1输入数据

表2输出数据

3(低优先级) 2(中优先级) 1(低优先级)

然后在一个(或多个)服务器中完成本发明中系统的部署，用于实现整个集的资源请求优先级管理。在基于Hadoop的多租户系统中，可通过修改YARN中的ResourceManager(集成于Hadoop中的一种资源管理器)来实现资源请求的收集和分配功能。租户优先级管理器可以通过RPC协议建立租户优先级管理器与大数据平台之间的连接。

在已经成功部署了租户优先级管理器。在集负载正常时，各个租户的资源请求均可得到分配，此时不需要启动租户优先级管理系统。当集负载过重时，会有部分资源请求无法及时得到响应，此时，租户优先级管理器中的资源请求等待队列收集这些未分配的资源请求。默认情况下，资源请求队列中的资源请求按照FIFO的方式按序进行分配，当集中的重要租户需要及时使用资源时，可向租户优先级管理器发出申请。当租户优先级管理器收到某租户的优先级请求时，收集该租户的输入向量交由径向基神经网络计算该租户的优先级。输入向量的收集包括：从资源请求等待队列中收集该租户的租户ID、资源请求量和资源申请等待时间，从租户的优先级请求中收集租户作业的类型和租户作业预计完成时间。当RBFNN计算出该租户的资源请求优先级之后，租户优先级管理器根据RBFNN的计算结果生成优先级判断文档交给管理员，管理员后续决定该资源请求的抢占或者优先分配。

另外，本发明通过修改大数据平台的资源管理器，使得该系统对租户的资源分配并非永久性的资源分配：当集中的资源管理器向某租户分配资源时，为该租户在资源管理器中创建一个资源队列，该租户的作业将上传至该资源队列中进行资源调度。每当集中一个作业完成后，资源管理器将向该租户的资源队列发出查询，若该租户的资源队列为空时，资源管理器将删除该资源队列，并收回向其分配的资源。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。