贷款预测多任务模型的训练方法、预测方法、装置及设备

本发明涉及机器学习的技术领域，尤其是涉及一种贷款预测多任务模型的训练方法、预测方法、装置及设备。

在金融贷款领域存量潜力贷款客户的高效挖掘主要有两大手段，第一种是通过对客画像结合贷款产品特性的分析挖掘潜力贷款客户；第二种是利用存量客户申请、放款等数据结合客户动静态数据构建潜力贷款客户预测模型，利用模型对全量客户预测贷款潜力分值并从高到底排序，最后根据实际营销能力及场景截取top名单营销。从目前业界现状来看基于智能模型的第二种方案无论是效果还是效率都显著优于第一种基于规则挖掘的方案。所以改进优化基于智能模型挖掘潜力贷款客户一直是非常热门的研究主题。

贷款作为一款复杂的金融产品有一个全流程的链路过程，主要包含关键节点有：营销曝光、申请点击、进件审批、授信通过、申请放款等。营销曝光如果是在第三方平台比较难拿到数据，但是从申请点击开始可以完全记录所有数据，所以传统构建潜力贷款模型的时候训练数据一般都基于申请点击节点记录的客户，指定一个时间段后将其中最后放款客户标记为训练正样本，未放款客户标记为训练负样本。这种方式明显存在两个问题：第一是样本选择偏差，即训练数据基于申请点击客，但是预测时针对全量存量客户，这样构建的模型其实它预测的是客户在申请之后能被放款的概率，实际反应的是这个具有高意愿贷款倾向客户能被审批通过的概率；第二是数据稀疏的问题，申请放款作为流程的最后一个节点，如果用来标记正样本数据量都比较小，贷款申请毕竟是低频使用产品，所以会存在正负样本严重失衡的问题，最后对模型的收敛都是影响极大的。

本发明的目的在于提供一种贷款预测多任务模型的训练方法、预测方法、装置及设备，以缓解现有的预测不准确的问题。

第一方面，本发明提供了一种贷款预测多任务模型的训练方法。该贷款预测多任务模型包括申请点击模型分支和放款模型分支，所述申请点击模型分支用于基于客户数据预测放款的第一预测概率，所述放款模型分支用于基于客户数据预测放款的第二预测概率，基于所述第一预测概率和所述第二预测概率的乘积确定放款的目标预测概率；所述方法包括：

确定训练样本，所述训练样本包括申请点击并放款样本、申请点击未放款样本以及未申请点击样本；

基于所述训练样本，将所述申请点击并放款样本和所述申请点击未放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述申请点击模型分支进行训练，得到中间的所述申请点击模型分支；

基于所述训练样本，将所述申请点击并放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述放款模型分支进行训练，得到中间的所述放款模型分支；

基于所述训练样本对中间的所述申请点击模型分支和中间的所述放款模型分支进行联合训练得到训练好的所述申请点击模型分支和训练好的所述放款模型分支，以便基于包括训练好的所述申请点击模型分支和训练好的所述放款模型分支的目标贷款预测多任务模型对客户数据进行放款概率预测。

在一些可能的实现中，所述客户数据包括客户资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项；所述训练样本包括客户数据以及标签，所述标签包括申请点击并放款标签、申请点击未放款标签以及未申请点击标签。

在一些可能的实现中，所述申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第一预测概率。

在一些可能的实现中，所述放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第二预测概率。

在一些可能的实现中，基于所述训练样本，将所述申请点击并放款样本和所述申请点击未放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述申请点击模型分支进行训练，得到中间的所述申请点击模型分支，包括：

基于客户是否点击与所述申请点击模型分支输出的第一预测概率之间的交叉熵值确定第一损失函数；

基于所述训练样本，将所述申请点击并放款样本和所述申请点击未放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述申请点击模型分支进行训练，直至达到第一终止条件，得到中间的所述申请点击模型分支，其中，所述第一终止条件为训练达到预设次数，或者所述第一损失函数值符合预期。

在一些可能的实现中，基于所述训练样本，将所述申请点击并放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述放款模型分支进行训练，得到中间的所述放款模型分支，包括：

基于客户是否放款与基于所述放款模型分支输出的第二预测概率确定的目标预测概率之间的交叉熵值，确定第二损失函数；

基于所述训练样本，将所述申请点击并放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述放款模型分支进行训练，直至达到第二终止条件，得到中间的所述放款模型分支，其中，所述第二终止条件为训练达到预设次数，或者所述第二损失函数值符合预期。

在一些可能的实现中，基于所述训练样本对中间的所述申请点击模型分支和中间的所述放款模型分支进行联合训练得到训练好的所述申请点击模型分支和训练好的所述放款模型分支，包括：

对所述第一损失函数和所述第二损失函数进行加权求和后，得到第三损失函数；

基于所述训练样本对中间的所述申请点击模型分支和中间的所述放款模型分支进行联合训练，直至达到第三终止条件，得到训练好的所述申请点击模型分支和训练好的所述放款模型分支，其中，所述第三终止条件为训练达到预设次数，或者所述第三损失函数值符合预期。

第二方面，提供了一种基于贷款预测多任务模型的放款概率预测方法。贷款预测多任务模型包括申请点击模型分支和放款模型分支，该方法包括：

确定待预测客户数据；

通过所述申请点击模型分支根据所述待预测客户数据预测放款的第一预测概率；

通过所述放款模型分支根据所述待预测客户数据预测放款的第二预测概率；

基于所述第一预测概率和所述第二预测概率的乘积确定待预测客户放款的目标预测概率。

在一些可能的实现中，所述待预测客户数据包括资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项。

在一些可能的实现中，所述申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第一预测概率。

在一些可能的实现中，所述放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第二预测概率。

第三方面，提供了一种贷款预测多任务模型的训练装置，贷款预测多任务模型包括申请点击模型分支和放款模型分支，所述申请点击模型分支用于基于客户数据预测放款的第一预测概率，所述放款模型分支用于基于客户数据预测放款的第二预测概率，基于所述第一预测概率和所述第二预测概率的乘积确定放款的目标预测概率；所述装置包括：

样本确定模块，用于确定训练样本，所述训练样本包括申请点击并放款样本、申请点击未放款样本以及未申请点击样本；

第一训练模块，用于基于所述训练样本，将所述申请点击并放款样本和所述申请点击未放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述申请点击模型分支进行训练，得到中间的所述申请点击模型分支；

第二训练模块，用于基于所述训练样本，将所述申请点击并放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述放款模型分支进行训练，得到中间的所述放款模型分支；

联合训练模块，用于基于所述训练样本对中间的所述申请点击模型分支和中间的所述放款模型分支进行联合训练得到训练好的所述申请点击模型分支和训练好的所述放款模型分支，以便基于包括训练好的所述申请点击模型分支和训练好的所述放款模型分支的目标贷款预测多任务模型对客户数据进行放款概率预测。

在一些可能的实现中，所述待预测客户数据包括资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项。

在一些可能的实现中，所述申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第一预测概率。

在一些可能的实现中，所述放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第二预测概率。

在一些可能的实现中，所述第一训练模块具体用于：

基于客户是否点击与所述申请点击模型分支输出的第一预测概率之间的交叉熵值确定第一损失函数；

基于所述训练样本，将所述申请点击并放款样本和所述申请点击未放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述申请点击模型分支进行训练，直至达到第一终止条件，得到中间的所述申请点击模型分支，其中，所述第一终止条件为训练达到预设次数，或者所述第一损失函数值符合预期。

在一些可能的实现中，所述第二训练模块具体用于：

基于客户是否放款与基于所述放款模型分支输出的第二预测概率确定的目标预测概率之间的交叉熵值，确定第二损失函数；

基于所述训练样本，将所述申请点击并放款样本作为正样本，所述未申请点击样本作为负样本，对初始的所述放款模型分支进行训练，直至达到第二终止条件，得到中间的所述放款模型分支，其中，所述第二终止条件为训练达到预设次数，或者所述第二损失函数值符合预期。

在一些可能的实现中，所述联合训练模块具体用于：

对所述第一损失函数和所述第二损失函数进行加权求和后，得到第三损失函数；

基于所述训练样本对中间的所述申请点击模型分支和中间的所述放款模型分支进行联合训练，直至达到第三终止条件，得到训练好的所述申请点击模型分支和训练好的所述放款模型分支，其中，所述第三终止条件为训练达到预设次数，或者所述第三损失函数值符合预期。

第四方面，提供了一种基于贷款预测多任务模型的放款概率预测装置，贷款预测多任务模型包括申请点击模型分支和放款模型分支，包括：

确定模块，用于确定待预测客户数据；

第一预测模块，用于通过所述申请点击模型分支根据所述待预测客户数据预测放款的第一预测概率；

第二预测模块，用于通过所述放款模型分支根据所述待预测客户数据预测放款的第二预测概率；

联合预测模块，用于基于所述第一预测概率和所述第二预测概率的乘积确定待预测客户放款的目标预测概率。

在一些可能的实现中，所述待预测客户数据包括资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项。

在一些可能的实现中，所述申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第一预测概率。

在一些可能的实现中，所述放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将所述数值变量全连接层的数值变量与所述类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

所述中间层，包括级联的全连接层；

输出层，基于所述中间层的输出确定预测放款的第二预测概率。

第五方面，提供了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存储的程序时，实现如第一方面或第二方面中任一所述的方法步骤。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面中任一所述的方法步骤。

在本发明实施例中基于深度学习多任务模型结合贷款流程挖掘存量潜力贷款客户的改进方法有效优化了传统模型挖掘潜力客户的架构，解决了传统模型架构存在的样本选择偏差及数据稀疏的问题。从放款预测效果来看无论是AUM还是KS值都得到了显著的提升，并且引入了申请点击模型分支迎合更多营销场景。最后模型效果的提升带来的业务意义也不言而喻，可以高效挖掘潜力贷款客户商机，有效提升营销效率，最终对带动整个贷款产品余额的提升都是非常有正向作用的。

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种贷款预测多任务模型的训练方法流程示意图；

图2为本申请实施例提供的一种贷款预测多任务模型结构示意图；

图3为本申请实施例提供的一种基于贷款预测多任务模型的放款概率预测方法流程示意图；

图4为本申请实施例提供的一种贷款预测多任务模型的训练装置结构示意图；

图5为本申请实施例提供的一种基于贷款预测多任务模型的放款概率预测装置结构示意图；

图6本申请实施例还提供了一种电子设备结构示意图。

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对以上问题，本申请提出基于深度学习多任务模型，主要从两个方面改进优化模型。第一是设计两个优化目标，客户申请点击预测目标与客户点击并放款预测目标，申请点击预测目标即是否点击Yd与申请点击模型分支输出的预测概率值Pd之间的差异程度(交叉熵值或者MSE、MAE)，客户点击并放款预测目标即是否放款Yf与放款模型分支输出的预测概率值Pf乘以Pd之间的差异程度。第二是训练样本的选择，申请点击模型分支的正样本基于指定时间段内(一个月)申请点击客户，放款模型分支的正样本基于指定时间段内的放款客户，两者的负样本全部随机采样于全量客户中指定时间段内未点击的客户(可能包含未曝光客户)，控制负样本与放款正样本的比例在100:1的程度即可。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种接口转换设备进行详细介绍。

图1为本申请实施例提供的一种贷款预测多任务模型的训练方法流程示意图。该贷款预测多任务模型包括申请点击模型分支和放款模型分支，申请点击模型分支用于基于客户数据预测放款的第一预测概率，放款模型分支用于基于客户数据预测放款的第二预测概率，基于第一预测概率和第二预测概率的乘积确定放款的目标预测概率。

参见图2，申请点击模型分支包括如下结构：输入层，包括数值变量全连接层和类别变量编码层；拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；中间层，包括级联的全连接层；输出层，基于中间层的输出确定预测放款的第一预测概率。

该放款模型分支包括如下结构：输入层，包括数值变量全连接层和类别变量编码层；拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；中间层，包括级联的全连接层；输出层，基于中间层的输出确定预测放款的第二预测概率。

因为是多任务模型，所以模型整体分为申请点击模型分支与放款模型分支，两个分支模块的结构基本一致，从下向上依次是：输入层(数值变量全连接层和ID变量Embedding层；拼接concat层负责将输入层数值变量与ID变量Embedding后的变量拼接在一起；中间全连接结合dropout及BN(Batch Normalized)操作层(该层按训练数据量大小调整重复串联次数，数据量多次数多，数据量少控制一层即可)；最后是模型分支输出层，基于中间层的输出直接接全连接后sigmod输出预测概率值。申请点击模型分支输出Pd，放款模型分支输出Pf，最后申请点击并且放款叉乘在一起作为预测放款的最终输出Pd*Pf＝Pdf。

如图1所示，该训练方法可以包括如下步骤：

S110，确定训练样本，训练样本包括申请点击并放款样本、申请点击未放款样本以及未申请点击样本。

客户数据包括客户资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项；训练样本包括客户数据以及标签，标签包括申请点击并放款标签、申请点击未放款标签以及未申请点击标签。

首先每月月初针对特定类型贷款产品收集上月申请点击客户与放款客户，分别用于训练数据中申请点击模型分支的正样本与放款模型分支的正样本。其次基于全量客户计算模型入参变量数据，该数据分训练与推理预测两个类型，为控制模型训练标签泄露的问题，训练数据时间切片取上上月末，推理预测数据时间切片取上月末，其中数据涉及的大类主要如下：客户资产(AUM、LUM、活期、定期、基金、股票等)、借贷记卡交易流水，贷款申请记录，平安系APP登录活跃及贷款页面浏览情况，客户画像动静态数据等(以上相关数据可以直接基于特征库抽取，也有部分需要人工利用大数据平台Hive清洗)。最后将正样本客户与全量客户变量数据匹配上，正样本全选负样本随机采样未点击客户，并且控制负样本与放款正样本的比例在100:1的程度即可。

首先将训练与推理预测数据中缺失及空值的部分利用规则默认填充，基本策略是数值类型变量默认填充-9999，类别型变量使用特定字符填充。其次数值类型变量按变量数值分布差异程度考虑是否分箱或归一化，分箱将变量转换成类别型变量，归一化后还是数值型变量但是对深度模型收敛效果显著。最后针对所有类别型变量ID化处理，ID化的变量在深度模型的输入Embedding层会被映射成可学习的向量，可有效提升模型的学习及泛化能力。以上的操作必须保证训练与推理预测数据被处理的口径一致，不然基于训练数据训练的模型在推理预测数据上使用会出现严重的偏差。这里的训练数据可以指训练样本或者训练集，推理预测数据可以指预测样本或预测集。

S120，基于训练样本，将申请点击并放款样本和申请点击未放款样本作为正样本，未申请点击样本作为负样本，对初始的申请点击模型分支进行训练，得到中间的申请点击模型分支。

S130，基于训练样本，将申请点击并放款样本作为正样本，未申请点击样本作为负样本，对初始的放款模型分支进行训练，得到中间的放款模型分支。

S140，基于训练样本对中间的申请点击模型分支和中间的放款模型分支进行联合训练得到训练好的申请点击模型分支和训练好的放款模型分支，以便基于包括训练好的申请点击模型分支和训练好的放款模型分支的目标贷款预测多任务模型对客户数据进行放款概率预测。

其中，模型两个分支任务基本结构相似，使用相同的训练数据作为输入，但是模型参数不共享，针对两个任务分别设计优化目标，客户申请点击预测目标与客户点击并放款预测目标。客户申请点击预测目标即是否点击Yd与申请点击模型分支输出的预测概率值Pd之间的交叉熵值loss_d，客户点击并放款预测目标即是否放款Yf与放款模型分支输出的预测概率值Pf*Pd＝Pdf之间的交叉熵值loss_f，因为主要目标还是预测可放款客户，并且放款比例远小于申请比例，所以两个loss按照2:3比例加权之后再统一优化(loss_df＝loss_d*0.4+loss_f*0.6)。基于以上构建的模型及目标策略按批次输入训练数据到模型，再使用随机梯度下降(SGD)算法优化目标loss_df完成模型的训练。

基于此，在一些实施例中上述步骤S120-S140还可以通过如下步骤实现：

可以基于客户是否点击与申请点击模型分支输出的第一预测概率之间的交叉熵值确定第一损失函数；基于训练样本，将申请点击并放款样本和申请点击未放款样本作为正样本，未申请点击样本作为负样本，对初始的申请点击模型分支进行训练，直至达到第一终止条件，得到中间的申请点击模型分支，其中，第一终止条件为训练达到预设次数，或者第一损失函数值符合预期；

基于客户是否放款与基于放款模型分支输出的第二预测概率确定的目标预测概率之间的交叉熵值，确定第二损失函数；基于训练样本，将申请点击并放款样本作为正样本，未申请点击样本作为负样本，对初始的放款模型分支进行训练，直至达到第二终止条件，得到中间的放款模型分支，其中，第二终止条件为训练达到预设次数，或者第二损失函数值符合预期；

对第一损失函数和第二损失函数进行加权求和后，得到第三损失函数；基于训练样本对中间的申请点击模型分支和中间的放款模型分支进行联合训练，直至达到第三终止条件，得到训练好的申请点击模型分支和训练好的放款模型分支，其中，第三终止条件为训练达到预设次数，或者第三损失函数值符合预期。

为防止模型训练过程中过拟合，正式训练时整个训练数据会按比例8:1切分成训练集与验证集，每训练迭代完一次训练集就使用验证集测试模型收敛效果，每次利用评价指标AUC判断放款模型分支在验证集模型效果是否有所上升，如果连续两次迭代AUC没有上升即停止模型训练，此时可以认为模型已经收敛。

本申请提出的基于深度学习多任务模型结合贷款流程挖掘存量潜力贷款客户的改进方法有效优化了传统模型挖掘潜力客户的架构，解决了传统模型架构存在的样本选择偏差及数据稀疏的问题。从放款预测效果来看无论是AUM还是KS值都得到了显著的提升，并且引入了客户点击模型分支迎合更多营销场景。最后模型效果的提升带来的业务意义也不言而喻，可以高效挖掘潜力贷款客户商机，有效提升营销效率，最终对带动整个贷款产品余额的提升都是非常有正向作用的。

图3为本申请实施例提供的一种基于贷款预测多任务模型的放款概率预测方法流程示意图。贷款预测多任务模型包括申请点击模型分支和放款模型分支，例如可以参见前述图2所示的贷款预测多任务模型。如图3所示该预测方法可以包括：

S310，确定待预测客户数据；

其中，客户数据包括客户资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项。

S320，通过申请点击模型分支根据待预测客户数据预测放款的第一预测概率；

S330，通过放款模型分支根据待预测客户数据预测放款的第二预测概率；

S340，基于第一预测概率和第二预测概率的乘积确定待预测客户放款的目标预测概率。

基于此，可以实现根据客户数据预测得到最终客户放款的目标预测概率。

该预测方法的实施例与前述图1所示的训练方法的实施例所对应，可以相互参照理解。

在一些实施例中，可以将训练好的模型应用在推理预测数据上，针对全量每个客户分别计算点击概率值Pd及点击放款概率值Pdf。针对不同的营销场景可以分别利用以上模型产出的两个值针对客户排序后取top营销，例如：拉客冲量的时候可以利用点击模型分支产出结果Pd排序截取top营销，能做到高召回客户的目的；提升余额的时候可以利用点击放款模型分支产出的结果Pdf排序截取top营销，能做到精准营销的目的。

图4为本申请实施例提供的一种贷款预测多任务模型的训练装置结构示意图。贷款预测多任务模型包括申请点击模型分支和放款模型分支，申请点击模型分支用于基于客户数据预测放款的第一预测概率，放款模型分支用于基于客户数据预测放款的第二预测概率，基于第一预测概率和第二预测概率的乘积确定放款的目标预测概率；如图4所示，该装置包括：

样本确定模块401，用于确定训练样本，训练样本包括申请点击并放款样本、申请点击未放款样本以及未申请点击样本；

第一训练模块402，用于基于训练样本，将申请点击并放款样本和申请点击未放款样本作为正样本，未申请点击样本作为负样本，对初始的申请点击模型分支进行训练，得到中间的申请点击模型分支；

第二训练模块403，用于基于训练样本，将申请点击并放款样本作为正样本，未申请点击样本作为负样本，对初始的放款模型分支进行训练，得到中间的放款模型分支；

联合训练模块404，用于基于训练样本对中间的申请点击模型分支和中间的放款模型分支进行联合训练得到训练好的申请点击模型分支和训练好的放款模型分支，以便基于包括训练好的申请点击模型分支和训练好的放款模型分支的目标贷款预测多任务模型对客户数据进行放款概率预测。

在一些实施例中，客户数据包括客户资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项；训练样本包括客户数据以及标签，标签包括申请点击并放款标签、申请点击未放款标签以及未申请点击标签。

在一些实施例中，申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

中间层，包括级联的全连接层；

输出层，基于中间层的输出确定预测放款的第一预测概率。

在一些实施例中，放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

中间层，包括级联的全连接层；

输出层，基于中间层的输出确定预测放款的第二预测概率。

在一些实施例中，第一训练模块402具体用于：

基于客户是否点击与申请点击模型分支输出的第一预测概率之间的交叉熵值确定第一损失函数；

基于训练样本，将申请点击并放款样本和申请点击未放款样本作为正样本，未申请点击样本作为负样本，对初始的申请点击模型分支进行训练，直至达到第一终止条件，得到中间的申请点击模型分支，其中，第一终止条件为训练达到预设次数，或者第一损失函数值符合预期。

在一些实施例中，第二训练模块403具体用于：

基于客户是否放款与基于放款模型分支输出的第二预测概率确定的目标预测概率之间的交叉熵值，确定第二损失函数；

基于训练样本，将申请点击并放款样本作为正样本，未申请点击样本作为负样本，对初始的放款模型分支进行训练，直至达到第二终止条件，得到中间的放款模型分支，其中，第二终止条件为训练达到预设次数，或者第二损失函数值符合预期。

在一些实施例中，联合训练模块404具体用于：

对第一损失函数和第二损失函数进行加权求和后，得到第三损失函数；

基于训练样本对中间的申请点击模型分支和中间的放款模型分支进行联合训练，直至达到第三终止条件，得到训练好的申请点击模型分支和训练好的放款模型分支，其中，第三终止条件为训练达到预设次数，或者第三损失函数值符合预期。

图5为本申请实施例提供的一种基于贷款预测多任务模型的放款概率预测装置结构示意图。如图5所示，贷款预测多任务模型包括申请点击模型分支和放款模型分支，该装置包括：

确定模块501，用于确定待预测客户数据；

第一预测模块502，用于通过申请点击模型分支根据待预测客户数据预测放款的第一预测概率；

第二预测模块503，用于通过放款模型分支根据待预测客户数据预测放款的第二预测概率；

联合预测模块504，用于基于第一预测概率和第二预测概率的乘积确定待预测客户放款的目标预测概率。

在一些实施例中，客户数据包括客户资产、借贷记卡交易流水、贷款申请记录、登录活跃及贷款页面浏览情况以及客户画像动静态数据中的一项或多项；训练样本包括客户数据以及标签，标签包括申请点击并放款标签、申请点击未放款标签以及未申请点击标签。

在一些实施例中，申请点击模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

中间层，包括级联的全连接层；

输出层，基于中间层的输出确定预测放款的第一预测概率。

在一些实施例中，放款模型分支包括如下结构：

输入层，包括数值变量全连接层和类别变量编码层；

拼接层，负责将数值变量全连接层的数值变量与类别变量编码层编码后的类别变量拼接在一起，输入到中间层；

中间层，包括级联的全连接层；

输出层，基于中间层的输出确定预测放款的第二预测概率。

本申请实施例还提供了一种电子设备，如图6所示，包括处理器810、通信接口820、存储器830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。

存储器830，用于存放计算机程序；

处理器810，用于执行存储器830上所存放的程序时，实现如前述结合图1或者图3所示的实施例中的方法步骤。

上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图1或图3所示的实施例中的各步骤来实现，因此，本申请实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一的训练方法或预测方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的训练方法或预测方法。

本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。