业务视频推送方法、装置、电子设备及存储介质

阅读: 评论:0

著录项
  • CN202210592938.1
  • 20220527
  • CN115022395A
  • 20220906
  • 平安普惠企业管理有限公司
  • 赖咸立
  • H04L67/55
  • H04L67/55 G10L21/10 G10L15/26 G10L15/18 G10L13/04 G06F40/289 G06F16/35 G06F16/335 G06F16/33 G06N3/04 G06V40/16 H04L67/1097

  • 广东省深圳市前海深港合作区前湾一路1号A栋201室
  • 广东(44)
  • 深圳市沃德知识产权代理事务所(普通合伙)
  • 高杰;于志光
摘要
本发明涉及人工智能技术,揭露一种业务视频推送方法,包括:对用户终端进行先验性验证,得到验证结果,若验证结果为先验性验证未通过,识别用户申请请求的请求事件类型,选取与请求事件类型对应的话术作为目标话术;将目标话术转换为对应的目标音频和虚拟主播视频并推送至用户终端。若验证结果为先验性验证通过时,对用户音视频流进行文本转换得到用户回答文本;对用户回答文本进行语言处理,得到语言处理后的预测话术,并将预测话术对应的虚拟主播视频推送至用户终端。此外,本发明还涉及区块链技术,验证结果可存储于区块链的节点。本发明还提出一种业务视频推送装置、电子设备以及存储介质。本发明可以提高业务视频推送的准确性。
权利要求

1.一种业务视频推送方法,其特征在于,所述方法包括:

当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术;

基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频;

将所述虚拟主播视频推送至所述用户终端;

若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

2.如权利要求1所述的业务视频推送方法,其特征在于,所述根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,包括:

利用无监督模型对预获取的训练文本进行向量化处理,得到文本向量;

利用预设的3D人脸模型中的双向长短期记忆网络对所述文本向量进行第一序列变换处理,得到嘴型特征序列;

对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数;

根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型;

将所述目标音频对应的目标话术输入至所述初始人脸模型中,得到虚拟主播视频。

3.如权利要求2所述的业务视频推送方法,其特征在于,所述根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型,包括:

计算所述人脸面部表情参数和预设的真实面部参数之间的损失值;

在所述损失值小于预设的人脸阈值时,将所述3D人脸模型作为初始人脸模型输出;

在所述损失值大于或者等于所述预设的人脸阈值时,对所述3D人脸模型的内部参数进行调整,并返回利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤,直到所述损失值小于所述预设的人脸阈值时,输出为初始人脸模型。

4.如权利要求1所述的业务视频推送方法,其特征在于,所述基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,包括:

利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量;

将所述文本向量输入至分类器中,得到语言处理后的预测话术。

5.如权利要求4所述的业务视频推送方法,其特征在于,所述利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量,包括:

对所述用户回答文本进行掩码处理,得到掩码数据集;

将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;

将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到文本向量。

6.如权利要求1所述的业务视频推送方法,其特征在于,所述识别所述用户申请请求的请求事件类型,包括:

对所述用户申请请求进行文本解析,得到请求文本,并对所述请求文本进行分词处理,得到请求分词集;

利用预设的关键词提取模型提取出所述请求分词集中的多个关键分词;

基于预设的事件类型参考表检索得到所述关键分词所属的分词类型;

统计多个所述关键分词所属的分词类型的出现频率,并将所述出现频率最高的分词类型作为请求事件类型。

7.如权利要求1至6中任一项所述的业务视频推送方法,其特征在于,所述对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果,包括:

根据预设的验证条件及所述验证条件对应的参考答案构建生成验证参考表;

识别出所述用户申请请求对应的用户终端的终端性能,将所述终端性能与所述验证参考表中的验证条件对应的参考答案进行一一比对;

直至所述终端性能与所述参考答案均一致,将所述验证结果输出为先验性验证通过;

若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

8.一种业务视频推送装置,其特征在于,所述装置包括:

先验性验证模块,用于当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

虚拟主播视频生成模块,用于若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术,基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,将所述虚拟主播视频推送至所述用户终端;

文本转换模块,用于若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

话术预测模块,用于基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

9.一种电子设备,其特征在于,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的业务视频推送方法。

10.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的业务视频推送方法。

说明书
技术领域

本发明涉及人工智能技术领域,尤其涉及一种业务视频推送方法、装置、电子设备及存储介质。

随着4G和5G网络的推广普及,手机在各项业务中的运用也越来越普及,基于手机进行业务的推进成为一个很好的辅助方式。例如,在银行的视频贷款中,会根据客户的请求进行贷款虚拟主播动画的推送,但是由于客户手机的配置或者是网络问题通常会导致业务视频推送的不够及时且不够准确,因此亟待提出一种准确度更高的业务推送方法。

本发明提供一种业务视频推送方法、装置、电子设备及存储介质,其主要目的在于提高业务视频推送的准确性。

为实现上述目的,本发明提供的一种业务视频推送方法,包括:

当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术;

基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频;

将所述虚拟主播视频推送至所述用户终端;

若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

可选地,所述根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,包括:

利用无监督模型对预获取的训练文本进行向量化处理,得到文本向量;

利用预设的3D人脸模型中的双向长短期记忆网络对所述文本向量进行第一序列变换处理,得到嘴型特征序列;

对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数;

根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型;

将所述目标话术输入至所述初始人脸模型中,得到虚拟主播视频。

可选地,所述根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型,包括:

计算所述人脸面部表情参数和预设的真实面部参数之间的损失值;

在所述损失值小于预设的人脸阈值时,将所述3D人脸模型作为初始人脸模型输出;

在所述损失值大于或者等于所述预设的人脸阈值时,对所述3D人脸模型的内部参数进行调整,并返回利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤,直到所述损失值小于所述预设的人脸阈值时,输出为初始人脸模型。

可选地,所述基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,包括:

利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量;

将所述文本向量输入至分类器中,得到语言处理后的预测话术。

可选地,所述利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量,包括:

对所述用户回答文本进行掩码处理,得到掩码数据集;

将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;

将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到文本向量。

可选地,所述识别所述用户申请请求的请求事件类型,包括:

对所述用户申请请求进行文本解析,得到请求文本,并对所述请求文本进行分词处理,得到请求分词集;

利用预设的关键词提取模型提取出所述请求分词集中的多个关键分词;

基于预设的事件类型参考表检索得到所述关键分词所属的分词类型;

统计多个所述关键分词所属的分词类型的出现频率,并将所述出现频率最高的分词类型作为请求事件类型。

可选地,所述对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果,包括:

根据预设的验证条件及所述验证条件对应的参考答案构建生成验证参考表;

识别出所述用户申请请求对应的用户终端的终端性能,将所述终端性能与所述验证参考表中的验证条件对应的参考答案进行一一比对;

直至所述终端性能与所述参考答案均一致,将所述验证结果输出为先验性验证通过;

若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

为了解决上述问题,本发明还提供一种业务视频推送装置,所述装置包括:

先验性验证模块,用于当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

虚拟主播视频生成模块,用于若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术,基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,将所述虚拟主播视频推送至所述用户终端;

文本转换模块,用于若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

话术预测模块,用于基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的业务视频推送方法。

为了解决上述问题,本发明还提供一种存储介质,所述存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的业务视频推送方法。

本发明实施例中,通过对用户终端进行先验性验证,根据先验性验证的验证结果进行不同的业务视频推送,提高了业务视频推送的准确性。当所述验证结果为先验性验证未通过时,根据用户申请请求的请求事件类型生成对应的虚拟主播视频,当所述验证结果为先验性验证通过时,对用户音视频进行文本转换及语言处理,得到预测话术,并将预测话术推送至用户终端。因此本发明提出的业务视频推送方法、装置、电子设备及存储介质,可以解决业务视频推送的准确性较低的问题。

图1为本发明一实施例提供的业务视频推送方法的流程示意图;

图2为图1中其中一个步骤的详细实施流程示意图;

图3为图1中其中一个步骤的详细实施流程示意图;

图4为图1中其中一个步骤的详细实施流程示意图;

图5为图4中其中一个步骤的详细实施流程示意图;

图6为图1中其中一个步骤的详细实施流程示意图;

图7为图6中其中一个步骤的详细实施流程示意图;

图8为本发明一实施例提供的业务视频推送装置的功能模块图;

图9为本发明一实施例提供的实现所述业务视频推送方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本申请实施例提供一种业务视频推送方法。所述业务视频推送方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述业务视频推送方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集、云端服务器或云端服务器集等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示,为本发明一实施例提供的业务视频推送方法的流程示意图。在本实施例中,所述业务视频推送方法包括以下步骤S1-S4:

S1、当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果。

本发明实施例中,所述用户申请请求是指客户在进行业务申请时发送的请求。例如,在本方案中,所述用户申请请求可以为客户的申请贷款请求。

具体地,参照图2所示,所述对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果,包括以下步骤S11-S14:

根据预设的验证条件及所述验证条件对应的参考答案构建生成验证参考表;

识别出所述用户申请请求对应的用户终端的终端性能,将所述终端性能与所述验证参考表中的验证条件对应的参考答案进行一一比对;

直至所述终端性能与所述参考答案均一致,将所述验证结果输出为先验性验证通过;

若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

详细地,所述预设的验证条件可以为手机配置是否合格,网络情况是否正常,手机型号是否符合标准,所述验证条件对应的参考答案为手机配置合格,网络情况正常以及手机型号符合标准。将所述用户终端的终端性能与所述参考答案进行一一比对,当手机配置、网络情况和手机型号均符合参考答案时,将所述验证结果输出为先验性验证通过,若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

优选地,通过对所述用户申请请求对应的用户终端进行先验性验证可以根据验证结果进行不同的数据处理,进而保证业务视频推送的效率。例如,当手机配置低、网络情况不好的时候会严重卡顿,对客户体验有着很大的影响,因此可以对这种情况实现降级服务等。

S2、若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术。

本发明实施例中,当所述验证结果为先验性未通过时,说明此时用户终端的终端性能不满足条件,因此可以播放后续生成的虚拟主播视频。

具体地,参照图3所示,所述识别所述用户申请请求的请求事件类型,包括以下步骤S21-S24:

S21、对所述用户申请请求进行文本解析,得到请求文本,并对所述请求文本进行分词处理,得到请求分词集;

S22、利用预设的关键词提取模型提取出所述请求分词集中的多个关键分词;

S23、基于预设的事件类型参考表检索得到所述关键分词所属的分词类型;

S24、统计多个所述关键分词所属的分词类型的出现频率,并将所述出现频率最高的分词类型作为请求事件类型。

详细地,可以利用基准分词器对所述请求文本进行分词处理,得到请求分词集。所述预设的关键词提取模型可以为卷积神经网络,所述事件类型参考表中包含不同的类型标识及所述类型标识对应的分词。例如,贷款标识、还款标识和理财标识等。

进一步地,在预设话术库中选取与所述请求事件类型对应的话术作为目标话术,所述预设话术库中包含不同类型的话术,选取与所述请求事件类型对应的话术作为目标话术。

S3、基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频。

本发明实施例中,所述预设的文本转换算法为TTS(Text To Speech,文本到语音)算法,即“从文本到语音”,是人机对话的一部分,让机器能够说话。TTS是语音合成应用的一种,它将储存于电脑中的文件,如帮助文件或者网页,转换成自然语音输出。TTS不仅能帮助有视觉障碍的人阅读计算机上的信息,更能增加文本文档的可读性。TTS应用包括语音驱动的邮件以及声音敏感系统,并常与声音识别程序一起使用。基于预设的文本转换算法将所述目标话术转换为对应的目标音频。

具体地,参照图4所示,所述根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,包括以下步骤S31-S35:

S31、利用无监督模型对预获取的训练文本进行向量化处理,得到文本向量;

S32、利用预设的3D人脸模型中的双向长短期记忆网络对所述文本向量进行第一序列变换处理,得到嘴型特征序列;

S33、对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数;

S34、根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型;

S35、将所述目标音频对应的目标话术输入至所述初始人脸模型中,得到虚拟主播视频。

进一步地,所述无监督模型可以是word2vec、doc2vec、fasttext等,本申请实施例中,所述预设的无监督模型为word2vec中的Skip-gram模型。其中,word2vec是一类神经网络模型,基于该模型可为语料库中的单个分词产生一个能表达语义的向量,即词向量。所述预设的3D人脸模型可以由两个双向LSTM网络(Bi-directional long Short-Term Memory,双向长短期记忆网络)构成。所述双向长短期记忆网络是一种时间循环神经网络,包括:输入门、遗忘门以及输出门。

进一步地,利用所述预设的3D人脸模型中的第二双向长短期记忆网络对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数,所述第二序列变换处理与所述第一序列变换处理过程一致,此处不再赘述。

本申请实施例中,参照图5所示,所述根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型,包括以下步骤S301-S303:

S301、计算所述人脸面部表情参数和预设的真实面部参数之间的损失值;

S302、在所述损失值小于预设的人脸阈值时,将所述3D人脸模型作为初始人脸模型输出;

S303、在所述损失值大于或者等于所述预设的人脸阈值时,对所述3D人脸模型的内部参数进行调整,并返回利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤,直到所述损失值小于所述预设的人脸阈值时,输出为初始人脸模型。

其中,所述内部参数可以为模型的梯度参数或者权重参数。

S4、将所述虚拟主播视频推送至所述用户终端。

本发明实施例中,将所述虚拟主播视频推送至所述用户终端进行播放,所述虚拟主播视频是录制好的AI虚拟主播动画。

详细地,将音频流推给AI视频贷款前端,客户即可以听到AI播放话术,前端H5播放AI虚拟主播嘴巴活动的动画,当音频流播放完后播放AI虚拟主播嘴巴静止的动画。

S5、若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本。

本发明实施例中,当所述验证结果为先验性验证通过时,说明此时用户终端的终端性能满足条件,因此可以直接进行实时视频连接,所述用户终端的用户视频流即为进行实时视频连接中的视频流。

具体地,利用ASR算法对所述用户音视频流进行文本转换得到用户回答文本。

S6、基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

本发明实施例中,所述预设的自然语言处理模型为NLP(Natural LanguageProcess,简称NLP)模型,是计算机科学、信息工程以及人工智能的子领域,专注于人机语言交互,探讨如何处理和运用自然语言。

具体地,参照图6所示,所述基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,包括以下步骤S61-S62:

S61、利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量;

S62、将所述文本向量输入至分类器中,得到语言处理后的预测话术。

详细地,所述自然语言处理模型可以为BERT(Bidirectional EncoderRepresentations from Transformer,双向编码器表征)模型或者ELMO(Embedding fromlanguage models,双向语言模型)模型。

进一步地,参照图7所示,所述利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量,包括以下步骤S601-S603:

S601、对所述用户回答文本进行掩码处理,得到掩码数据集;

S602、将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;

S603、将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到文本向量。

其中,所述掩码处理的方式包括MASK掩码、随机掩码,MASK掩码指用MASK符号对关键词进行遮掩、所述随机掩码指用其他词语对关键词进行遮掩。

详细地,将所述文本向量输入至分类器中,得到语言处理后的预测话术,其中,所述分类器包括线性分类器和非线性分类器。

本发明实施例中,通过对用户终端进行先验性验证,根据先验性验证的验证结果进行不同的业务视频推送,提高了业务视频推送的准确性。当所述验证结果为先验性验证未通过时,根据用户申请请求的请求事件类型生成对应的虚拟主播视频,当所述验证结果为先验性验证通过时,对用户音视频进行文本转换及语言处理,得到预测话术,基于视频生成算法生成预测话术对应的虚拟主播视频并将虚拟主播视频推送至用户终端。因此本发明提出的业务视频推送方法可以解决业务视频推送的准确性较低的问题。

如图8所示,是本发明一实施例提供的业务视频推送装置的功能模块图。

本发明所述业务视频推送装置100可以安装于电子设备中。根据实现的功能,所述业务视频推送装置100可以包括先验性验证模块101、虚拟主播视频生成模块102、文本转换模块103及话术预测模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

所述先验性验证模块101,用于当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

所述虚拟主播视频生成模块102,用于若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术,基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,将所述虚拟主播视频推送至所述用户终端;

所述文本转换模块103,用于若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

所述话术预测模块104,用于基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

详细地,所述业务视频推送装置100各模块的具体实施方式如下:

步骤一、当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果。

本发明实施例中,所述用户申请请求是指客户在进行业务申请时发送的请求。例如,在本方案中,所述用户申请请求可以为客户的申请贷款请求。

具体地,所述对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果,包括:

根据预设的验证条件及所述验证条件对应的参考答案构建生成验证参考表;

识别出所述用户申请请求对应的用户终端的终端性能,将所述终端性能与所述验证参考表中的验证条件对应的参考答案进行一一比对;

直至所述终端性能与所述参考答案均一致,将所述验证结果输出为先验性验证通过;

若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

详细地,所述预设的验证条件可以为手机配置是否合格,网络情况是否正常,手机型号是否符合标准,所述验证条件对应的参考答案为手机配置合格,网络情况正常以及手机型号符合标准。将所述用户终端的终端性能与所述参考答案进行一一比对,当手机配置、网络情况和手机型号均符合参考答案时,将所述验证结果输出为先验性验证通过,若所述终端性能与所述参考答案部分一致或者均不一致,则将所述验证结果输出为先验性未通过。

优选地,通过对所述用户申请请求对应的用户终端进行先验性验证可以根据验证结果进行不同的数据处理,进而保证业务视频推送的效率。例如,当手机配置低、网络情况不好的时候会严重卡顿,对客户体验有着很大的影响,因此可以对这种情况实现降级服务等。

步骤二、若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术。

本发明实施例中,当所述验证结果为先验性未通过时,说明此时用户终端的终端性能不满足条件,因此可以播放后续生成的虚拟主播视频。

具体地,所述识别所述用户申请请求的请求事件类型,包括:

对所述用户申请请求进行文本解析,得到请求文本,并对所述请求文本进行分词处理,得到请求分词集;

利用预设的关键词提取模型提取出所述请求分词集中的多个关键分词;

基于预设的事件类型参考表检索得到所述关键分词所属的分词类型;

统计多个所述关键分词所属的分词类型的出现频率,并将所述出现频率最高的分词类型作为请求事件类型。

详细地,可以利用基准分词器对所述请求文本进行分词处理,得到请求分词集。所述预设的关键词提取模型可以为卷积神经网络,所述事件类型参考表中包含不同的类型标识及所述类型标识对应的分词。例如,贷款标识、还款标识和理财标识等。

进一步地,在预设话术库中选取与所述请求事件类型对应的话术作为目标话术,所述预设话术库中包含不同类型的话术,选取与所述请求事件类型对应的话术作为目标话术。

步骤三、基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频。

本发明实施例中,所述预设的文本转换算法为TTS(Text To Speech,文本到语音)算法,即“从文本到语音”,是人机对话的一部分,让机器能够说话。TTS是语音合成应用的一种,它将储存于电脑中的文件,如帮助文件或者网页,转换成自然语音输出。TTS不仅能帮助有视觉障碍的人阅读计算机上的信息,更能增加文本文档的可读性。TTS应用包括语音驱动的邮件以及声音敏感系统,并常与声音识别程序一起使用。基于预设的文本转换算法将所述目标话术转换为对应的目标音频。

具体地,所述根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频,包括:

利用无监督模型对预获取的训练文本进行向量化处理,得到文本向量;

利用预设的3D人脸模型中的双向长短期记忆网络对所述文本向量进行第一序列变换处理,得到嘴型特征序列;

对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数;

根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型;

将所述目标音频对应的目标话术输入至所述初始人脸模型中,得到虚拟主播视频。

进一步地,所述无监督模型可以是word2vec、doc2vec、fasttext等,本申请实施例中,所述预设的无监督模型为word2vec中的Skip-gram模型。其中,word2vec是一类神经网络模型,基于该模型可为语料库中的单个分词产生一个能表达语义的向量,即词向量。所述预设的3D人脸模型可以由两个双向LSTM网络(Bi-directional long Short-Term Memory,双向长短期记忆网络)构成。所述双向长短期记忆网络是一种时间循环神经网络,包括:输入门、遗忘门以及输出门。

进一步地,利用所述预设的3D人脸模型中的第二双向长短期记忆网络对所述嘴型特征序列进行第二序列变换处理,得到人脸面部表情参数,所述第二序列变换处理与所述第一序列变换处理过程一致,此处不再赘述。

本申请实施例中,所述根据所述人脸面部表情参数对所述3D人脸模型进行迭代优化,得到初始人脸模型,包括:

计算所述人脸面部表情参数和预设的真实面部参数之间的损失值;

在所述损失值小于预设的人脸阈值时,将所述3D人脸模型作为初始人脸模型输出;

在所述损失值大于或者等于所述预设的人脸阈值时,对所述3D人脸模型的内部参数进行调整,并返回利用预设的3D人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤,直到所述损失值小于所述预设的人脸阈值时,输出为初始人脸模型。

其中,所述内部参数可以为模型的梯度参数或者权重参数。

步骤四、将所述虚拟主播视频推送至所述用户终端。

本发明实施例中,将所述虚拟主播视频推送至所述用户终端进行播放,所述虚拟主播视频是录制好的AI虚拟主播动画。

详细地,将音频流推给AI视频贷款前端,客户即可以听到AI播放话术,前端H5播放AI虚拟主播嘴巴活动的动画,当音频流播放完后播放AI虚拟主播嘴巴静止的动画。

步骤五、若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本。

本发明实施例中,当所述验证结果为先验性验证通过时,说明此时用户终端的终端性能满足条件,因此可以直接进行实时视频连接,所述用户终端的用户视频流即为进行实时视频连接中的视频流。

具体地,利用ASR算法对所述用户音视频流进行文本转换得到用户回答文本。

步骤六、基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

本发明实施例中,所述预设的自然语言处理模型为NLP(Natural LanguageProcess,简称NLP)模型,是计算机科学、信息工程以及人工智能的子领域,专注于人机语言交互,探讨如何处理和运用自然语言。

具体地,所述基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,包括:

利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量;

将所述文本向量输入至分类器中,得到语言处理后的预测话术。

详细地,所述自然语言处理模型可以为BERT(Bidirectional EncoderRepresentations from Transformer,双向编码器表征)模型或者ELMO(Embedding fromlanguage models,双向语言模型)模型。

进一步地,所述利用所述自然语言处理模型对所述用户回答文本进行向量化处理,得到文本向量,包括:

对所述用户回答文本进行掩码处理,得到掩码数据集;

将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;

将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到文本向量。

其中,所述掩码处理的方式包括MASK掩码、随机掩码,MASK掩码指用MASK符号对关键词进行遮掩、所述随机掩码指用其他词语对关键词进行遮掩。

详细地,将所述文本向量输入至分类器中,得到语言处理后的预测话术,其中,所述分类器包括线性分类器和非线性分类器。

本发明实施例中,通过对用户终端进行先验性验证,根据先验性验证的验证结果进行不同的业务视频推送,提高了业务视频推送的准确性。当所述验证结果为先验性验证未通过时,根据用户申请请求的请求事件类型生成对应的虚拟主播视频,当所述验证结果为先验性验证通过时,对用户音视频进行文本转换及语言处理,得到预测话术,基于视频生成算法生成预测话术对应的虚拟主播视频并将虚拟主播视频推送至用户终端。因此本发明提出的业务视频推送装置可以解决业务视频推送的准确性较低的问题。

如图9所示,是本发明一实施例提供的实现业务视频推送方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如业务视频推送程序。

其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing Unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行业务视频推送程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如业务视频推送程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图9仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图9示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的业务视频推送程序是多个指令的组合,在所述处理器10中运行时,可以实现:

当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术;

基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频;

将所述虚拟主播视频推送至所述用户终端;

若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。所述存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。

本发明还提供一种存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:

当获取用户申请请求时,对所述用户申请请求对应的用户终端进行先验性验证,得到验证结果;

若所述验证结果为先验性验证未通过时,识别所述用户申请请求的请求事件类型,并在预设话术库中选取与所述请求事件类型对应的话术作为目标话术;

基于预设的文本转换算法将所述目标话术转换为对应的目标音频,并根据预设的视频生成算法生成所述目标音频对应的虚拟主播视频;

将所述虚拟主播视频推送至所述用户终端;

若所述验证结果为先验性验证通过时,获取所述用户终端的用户音视频流,对所述用户音视频流进行文本转换得到用户回答文本;

基于预设的自然语言处理模型对所述用户回答文本进行语言处理,得到语言处理后的预测话术,基于所述视频生成算法生成所述预测话术对应的虚拟主播视频并将所述虚拟主播视频推送至所述用户终端。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

本文发布于:2023-04-15 00:23:10,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/3/86940.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图