G06F16/335 G06F40/289 G06F40/242 G06Q10/10
1.一种文本处理方法,其特征在于,所述文本处理方法包括:
获取待申请项目的项目标识及项目信息;
根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
2.如权利要求1所述的文本处理方法,其特征在于,所述根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量包括:
从第一预设向量映射表中获取与所述项目标识中每个标识符对应的标识编码;
根据每个标识符在所述项目标识中的顺序拼接所述标识编码,得到第一项目向量;
基于预设词典对所述项目信息进行划分,得到多个划分路径及每个划分路径的路径分词;
获取所述路径分词在所述预设词典中的词典权值,并计算每个划分路径中所述词典权值的总和,得到路径分数;
将所述路径分数最大的划分路径所对应的路径分词确定为项目分词;
基于预设停用词对所述项目分词进行清洗处理,得到目标分词;
基于第二预设向量映射表对所述目标分词进行编码,得到多个分词向量;
基于所述目标分词在所述项目信息中的位置拼接所述多个分词向量,得到第二项目向量;
根据所述第一项目向量及所述第二项目向量生成目标项目向量。
3.如权利要求2所述的文本处理方法,其特征在于,所述根据所述第一项目向量及所述第二项目向量生成目标项目向量包括:
检测所述第一项目向量的维度作为第一维度,并检测所述第二项目向量的维度作为第二维度;
若所述第一维度小于所述第二维度,则对所述第一项目向量进行补零处理,直至所述第一维度等于所述第二维度,得到处理后的第一项目向量;
计算所述处理后的第一项目向量中每个元素与所述第二项目向量中每个元素的元素之和,得到所述目标项目向量。
4.如权利要求2所述的文本处理方法,其特征在于,所述根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率包括:
基于所述第二预设向量映射表对所述待申报文本进行编码处理,得到第一文本向量,并基于所述第二预设向量映射表对每个成功申报文本进行编码处理,得到第二文本向量;
计算每个第二文本向量与所述第一文本向量的相似度,得到多个所述文本相似度;
计算所述多个文本相似度的平均值,得到所述申报成功率。
5.如权利要求4所述的文本处理方法,其特征在于,所述基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识包括:
计算每个文本相似度与所述申报成功率的差值;
从所述成功申报文本中筛选所述差值处于预设区间的文本作为目标文本,并从所述第二文本向量中提取与所述目标文本对应的向量作为目标文本向量;
对所述待申报文本进行文本切分,得到多个文本段落,并基于所述第二预设向量映射表对每个文本段落进行编码,得到段落向量;
计算所述目标文本向量与每个段落向量的相似度,得到向量相似度;
将所述向量相似度小于所述预设成功率阈值的文本段落确定为所述目标段落,并对所述目标段落进行标识。
6.如权利要求1所述的文本处理方法,其特征在于,所述根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目包括:
若所述项目数量小于预设数量阈值,则将取值大于第二预设阈值的项目相似度所对应的历史项目确定为所述相似项目,所述第二预设阈值小于所述第一预设阈值。
7.如权利要求1所述的文本处理方法,其特征在于,所述获取所述相似项目中申报成功的文本作为成功申报文本包括:
从预设文本库中获取与所述相似项目对应的初始申报文本;
获取所述初始申报文本的申报结果;
将所述申报结果为申报成功的初始申报文本确定为所述成功申报文本。
8.一种文本处理装置,其特征在于,所述文本处理装置包括:
获取单元,用于获取待申请项目的项目标识及项目信息;
生成单元,用于根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
所述获取单元,还用于获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
计算单元,用于根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
提取单元,用于根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
所述获取单元,还用于获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
所述生成单元,还用于根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
标识单元,用于若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的文本处理方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的文本处理方法。
本发明涉及人工智能技术领域,尤其涉及一种文本处理方法、装置、设备及存储介质。
目前,企业用户为项目申请扶持资金往往需要通过认真核对企业信息和扶持政策中的申报要求,并在相关流程申请完成后才能得到审批结果,进而才能获悉最后审批没有通过的具体原由。
因此,在没有对项目进行申请之前,如何准确的标识出造成项目无法通过审批的原由,成了亟需解决的技术问题。
鉴于以上内容,有必要提供一种文本处理方法、装置、设备及存储介质,能够准确的确定出项目申报成功率,进而能够准确的标识出影响项目申报成功率小于一定阈值的目标段落。
一方面,本发明提出一种文本处理方法,所述文本处理方法包括:
获取待申请项目的项目标识及项目信息;
根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
根据本发明优选实施例,所述根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量包括:
从第一预设向量映射表中获取与所述项目标识中每个标识符对应的标识编码;
根据每个标识符在所述项目标识中的顺序拼接所述标识编码,得到第一项目向量;
基于预设词典对所述项目信息进行划分,得到多个划分路径及每个划分路径的路径分词;
获取所述路径分词在所述预设词典中的词典权值,并计算每个划分路径中所述词典权值的总和,得到路径分数;
将所述路径分数最大的划分路径所对应的路径分词确定为项目分词;
基于预设停用词对所述项目分词进行清洗处理,得到目标分词;
基于第二预设向量映射表对所述目标分词进行编码,得到多个分词向量;
基于所述目标分词在所述项目信息中的位置拼接所述多个分词向量,得到第二项目向量;
根据所述第一项目向量及所述第二项目向量生成目标项目向量。
根据本发明优选实施例,所述根据所述第一项目向量及所述第二项目向量生成目标项目向量包括:
检测所述第一项目向量的维度作为第一维度,并检测所述第二项目向量的维度作为第二维度;
若所述第一维度小于所述第二维度,则对所述第一项目向量进行补零处理,直至所述第一维度等于所述第二维度,得到处理后的第一项目向量;
计算所述处理后的第一项目向量中每个元素与所述第二项目向量中每个元素的元素之和,得到所述目标项目向量。
根据本发明优选实施例,所述根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率包括:
基于所述第二预设向量映射表对所述待申报文本进行编码处理,得到第一文本向量,并基于所述第二预设向量映射表对每个成功申报文本进行编码处理,得到第二文本向量;
计算每个第二文本向量与所述第一文本向量的相似度,得到多个所述文本相似度;
计算所述多个文本相似度的平均值,得到所述申报成功率。
根据本发明优选实施例,所述基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识包括:
计算每个文本相似度与所述申报成功率的差值;
从所述成功申报文本中筛选所述差值处于预设区间的文本作为目标文本,并从所述第二文本向量中提取与所述目标文本对应的向量作为目标文本向量;
对所述待申报文本进行文本切分,得到多个文本段落,并基于所述第二预设向量映射表对每个文本段落进行编码,得到段落向量;
计算所述目标文本向量与每个段落向量的相似度,得到向量相似度;
将所述向量相似度小于所述预设成功率阈值的文本段落确定为所述目标段落,并对所述目标段落标识。
根据本发明优选实施例,所述根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目包括:
若所述项目数量小于预设数量阈值,则将取值大于第二预设阈值的项目相似度所对应的历史项目确定为所述相似项目,所述第二预设阈值小于所述第一预设阈值。
根据本发明优选实施例,所述获取所述相似项目中申报成功的文本作为成功申报文本包括:
从预设文本库中获取与所述相似项目对应的初始申报文本;
获取所述初始申报文本的申报结果;
将所述申报结果为申报成功的初始申报文本确定为所述成功申报文本。
另一方面,本发明还提出一种文本处理装置,所述文本处理装置包括:
获取单元,用于获取待申请项目的项目标识及项目信息;
生成单元,用于根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
所述获取单元,还用于获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
计算单元,用于根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
提取单元,用于根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
所述获取单元,还用于获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
所述生成单元,还用于根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
标识单元,用于若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
另一方面,本发明还提出一种电子设备,所述电子设备包括:
存储器,存储计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现所述文本处理方法。
另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述文本处理方法。
由以上技术方案可以看出,本发明通过所述项目标识及所述项目信息能够准确的生成表征所述待申请项目的目标项目向量,进而结合所述目标项目向量及所述历史项目向量能够从同一维度上筛选出所述相似项目,提高所述相似项目的准确性,通过所述待申报文本与所述相似项目中成功申报文本的文本相似度的计算,能够准确的确定出所述待申报文本对于所述待申请项目的申报成功率,进而在所述申报成功率小于预设成功率阈值时,能够实现在没有对项目进行申请之前,准确的确定出影响项目申报成功率小于一定阈值的目标段落并标识。另外,本发明通过所述申报成功率能够合理的选择是否对所述待申请项目进行申报,从而能够在一定程度上避免出现申报后不通过审批的情况。
图1是本发明文本处理方法的较佳实施例的流程图。
图2是本发明文本处理装置的较佳实施例的功能模块图。
图3是本发明实现文本处理方法的较佳实施例的电子设备的结构示意图。
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1所示,是本发明文本处理方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
所述文本处理方法可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述文本处理方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能穿戴式设备等。
所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。
所述电子设备所在的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
S10,获取待申请项目的项目标识及项目信息。
在本发明的至少一个实施例中,所述待申请项目是指需要进行资金申报的项目。
所述项目标识是指用于标识所述待申请项目的具体标签。
所述项目信息是指与所述待申请项目相关的政策信息。
在本发明的至少一个实施例中,所述电子设备获取待申请项目的项目标识及项目信息包括:
基于所述待申请项目从预设网站中获取所述项目标识及所述项目信息。
S11,根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目。
在本发明的至少一个实施例中,所述电子设备根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量包括:
从第一预设向量映射表中获取与所述项目标识中每个标识符对应的标识编码;
根据每个标识符在所述项目标识中的顺序拼接所述标识编码,得到第一项目向量;
基于预设词典对所述项目信息进行划分,得到多个划分路径及每个划分路径的路径分词;
获取所述路径分词在所述预设词典中的词典权值,并计算每个划分路径中所述词典权值的总和,得到路径分数;
将所述路径分数最大的划分路径所对应的路径分词确定为项目分词;
基于预设停用词对所述项目分词进行清洗处理,得到目标分词;
基于第二预设向量映射表对所述目标分词进行编码,得到多个分词向量;
基于所述目标分词在所述项目信息中的位置拼接所述多个分词向量,得到第二项目向量;
根据所述第一项目向量及所述第二项目向量生成目标项目向量。
其中,所述预设词典中存储有多个词汇与权值的映射关系。
所述第一预设向量映射表中存储有标识与向量的映射关系,所述第二预设向量映射表中存储有词汇与向量的映射关系。
所述预设停用词可以从各大网站中的停用词表中获取。
所述目标分词是指不包含所述预设停用词的项目分词。
通过所述预设词典对所述项目信息进行划分,能够提高所述项目分词的准确性,通过对所述项目分词进行清洗,能够剔除与所述待申请项目无关的词汇,提高所述第二项目向量对所述项目信息的表征能力,进而结合所述第一项目向量及所述第二项目向量,能够提高所述目标项目向量对所述待申请项目的表征能力。
具体地,所述电子设备根据所述第一项目向量及所述第二项目向量生成目标项目向量包括:
检测所述第一项目向量的维度作为第一维度,并检测所述第二项目向量的维度作为第二维度;
若所述第一维度小于所述第二维度,则对所述第一项目向量进行补零处理,直至所述第一维度等于所述第二维度,得到处理后的第一项目向量;
计算所述处理后的第一项目向量中每个元素与所述第二项目向量中每个元素的元素之和,得到所述目标项目向量。
通过上述实施方式,能够确保所述第一项目向量及所述第二项目向量能够成功结合,提高了所述目标项目向量的生成准确性。
在其他实施例中,拼接所述处理后的第一项目向量与所述第二项目向量,得到所述目标项目向量。
通过上述实施方式,能够快速生成所述目标项目向量。
S12,获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目。
在本发明的至少一个实施例中,所述历史项目是指与所述待申请项目不同的政策项目。
所述历史项目向量的生成方式与所述目标项目向量的生成方式相似,本发明对此不再赘述。
在本发明的至少一个实施例中,所述电子设备基于所述历史项目从预设向量库中获取所述历史项目向量。
S13,根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量。
在本发明的至少一个实施例中,所述项目数量是指所述项目相似度取值大于第一预设阈值的项目相似度所对应的历史项目的数量。
所述项目相似度是指所述历史项目向量与所述目标项目向量的余弦值。
S14,根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目。
在本发明的至少一个实施例中,所述相似项目是指与所述待申请项目相似的历史项目。
在本发明的至少一个实施例中,所述电子设备根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目包括:
若所述项目数量小于预设数量阈值,则将取值大于第二预设阈值的项目相似度所对应的历史项目确定为所述相似项目,所述第二预设阈值小于所述第一预设阈值。
其中,所述预设数量阈值可以根据实际需求设定,例如,所述预设数量阈值可以为5。
所述第一预设阈值及所述第二预设阈值可以根据需求设定。
通过上述实施方式,能够在确保所述相似项目与所述待申请相似足够相似的前提下,将更多的历史项目确定为所述相似项目,从而能够使得后续运算得到的申报成功率更加准确。
S15,获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本。
在本发明的至少一个实施例中,所述待申报文本是指与所述待申请项目对应的申报文本。
在本发明的至少一个实施例中,所述电子设备获取所述相似项目中申报成功的文本作为成功申报文本包括:
从预设文本库中获取与所述相似项目对应的初始申报文本;
获取所述初始申报文本的申报结果;
将所述申报结果为申报成功的初始申报文本确定为所述成功申报文本。
其中,所述预设文本库中存储有多个与历史项目相关的申报文本及该申报文本的申报结果。
通过上述实施方式,能够提高所述成功申报文本的获取效率。
在本发明的至少一个实施例中,所述电子设备从预设路径中获取任意与所述待申请项目对应的文本作为所述待申报文本。
S16,根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率。
需要强调的是,为进一步保证上述申报成功率的私密和安全性,上述申报成功率还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述电子设备根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率包括:
基于所述第二预设向量映射表对所述待申报文本进行编码处理,得到第一文本向量,并基于所述第二预设向量映射表对每个成功申报文本进行编码处理,得到第二文本向量;
计算每个第二文本向量与所述第一文本向量的相似度,得到多个所述文本相似度;
计算所述多个文本相似度的平均值,得到所述申报成功率。
其中,所述文本相似度是指所述第二文本向量与所述第一文本向量的余弦值。
通过所述第二预设向量映射表对所述待申报文本及所述成功申报文本进行编码,能够从同一维度上分析所述文本相似度,提高所述文本相似度的准确性,另外,基于多个所述成功申报文本对所述申报成功率的分析,能够提高所述申报成功率的准确性。
S17,若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
在本发明的至少一个实施例中,所述目标段落是指影响所述申报成功率小于预设成功率阈值的文本段落。
在本发明的至少一个实施例中,所述基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识包括:
计算每个文本相似度与所述申报成功率的差值;
从所述成功申报文本中筛选所述差值处于预设区间的文本作为目标文本,并从所述第二文本向量中提取与所述目标文本对应的向量作为目标文本向量;
对所述待申报文本进行文本切分,得到多个文本段落,并基于所述第二预设向量映射表对每个文本段落进行编码,得到段落向量;
计算所述目标文本向量与每个段落向量的相似度,得到向量相似度;
将所述向量相似度小于所述预设成功率阈值的文本段落进行标识。
其中,所述预设成功率阈值及所述预设区间可以根据实际需求设定,例如,所述预设成功率阈值可以为60%,所述预设区间可以是[0.25,0.35]。
通过上述实施方式,能够准确的定位出影响所述申报成功率小于所述预设成功率阈值的文本段落,通过对该文本段落进行标识,能够辅助用户快速获悉无法申报成功的具体原因。
由以上技术方案可以看出,本发明通过所述项目标识计所述项目信息能够准确的生成表征所述待申请项目的目标项目向量,进而结合所述目标项目向量及所述历史项目向量能够从同一维度上筛选出所述相似项目,提高所述相似项目的准确性,通过所述待申报文本与所述相似项目中成功申报文本的文本相似度的计算,能够准确的确定出所述待申报文本对于所述待申请项目的申报成功率,进而在所述申报成功率小于预设成功率阈值时,能够实现在没有对项目进行申请之前,准确的确定出影响项目申报成功率小于一定阈值的目标段落并标识。另外,本发明通过所述申报成功率能够合理的选择是否对所述待申请项目进行申报,从而能够在一定程度上避免出现申报后不通过审批的情况。
如图2所示,是本发明文本处理装置的较佳实施例的功能模块图。所述文本处理装置11包括获取单元110、生成单元111、提取单元112、计算单元113及标识单元114。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
获取单元110获取待申请项目的项目标识及项目信息。
在本发明的至少一个实施例中,所述待申请项目是指需要进行资金申报的项目。
所述项目标识是指用于标识所述待申请项目的具体标签。
所述项目信息是指与所述待申请项目相关的政策信息。
在本发明的至少一个实施例中,所述获取单元110获取待申请项目的项目标识及项目信息包括:
基于所述待申请项目从预设网站中获取所述项目标识及所述项目信息。
生成单元111根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目。
在本发明的至少一个实施例中,所述生成单元111根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量包括:
从第一预设向量映射表中获取与所述项目标识中每个标识符对应的标识编码;
根据每个标识符在所述项目标识中的顺序拼接所述标识编码,得到第一项目向量;
基于预设词典对所述项目信息进行划分,得到多个划分路径及每个划分路径的路径分词;
获取所述路径分词在所述预设词典中的词典权值,并计算每个划分路径中所述词典权值的总和,得到路径分数;
将所述路径分数最大的划分路径所对应的路径分词确定为项目分词;
基于预设停用词对所述项目分词进行清洗处理,得到目标分词;
基于第二预设向量映射表对所述目标分词进行编码,得到多个分词向量;
基于所述目标分词在所述项目信息中的位置拼接所述多个分词向量,得到第二项目向量;
根据所述第一项目向量及所述第二项目向量生成目标项目向量。
其中,所述预设词典中存储有多个词汇与权值的映射关系。
所述第一预设向量映射表中存储有标识与向量的映射关系,所述第二预设向量映射表中存储有词汇与向量的映射关系。
所述预设停用词可以从各大网站中的停用词表中获取。
所述目标分词是指不包含所述预设停用词的项目分词。
通过所述预设词典对所述项目信息进行划分,能够提高所述项目分词的准确性,通过对所述项目分词进行清洗,能够剔除与所述待申请项目无关的词汇,提高所述第二项目向量对所述项目信息的表征能力,进而结合所述第一项目向量及所述第二项目向量,能够提高所述目标项目向量对所述待申请项目的表征能力。
具体地,所述生成单元111根据所述第一项目向量及所述第二项目向量生成目标项目向量包括:
检测所述第一项目向量的维度作为第一维度,并检测所述第二项目向量的维度作为第二维度;
若所述第一维度小于所述第二维度,则对所述第一项目向量进行补零处理,直至所述第一维度等于所述第二维度,得到处理后的第一项目向量;
计算所述处理后的第一项目向量中每个元素与所述第二项目向量中每个元素的元素之和,得到所述目标项目向量。
通过上述实施方式,能够确保所述第一项目向量及所述第二项目向量能够成功结合,提高了所述目标项目向量的生成准确性。
在其他实施例中,拼接所述处理后的第一项目向量与所述第二项目向量,得到所述目标项目向量。
通过上述实施方式,能够快速生成所述目标项目向量。
获取单元110获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目。
在本发明的至少一个实施例中,所述历史项目是指与所述待申请项目不同的政策项目。
所述历史项目向量的生成方式与所述目标项目向量的生成方式相似,本发明对此不再赘述。
在本发明的至少一个实施例中,所述获取单元110基于所述历史项目从预设向量库中获取所述历史项目向量。
计算单元113根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量。
在本发明的至少一个实施例中,所述项目数量是指所述项目相似度取值大于第一预设阈值的项目相似度所对应的历史项目的数量。
所述项目相似度是指所述历史项目向量与所述目标项目向量的余弦值。
提取单元112根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目。
在本发明的至少一个实施例中,所述相似项目是指与所述待申请项目相似的历史项目。
在本发明的至少一个实施例中,所述提取单元112根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目包括:
若所述项目数量小于预设数量阈值,则将取值大于第二预设阈值的项目相似度所对应的历史项目确定为所述相似项目,所述第二预设阈值小于所述第一预设阈值。
其中,所述预设数量阈值可以根据实际需求设定,例如,所述预设数量阈值可以为5。
所述第一预设阈值及所述第二预设阈值可以根据需求设定。
通过上述实施方式,能够在确保所述相似项目与所述待申请相似足够相似的前提下,将更多的历史项目确定为所述相似项目,从而能够使得后续运算得到的申报成功率更加准确。
所述获取单元110获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本。
在本发明的至少一个实施例中,所述待申报文本是指与所述待申请项目对应的申报文本。
在本发明的至少一个实施例中,所述获取单元110获取所述相似项目中申报成功的文本作为成功申报文本包括:
从预设文本库中获取与所述相似项目对应的初始申报文本;
获取所述初始申报文本的申报结果;
将所述申报结果为申报成功的初始申报文本确定为所述成功申报文本。
其中,所述预设文本库中存储有多个与历史项目相关的申报文本及该申报文本的申报结果。
通过上述实施方式,能够提高所述成功申报文本的获取效率。
在本发明的至少一个实施例中,所述获取单元110从预设路径中获取任意与所述待申请项目对应的文本作为所述待申报文本。
所述生成单元111根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率。
需要强调的是,为进一步保证上述申报成功率的私密和安全性,上述申报成功率还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述生成单元111根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率包括:
基于所述第二预设向量映射表对所述待申报文本进行编码处理,得到第一文本向量,并基于所述第二预设向量映射表对每个成功申报文本进行编码处理,得到第二文本向量;
计算每个第二文本向量与所述第一文本向量的相似度,得到多个所述文本相似度;
计算所述多个文本相似度的平均值,得到所述申报成功率。
其中,所述文本相似度是指所述第二文本向量与所述第一文本向量的余弦值。
通过所述第二预设向量映射表对所述待申报文本及所述成功申报文本进行编码,能够从同一维度上分析所述文本相似度,提高所述文本相似度的准确性,另外,基于多个所述成功申报文本对所述申报成功率的分析,能够提高所述申报成功率的准确性。
若所述申报成功率小于预设成功率阈值,则标识单元114基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
在本发明的至少一个实施例中,所述标识单元114基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识包括:
计算每个文本相似度与所述申报成功率的差值;
从所述成功申报文本中筛选所述差值处于预设区间的文本作为目标文本,并从所述第二文本向量中提取与所述目标文本对应的向量作为目标文本向量;
对所述待申报文本进行文本切分,得到多个文本段落,并基于所述第二预设向量映射表对每个文本段落进行编码,得到段落向量;
计算所述目标文本向量与每个段落向量的相似度,得到向量相似度;
将所述向量相似度小于所述预设成功率阈值的文本段落进行标识。
其中,所述预设成功率阈值及所述预设区间可以根据实际需求设定,例如,所述预设成功率阈值可以为60%,所述预设区间可以是[0.25,0.35]。
通过上述实施方式,能够准确的定位出影响所述申报成功率小于所述预设成功率阈值的文本段落,通过对该文本段落进行标识,能够辅助用户快速获悉无法申报成功的具体原因。
由以上技术方案可以看出,本发明通过所述项目标识计所述项目信息能够准确的生成表征所述待申请项目的目标项目向量,进而结合所述目标项目向量及所述历史项目向量能够从同一维度上筛选出所述相似项目,提高所述相似项目的准确性,通过所述待申报文本与所述相似项目中成功申报文本的文本相似度的计算,能够准确的确定出所述待申报文本对于所述待申请项目的申报成功率,进而在所述申报成功率小于预设成功率阈值时,能够实现在没有对项目进行申请之前,准确的确定出影响项目申报成功率小于一定阈值的目标段落并标识。另外,本发明通过所述申报成功率能够合理的选择是否对所述待申请项目进行申报,从而能够在一定程度上避免出现申报后不通过审批的情况。
如图3所示,是本发明实现文本处理方法的较佳实施例的电子设备的结构示意图。
在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如文本处理程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成获取单元110、生成单元111、提取单元112、计算单元113及标识单元114。
所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)。
本发明所指区块链是分布式文本处理、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
结合图1,所述电子设备1中的所述存储器12存储计算机可读指令实现一种文本处理方法,所述处理器13可执行所述计算机可读指令从而实现:
获取待申请项目的项目标识及项目信息;
根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:
获取待申请项目的项目标识及项目信息;
根据所述项目标识及所述项目信息生成所述待申请项目的目标项目向量,所述目标项目向量用于表征所述待申请项目;
获取历史项目的历史项目向量,所述历史项目向量用于表征所述历史项目;
根据所述目标项目向量与所述历史项目向量的项目相似度统计所述历史项目中大于第一预设阈值的项目数量;
根据所述项目数量从所述历史项目中提取所述待申请项目的相似项目;
获取所述相似项目中申报成功的文本作为成功申报文本,并获取待申报文本;
根据所述待申报文本与每个成功申报文本的文本相似度,生成所述待申报文本对于所述待申请项目的申报成功率;
若所述申报成功率小于预设成功率阈值,则基于所述预设成功率阈值从待申报文本中筛选出目标段落进行标识。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
本文发布于:2023-04-13 19:56:59,感谢您对本站的认可!
本文链接:https://patent.en369.cn/patent/1/86700.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
留言与评论(共有 0 条评论) |