文本特征提取方法、模型训练方法、装置、设备及介质

阅读: 评论:0

著录项
  • CN202210921235.9
  • 20220802
  • CN115168590A
  • 20221011
  • 北京极智感科技有限公司
  • 郑侃;齐家驹;侯璐
  • G06F16/35
  • G06F16/35 G06F40/194 G06F40/279 G06F40/30 G06N3/04 G06N3/08

  • 北京市海淀区海淀西大街36号地下一层479号
  • 北京(11)
  • 北京启焱知识产权代理有限公司
  • 李成龙
摘要
本公开实施例提供了一种文本特征提取方法、模型训练方法、装置、设备及介质。该文本特征提取方法包括获取专利文本,所述专利文本包括多个词语,确定所述多个词语中的每个词语的第一特征向量,对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度,基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量,以及通过卷积层处理所述第二特征向量,得到专利文本特征。
权利要求

1.一种文本特征提取方法,包括:

获取专利文本,所述专利文本包括多个词语;

确定所述多个词语中的每个词语的第一特征向量;

对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度;

基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量;

通过卷积层处理所述第二特征向量,得到专利文本特征。

2.根据权利要求1所述的方法,其中,所述确定所述多个词语中的每个词语的第一特征向量,包括:

基于关联主题模型算法处理所述专利文本中的多个词语,得到多个主题;

确定每个词语属于每个主题的概率;

基于所述概率构建第一特征向量。

3.根据权利要求2所述的方法,其中,所述确定所述多个词语中的每个词语的第一特征向量,还包括:

基于word2vec确定所述多个词语中的每个词语的第一特征向量。

5.根据权利要求2所述的方法,其中,所述通过卷积层处理所述第二特征向量,得到专利文本特征,包括:

筛选所述第二特征向量,包括,对于每个词语,若所述第二特征向量中的值均不大于阈值,则剔除所述词语;

通过卷积层处理筛选后的第二特征向量,得到专利文本特征。

4.根据权利要求1-3任一项所述的方法,其中,词语i的第一特征向量为qi,词语j的第一特征向量为qj,词语i和词语j的相似度为aij,词语的数量为N,所述基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量包括:

对于每个词语i,将该词语的所有相似度规范化,得到

确定第二特征向量

6.根据权利要求1所述的方法,其中,所述专利文本包括说明书摘要、独立权利要求、从属权利要求、具体实施方式中的部分或全部。

7.一种模型训练方法,其中,所述模型包括编码器和分类器,所述方法包括:

获取多篇专利文本以及所述专利文本的分类标签;

通过编码器执行如权利要求1-6任一项所述的方法,以处理所述专利文本,得到专利文本特征;

通过分类器处理所述专利文本特征,得到分类预测结果;

基于所述分类标签和分类预测结果,训练所述编码器和分类器。

8.根据权利要求7所述的方法,其中,获取所述专利文本的分类标签,包括:

基于所述专利文本的分类号确定专利文本的一级类目;

通过关联主题模型算法确定同一一级类目下的多个二级类目,以及所述专利文本属于每个二级类目的概率;

选取概率最大的二级类目作为所述专利文本的分类标签。

9.一种文本特征提取装置,包括:

第一获取模块,被配置为获取专利文本,所述专利文本包括多个词语;

第一确定模块,被配置为确定所述多个词语中的每个词语的第一特征向量;

第二确定模块,被配置为对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度;

第一处理模块,被配置为基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量;

第二处理模块,被配置为通过卷积层处理所述第二特征向量,得到专利文本特征。

10.一种模型训练装置,其中,所述模型包括编码器和分类器,所述装置包括:

第二获取模块,被配置为获取多篇专利文本以及所述专利文本的分类标签;

特征提取模块,被配置为通过编码器执行如权利要求1-6任一项所述的方法,以处理所述专利文本,得到专利文本特征;

第三处理模块,被配置为通过分类器处理所述专利文本特征,得到分类预测结果;

训练模块,被配置为基于所述分类标签和分类预测结果,训练所述编码器和分类器。

11.一种电子设备,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8任一项所述的方法。

12.一种计算机可读存储介质,其上存储有计算机可读指令,所述指令被处理器执行时使得处理器执行如权利要求1-8任一项所述的方法。

说明书
技术领域

本说明书涉及自然语言处理领域,尤其涉及一种文本特征提取方法、模型训练方法、装置、设备及介质。

专利作为现代社会科学技术发展的衡量标志,在一定程度上起到风向标的作用。通过研究专利的发展脉络、提交数量、研究方向等信息,人们可以了解当下的技术热点、空白和壁垒,并推测下一个重要的技术爆发点等重要信息。这种专利研究决策的工作需要从海量专利文本中整理出有效信息。

专利的向量化表示是研究专利的一种重要方法,通过文本处理算法提取专利特征向量作为专利的表征方式,以便于专利工作者利用数学方法对专利进行进一步分析。现有类似的专利特征向量提取方法主要通过统计所提取的专利文本中各个名词和动词出现的频率,基于词频较高的多个名词和动词构建对应专利的特征向量。然而该方法丢失的信息较多,导致后续分析的效果较差。

为解决相关技术中的问题,本公开实施例提供了一种文本特征提取方法、模型训练方法、装置、设备及介质。

本公开的一个方面提供了一种文本特征提取方法,包括:获取专利文本,所述专利文本包括多个词语,确定所述多个词语中的每个词语的第一特征向量,对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度,基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量,以及通过卷积层处理所述第二特征向量,得到专利文本特征。

本公开的另一个方面提供了一种模型训练方法,该模型包括编码器和分类器,该方法包括:获取多篇专利文本以及所述专利文本的分类标签,通过编码器处理所述专利文本,得到专利文本特征,通过分类器处理所述专利文本特征,得到分类预测结果,基于所述分类标签和分类预测结果,训练所述编码器和分类器。

本公开的另一个方面提供了一种文本特征提取装置,包括:第一获取模块、第一确定模块、第二确定模块、第一处理模块以及第二处理模块。第一获取模块,被配置为获取专利文本,所述专利文本包括多个词语。第一确定模块,被配置为确定所述多个词语中的每个词语的第一特征向量。第二确定模块,被配置为对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度。第一处理模块,被配置为基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量。第二处理模块,被配置为通过卷积层处理所述第二特征向量,得到专利文本特征。

本公开的另一个方面提供了一种模型训练装置,其中,所述模型包括编码器和分类器,所述装置包括第二获取模块、特征提取模块、第三处理模块以及训练模块。第二获取模块,被配置为获取多篇专利文本以及所述专利文本的分类标签。特征提取模块,被配置为通过编码器处理所述专利文本,得到专利文本特征。第三处理模块,被配置为通过分类器处理所述专利文本特征,得到分类预测结果。训练模块,被配置为基于所述分类标签和分类预测结果,训练所述编码器和分类器。

本公开的另一个方面提供了一种电子设备,包括至少一个处理器以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。

本公开的另一个方面提供了一种计算机可读存储介质,存储有计算机可读指令,所述指令在被处理器执行时用于实现如上所述的方法。

本公开的另一个方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例,通过获取专利文本中每个词语与多个词语的相似度,加权处理得到每个词语的第二特征向量,并通过卷积层处理第二特征向量,得到专利文本特征,使得句子中的每个词汇嵌入了上下文的信息,大大增强了卷积核的感受范围和全局分析能力,从而保留了全部文本的词语和语序信息,并且,得到的专利文本特征可以表示在连续的向量空间中。该方法能够准确提取出表征专利文本的特征向量,有助于专利研究者的专利决策分析。

结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:

图1示意性示出应用本公开实施例的文本特征提取方法的系统架构示意图;

图2示意性示出本公开实施例的文本特征提取方法的流程图;

图3示意性示出本公开实施例的确定第一特征向量的流程图;

图4示意性示出本公开实施例的处理第二特征向量的流程图;

图5示意性示出本公开另一实施例的文本特征提取方法的流程图;

图6示意性示出本公开实施例的模型训练方法的流程图;

图7示意性示出本公开实施例的获取分类标签的流程图;

图8示意性示出本公开实施例的文本特征提取装置的框图;

图9示意性示出本公开实施例的模型训练装置的框图;以及

图10示意性示出适于实现本公开实施例的方法和装置的计算机系统的结构示意图。

下文中,将参考附图详细描述本公开的示例性实施例,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施例无关的部分。

在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

本公开的实施例提供了一种图像处理方法,包括获取专利文本,所述专利文本包括多个词语,确定所述多个词语中的每个词语的第一特征向量,对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度,基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量,以及通过卷积层处理所述第二特征向量,得到专利文本特征。该方法使得句子中的每个词汇嵌入了上下文的信息,大大增强了卷积核的感受范围和全局分析能力,从而保留了全部文本的词语和语序信息,并且,得到的专利文本特征可以表示在连续的向量空间中。该方法能够准确提取出表征专利文本的特征向量,有助于专利研究者的专利决策分析。

以下结合附图,详细说明本公开各实施例提供的技术方案。

图1示意性示出应用本公开实施例的文本特征提取方法的系统架构示意图。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如浏览器类应用、搜索类应用、即时通信类工具等等。

终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种专用或通用的电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。

服务器105可以是提供各种服务的服务器,例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。

服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集,也可以实现成单个服务器。当服务器105为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。

本公开实施例提供的方法例如可以由终端设备101、102、103执行,也可以由服务器105执行。或者,本公开实施例的方法可以部分地由终端设备101、102、103执行,其他部分由服务器105执行。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

图2示意性示出本公开实施例的文本特征提取方法的流程图。

如图2所示,该文本特征提取方法包括操作S202、S204、S206、S208和S210。

在操作S202,获取专利文本,所述专利文本包括多个词语。

在操作S204,确定所述多个词语中的每个词语的第一特征向量。

在操作S206,对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度。

在操作S208,基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量。

在操作S210,通过卷积层处理所述第二特征向量,得到专利文本特征。

根据本公开的实施例,专利文本可以包括说明书摘要、独立权利要求、从属权利要求、具体实施方式中的部分或全部。通过专利文本全文或者重要部分,例如摘要、具体实施方式、权利要求等更大范围文本来提取特征向量,尽可能地保留专利文本的重要信息。并且,直接使用专利的原始文本作为输入文本训练神经网络,保留了原始文本的全部词语和语序信息。

根据本公开的实施例,可以使用已有的各种分词工具对上述专利文本进行分词,将专利文本处理为有序的多个词语。

根据本公开的实施例,可以使用现有的词嵌入算法确定每个词语的第一特征向量,例如谷歌公司提供的Word2vec算法或其他词嵌入算法。词嵌入,是指将每个单词都表示为一个词向量的方法。进而可以将整个句子转化为一个矩阵,该矩阵既保留了原句的语序信息,又包含了每个词的语义信息。

图3示意性示出本公开实施例的确定第一特征向量的流程图。

如图3所示,操作S204可以包括操作S302、S304、和S306。

在操作S302,基于关联主题模型算法处理所述专利文本中的多个词语,得到多个主题。

在操作S304,确定每个词语属于每个主题的概率。

在操作S306,基于所述概率构建第一特征向量。

关联主题模型算法例如可以是潜在狄利克雷分布(Latent DirichletAllocation,简称LDA),使用LDA的非监督学习方式对专利文本的隐含语义结构进行聚类和语义分析,可以挖掘出文本所包含的数个主题。该算法还可以给出某个词语对应于该些主题的概率分布。例如,在已有8个主题的情况下,该算法可以给出8个数值,表示该词语属于该8个主题的概率。可以使用该数个概率组成第一特征向量,作为词语的词嵌入向量。

使用隐含狄利克雷分布算法或其他的关联主题模型对专利文本提取出若干个主题,并且生成主题模型,来对数据集中的每个专利提取出的有效文本进行向量化处理。基于此主题模型作为先验信息,对专利文本中的每个词汇可以计算出对应的LDA词嵌入,作为后面的文本学习神经网络的输入数据。

对于专利而言,其中的一部分“功能性”专业术语对于语义分析起到极为关键的作用,因为它们涵盖了专利所属的技术领域等重要信息。在主题模型中,这些关键词汇的主题概率分布是近似的。具体而言,如果使用LDA算法来生成主题模型,那么这些关键词汇的LDA词嵌入非常相似,具有很强的关联性,因此它们能够更加准确地描述专利中的技术词汇。

根据本公开实施例,确定所述多个词语中的每个词语的第一特征向量,还可以包括基于word2vec确定所述多个词语中的每个词语的第一特征向量。可以单独使用LDA算法确定词嵌入向量作为第一特征向量,也可以单独使用word2vec算法确定词嵌入向量作为第一特征向量,还可以分别使用LDA算法和word2vec算法确定两种词嵌入向量作为第一特征向量。在同时使用两种算法的实施例中,得到的两个词嵌入向量可以作为两个第一特征向量分别处理,也可以拼接为一个特征向量,此处不做限定。

返回参考图2。词语之间的相似度例如可以使用向量内积、欧氏距离、余弦相似度、感知机等。

一些相关技术应用卷积神经网络挖掘专利文本中的抽象特征,然而,其最大缺点在于其卷积核的宽度有限,感受野太小,只能捕获局部信息。对于一些较长的文本而言,两个相距较远的词汇之间可能存在重要的联系,但二者之间的词汇会不断稀释这种联系,使得神经网络很难能够挖掘到这层信息。

本公开实施例的方法意图使用注意力机制改造词嵌入,以实现新的文本表示方法。通过注意力机制的计算,将每个词的上下文信息都嵌入到该词的词嵌入中,以尽可能的保留产生语义关联且相距较远的上下文信息。

根据本公开实施例,记词语i的第一特征向量为qi,词语j的第一特征向量为qj,词语i和词语j的相似度为aij,词语的数量为N。根据本公开的实施例,对于每个词语i,可以将该词语的所有相似度规范化,得到~aij。其中,将词语的所有相似度规范化的方式,例如可以使用softmax函数将权重规范为0到1的概率值,即:

而后确定第二特征向量时,将各个相似度与其对应词语的第一特征向量进行加权求和,得到当前词语的注意力词嵌入,即第二特征向量其中,

这样,即使卷积核的窗口长度不发生变化,卷积过程中每个词汇依然会携带上下文的信息,使得卷积神经网络的感知范围大大增强,具有捕获全局信息的能力。

对于专利而言,一些关键词占据着至关重要的作用,决定了专利文本中的词汇之间存在不平等的地位。基于关联主题模型,卷积层可以进一步改进,更加专注于这些重要词汇。

图4示意性示出本公开实施例的处理第二特征向量的流程图。

如图4所示,该操作S210可以包括操作S402和S404。

在操作S402,筛选所述第二特征向量,包括,对于每个词语,若所述第二特征向量中的值均不大于阈值,则剔除所述词语。

在操作S404,通过卷积层处理筛选后的第二特征向量,得到专利文本特征。

根据本公开实施例,可以使用上述的LDA主题模型作为先验信息来判断句子中的某个词汇是否重要。具体而言,先确定一个阈值,对于某个词汇来说,只有当其LDA词嵌入中存在大于阈值的值,才认为该单词是重要的。新的卷积层更加关注挖掘上述被筛选出来词汇的特征,因此最大限度地保留了文本的语义内涵,也进一步增大了卷积核的感知范围。

例如,专利文本包括N个词语,相应的通过LDA词嵌入得到N个第二特征向量,假设词嵌入的维度为K(也即主题的数量),那么专利文本此时被表示为N*K的矩阵。本公开实施例的方法可以逐行检验,若该行中存在大于阈值的值,则保留该行,否则舍弃该行。经过处理后,得到M*K的矩阵,其中M≤N。该方法使得重要的专业词语得到更好的表征。

图4所示意的方法可以仅用于处理经过LDA算法得到的第一特征向量,而不用于处理经过word2vec算法得到的第一特征向量。

图5示意性示出本公开另一实施例的文本特征提取方法的流程图。

如图5所示,该方法包括操作S502、S504、S506、S508、S510、S512和S514。

根据本公开的实施例,在得到专利文本后,进入S502和S508,通过两种方式进行词嵌入处理,将专利文本转化为向量化的数据。

在操作S502,通过LDA词嵌入的方式处理专利文本,参照图3的描述,此处不再赘述;

在操作S504,执行基于注意力的LDA词嵌入处理方法,参照上文描述的计算的过程。

在操作S506,基于阈值筛选第二特征向量,参照上文图4描述的方法。

在操作S508,通过Word2vec词嵌入的方式处理专利文本。

在操作S510,执行基于注意力的word2vec词嵌入处理方法,同样参照上文描述的计算的过程。

在操作S512,通过卷积神经网络模型处理两个分支的输出,得到特征向量A和特征向量B。神经网络可以通过卷积、池化等操作提取出文本的高级特征。

在操作S514,可以合并特征向量A和特征向量B,得到专利文本特征。

在本方法中,如何对模型参数进行训练以得到效果更好的特征向量,是实现专利精准分析的关键。

本公开还提供了一种模型训练方法,用于训练包含编码器和分类器的机器学习模型。

图6示意性示出本公开实施例的模型训练方法的流程图。

如图6所示,该方法包括操作S602、S604、S606和S608。

在操作S602,获取多篇专利文本以及所述专利文本的分类标签。

在操作S604,通过编码器处理所述专利文本,得到专利文本特征。该编码器用于执行如图2-图5任一实施例描述的方法。

在操作S606,通过分类器处理所述专利文本特征,得到分类预测结果。

在操作S608,基于所述分类标签和分类预测结果,训练所述编码器和分类器。

根据本公开实施例,专利文本的分类标签可以通过专利分类号获得,例如国际IPC专利分类号等。该带有分类标签的专利数据集可作为训练集及验证集,对编码器进行训练。

根据本公开实施例,可以对专利文本构成的专利数据集进行预处理,提取出每个专利的有效文本,例如专利全文或者部分重要文字,来构成专利数据集中的单个样本。

细粒度的分类号,例如“大组”、“小组”,在很多情况下并不能满足实际需要。根据本公开的实施例,也可以仅使用“部”或“大类”的粗粒度分类号作为参考,以主题算法的方式获得该分类下的具体主题。

图7示意性示出本公开实施例的获取分类标签的流程图。

如图7所示,操作S602可以包括操作S702、S704和S706。

在操作S702,基于所述专利文本的分类号确定专利文本的一级类目。例如IPC分类号中的“部”或“大类”。

在操作S704,通过关联主题模型算法确定同一一级类目下的多个二级类目,以及所述专利文本属于每个二级类目的概率。该关联主题模型算法例如可以是上文所述的LDA算法。

在操作S706,选取概率最大的二级类目作为所述专利文本的分类标签。

利用关联主题模型算法提取专利文本隐含的主题,并计算每个专利对应的各个主题的概率,完成对该专利所属类别的标记。

根据本公开实施例,可以根据提取出专利数据集的若干个关键字或者主题词,将专利数据集聚类到几个主题上。计算每个专利样本对应的各个主题概率,来确定该专利样本的所属类别,从而将所有专利样本归类到若干个类别中。

返回参考图6。编码器例如可以具有图5所示意的结构,用于执行文本特征提取方法,但需要经过训练才能取得较好的效果。分类器的作用旨在对提取出的高级特征做整合,并映射到样本标记空间,进而做分类的显式表达,它的输出的是预测专利属于各类别的概率。分类器可以使用全连接层,其输入是编码器的输出,其输出是专利分类预测结果。可以利用分类标签进行监督,训练包括编码器和解码器在内的整个机器学习模型。训练完成后,即可使用编码器实现文本特征提取方法,也就是说,可以将专利文本直接输入编码器,即可得到向量化的专利文本特征,该些特征能够反映专利本身的主题特性。

本公开实施例的方法基于概率统计分析算法和注意力机制与关联主题模型结合文本学习神经网络提取专利文本特征。该方法能够准确提取出表征专利文本的特征向量,使专利研究者可以进行更加明确的专利决策分析,有利于发现专利的热点与空白领域及技术壁垒。

由于神经网络具有普适性,该方法能够自适应专利类别及数据集的变化。并且神经网络提取得到的特征向量是连续值,可以表示在连续的向量空间中。相比于现有特征向量提取方法使用词频等统计数据的孤立非连续数值,本公开实施例的技术方案得到的特征向量可以较准确地反映出专利之间的量化关系,也有利于利用数学方法进一步地分析。

例如,通过本公开实施例的方法处理专利文本得到的专利文本特征可以用于多种应用场景,包括对专利进行分类、绘制专利地图以寻热门或空白领域等。

基于同一发明构思,本公开还提供了一种文本特征提取装置和模型训练装置,下面参照图8和图9对本公开实施例的装置进行说明。

图8示意性示出本公开实施例的文本特征提取装置800的框图。其中,该装置800可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图8所示,该文本特征提取装置800包括第一获取模块802、第一确定模块804、第二确定模块806、第一处理模块808以及第二处理模块810。该文本特征提取装置800可以执行上文描述的各种文本特征提取方法。

第一获取模块802,被配置为获取专利文本,所述专利文本包括多个词语。

第一确定模块804,被配置为确定所述多个词语中的每个词语的第一特征向量。

第二确定模块806,被配置为对于每个词语,确定该词语与所述多个词语中的每个词语之间的相似度。

第一处理模块808,被配置为基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量。

第二处理模块810,被配置为通过卷积层处理所述第二特征向量,得到专利文本特征。

根据本公开实施例,所述第一确定模块804进一步被配置为基于关联主题模型算法处理所述专利文本中的多个词语,得到多个主题,确定每个词语属于每个主题的概率,基于所述概率构建第一特征向量。

根据本公开实施例,所述第一确定模块还用于基于word2vec确定所述多个词语中的每个词语的第一特征向量。

根据本公开实施例,词语i的第一特征向量为qi,词语j的第一特征向量为qj,词语i和词语j的相似度为aij,词语的数量为N,所述基于所述相似度加权处理所述第一特征向量,得到每个词语的第二特征向量包括:

对于每个词语i,将该词语的所有相似度规范化,得到

确定第二特征向量

根据本公开实施例,所述第二处理模块810进一步被配置为筛选所述第二特征向量,包括,对于每个词语,若所述第二特征向量中的值均不大于阈值,则剔除所述词语,以及通过卷积层处理筛选后的第二特征向量,得到专利文本特征。

根据本公开实施例,所述专利文本包括说明书摘要、独立权利要求、从属权利要求、具体实施方式中的部分或全部。

图9示意性示出本公开实施例的模型训练装置900的框图。其中,该装置900可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图9所示,该模型训练装置900用于训练包括编码器和分类器的模型,该装置900包括第二获取模块902、特征提取模块904、第三处理模块906以及训练模块908。该模型训练装置900可以执行上文描述的各种模型训练方法。

第二获取模块902,被配置为获取多篇专利文本以及所述专利文本的分类标签。

特征提取模块904,被配置为通过编码器处理所述专利文本,得到专利文本特征。

第三处理模块906,被配置为通过分类器处理所述专利文本特征,得到分类预测结果。

训练模块908,被配置为基于所述分类标签和分类预测结果,训练所述编码器和分类器。

根据本公开的实施例,所述第二获取模块902进一步被配置为基于所述专利文本的分类号确定专利文本的一级类目,通过关联主题模型算法确定同一一级类目下的多个二级类目,以及所述专利文本属于每个二级类目的概率,以及选取概率最大的二级类目作为所述专利文本的分类标签。

本公开还公开了一种电子设备,该电子设备包括存储器和处理器,其中,该存储器用于存储支持电子设备执行上述任一实施例中的方法的程序,该处理器被配置为用于执行该存储器中存储的程序,以实现如上文图2-图7任一实施例描述的方法。

图10示意性示出适于实现本公开实施例的方法和装置的计算机系统的结构示意图。

如图10所示,计算机系统1000包括处理单元1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中,还存储有系统1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中,所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地,根据本公开的实施例,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在及其可读介质上的计算机程序,所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

本文发布于:2023-03-13 09:42:14,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/3/69760.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图