知识产权检索系统及其检索方法

本发明涉及知识产权领域下的智能检索，且更为具体地，涉及一种知识产权检索系统及其检索方法。

现代企业间竞争日趋激烈，竞争的手段是多种多样的，其中企业信息化的竞争更是重中之重，尤其是知识产权的竞争。现有的知识产权检索系统基于传统的关键词匹配和分类检索，导致匹配精度不高，客户想要检索到精准匹配的专利需耗费较长时间。

因此，期待一种优化的知识产权检索系统。

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种知识产权检索系统及其检索方法，其通过对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，其融合了专利文本内容中的全文隐含关联特征以及关键字段的全局性隐含关联特征，继而就可以通过检索式与所述专利的特征表示之间的关联表达来进行分类，在融合这两个特征时，进一步计算全文特征向量与关键字段特征向量之间的数据密集簇修正因数以进行修正，这样可以使得计算得到的关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就提高了专利特征表达矩阵的分类准确性，进而提高了检索的精准度。

根据本申请的一个方面，提供了一种知识产权检索系统，其包括：

专利文本语义编码模块，用于将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量；

关键字段提取模块，用于提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景；

关键字段编码模块，用于将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量；

向量长度调整模块，用于通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；

密集簇修正因数计算模块，用于计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值；

加权修正模块，用于以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量；

关联编码模块，用于计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵；

检索式获取模块，用于获取用户输入的检索式；

检索式编码模块，用于对所述检索式进行语义编码以得到检索式特征向量；

分类特征向量生成模块，用于将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量；以及

匹配结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

在上述知识产权检索系统中，所述专利文本语义编码模块，包括：第一分词单元，用于对所述数据库中待匹配的专利的所有文本内容进行分词以获得词序列；第一词嵌入单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量以获得词向量序列；第一上下文语义编码单元，用于使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码以得到多个全局特征向量；第一级联单元，用于将所述多个全局特征向量进行级联以生成所述全文特征向量。

在上述知识产权检索系统中，所述关键字段编码模块，包括：第二分词单元，用于对所述待匹配的专利中的关键数据进行分词以获得关键词序列；第二词嵌入单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述关键词序列中各个词映射为词向量以获得关键词向量序列；第二上下文语义编码单元，用于使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述关键词向量序列进行基于全局掩码结构的全局语义编码以得到多个关键特征向量；第二级联单元，用于将所述多个关键特征向量进行级联以生成所述关键字段特征向量。

在上述知识产权检索系统中，所述向量长度调整单元，进一步用于通过所述线性变换将所述全文特征向量压缩至与所述关键字段特征向量具有相同的长度。

在上述知识产权检索系统中，所述密集簇修正因数计算模块，进一步用于以如下公式来计算所述全文特征向量和所述关键字段特征向量之间的所述密集簇修正因数；

其中，所述公式为：

其中，V1是所述全文特征向量，V2是所述关键字段特征向量，⊙表示点乘，softmax(·)表示特征向量通过分类器得到的概率值，d(·,·)表示特征向量之间的距离，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，特征向量除以参数表示以特征向量中各个位置的特征值分别除以参数。

在上述知识产权检索系统中，所述关联编码模块，用于以如下公式计算所述加权后全文特征向量与所述关键字段特征向量之间的所述关联矩阵；

其中，所述公式为：

其中，M为所述关联矩阵，V1′为所述加权后全文特征向量，V1′T为所述加权后全文特征向量的转置，V2为所述关键字段特征向量。

在上述知识产权检索系统中，所述匹配结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。

根据本申请的另一方面，一种知识产权检索系统的检索方法，其包括：

将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量；

提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景；

将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量；

通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；

计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值；

以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量；

计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵；

获取用户输入的检索式；

对所述检索式进行语义编码以得到检索式特征向量；

将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量；以及

将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

在上述知识产权检索系统的检索方法中，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量，包括：对所述数据库中待匹配的专利的所有文本内容进行分词以获得词序列；使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量以获得词向量序列；使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码以得到多个全局特征向量；将所述多个全局特征向量进行级联以生成所述全文特征向量。

在上述知识产权检索系统的检索方法中，将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量，包括：对所述待匹配的专利中的关键数据进行分词以获得关键词序列；使用所述包含嵌入层的上下文编码器的嵌入层将所述关键词序列中各个词映射为词向量以获得关键词向量序列；使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述关键词向量序列进行基于全局掩码结构的全局语义编码以得到多个关键特征向量；将所述多个关键特征向量进行级联以生成所述关键字段特征向量。

在上述知识产权检索系统的检索方法中，通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量，包括：通过所述线性变换将所述全文特征向量压缩至与所述关键字段特征向量具有相同的长度。

在上述知识产权检索系统的检索方法中，计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，包括：以如下公式来计算所述全文特征向量和所述关键字段特征向量之间的所述密集簇修正因数；

其中，所述公式为：

其中，V1是所述全文特征向量，V2是所述关键字段特征向量，⊙表示点乘，softmax(·)表示特征向量通过分类器得到的概率值，d(·,·)表示特征向量之间的距离，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，特征向量除以参数表示以特征向量中各个位置的特征值分别除以参数。

在上述知识产权检索系统的检索方法中，计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵，包括：以如下公式计算所述加权后全文特征向量与所述关键字段特征向量之间的所述关联矩阵；

其中，所述公式为：

其中，M为所述关联矩阵，V1′为所述加权后全文特征向量，V1′T为所述加权后全文特征向量的转置，V2为所述关键字段特征向量。

在上述知识产权检索系统的检索方法中，将所述分类特征向量通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。

与现有技术相比，本申请提供的知识产权检索系统及其检索方法，其通过对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，其融合了专利文本内容中的全文隐含关联特征以及关键字段的全局性隐含关联特征，继而就可以通过检索式与所述专利的特征表示之间的关联表达来进行分类，在融合这两个特征时，进一步计算全文特征向量与关键字段特征向量之间的数据密集簇修正因数以进行修正，这样可以使得计算得到的关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就提高了专利特征表达矩阵的分类准确性，进而提高了检索的精准度。

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的知识产权检索系统的框图。

图2为根据本申请实施例的知识产权检索系统中专利文本语义编码模块的框图。

图3为根据本申请实施例的知识产权检索系统的检索方法的流程图。

图4为根据本申请实施例的知识产权检索系统的检索方法的架构示意图。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，现代企业间竞争日趋激烈，竞争的手段是多种多样的，其中企业信息化的竞争更是重中之重，尤其是知识产权的竞争。现有的知识产权检索系统基于传统的关键词匹配和分类检索，导致匹配精度不高，客户想要检索到精准匹配的专利需耗费较长时间。因此，期待一种优化的知识产权检索系统。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展，为专利的精准检索提供了新的解决思路和方案。

相应地，在本申请的技术方案中，对于专利的优化精准检索可以基于数据库中待匹配的专利与用户输入的检索式是否相适配来进行快速判断，这本质上是一个分类的问题，也就是，对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，继而通过检索式与专利的特征表示之间的关联表达来进行分类。

具体地，在本申请的技术方案中，首先，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器中进行全局性的特征编码，以得到具有全局性隐含关联特征信息的全文特征向量。在具体实施例中，首先对所述数据库中待匹配的专利的所有文本内容进行分词处理以获得词序列，以避免后续的特征提取的语义混乱；接着，使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量，以便于后续对其进行特征挖掘，从而获得词向量序列；然后，使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码，以得到具有全局性关联特征信息的多个全局特征向量；最后，将所述多个全局特征向量进行级联，以整合所述待匹配专利的文本内容的隐含特征关联信息，从而生成所述全文特征向量。

应可以理解，考虑到在专利的检索中，应更加注重于专利中的关键数据，例如专利的标题、分类号、独权和技术背景。因此，在本申请的技术方案中，进一步提取出所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景。并且，同样地，将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器中进行编码处理，以得到具有全局性关键数据关联特征的关键字段特征向量。

这样，为了进一步融合所述关键字段特征向量和全文特征向量中的特征信息，进一步将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量。相应地，在一个具体示例中，可以通过所述线性变换将所述全文特征向量压缩至与所述关键字段特征向量具有相同的长度。特别地，在另一个具体示例中，也可以通过将所述关键字段特征向量进行插值以将所述关键字段特征向量扩充至与所述全文特征向量具有相同的长度。然后，进一步再计算所述关键字段特征向量和所述全文特征向量的关联矩阵以融合这两者的特征关联信息分布，从而得到专利特征表达矩阵。

但是，在计算关键字段特征向量和全文特征向量的关联矩阵以得到专利特征表达矩阵时，由于要将全文特征向量与关键字段特征向量在长度上对齐，因此全文特征向量的数据密度显著高于关键字段特征向量的数据密度，在这样的情况下，得到的专利特征表达矩阵可能由于数据密度的差异而影响最终的分类准确性。

因此，进一步地，计算全文特征向量V1与关键字段特征向量V2之间的数据密集簇修正因数，具体为：

其中，V1是所述全文特征向量，V2是所述关键字段特征向量，⊙表示点乘，softmax(·)表示特征向量通过分类器得到的概率值，d(·,·)表示特征向量之间的距离，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，特征向量除以参数表示以特征向量中各个位置的特征值分别除以参数。

然后，再将全文特征向量V1以该数据密集簇修正因数进行加权后，计算加权后的全文特征向量V1′与关键字段特征向量V2之间的关联矩阵以得到专利特征表达矩阵。

应可以理解，该特征向量之间的数据密集簇修正实质上是通过特征向量之间的自注意力机制，来对不同数据密度的特征向量之间的空间交互信息进行学习。由此，通过以将全文特征向量V1以该数据密集簇修正因数进行加权后，计算加权后的全文特征向量V1′与关键字段特征向量V2之间的关联矩阵，相当于通过数据相异性的度量来提升不同数据密集度的特征对象实例之间的相似度进行，从而使得计算得到的关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升关联矩阵对于分类目标函数的参数自适应性，也就是，提高专利特征表达矩阵的分类准确性。

这样，在对专利进行检索时，只需要获取用户输入的检索式，并对所述检索式进行语义编码，以提取出具有全局性语义关联特征信息的检索式特征向量。进一步地，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘，以将所述检索式特征向量映射到所述待匹配的专利的专利特征表达矩阵的高维特征空间中，从而得到分类特征向量，再将其通过分类器以获得用于表示所述待匹配专利是否与检索式相适配的分类结果。

基于此，本申请提出了一种知识产权检索系统，其包括：专利文本语义编码模块，用于将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量；关键字段提取模块，用于提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景；关键字段编码模块，用于将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量；向量长度调整模块，用于通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；密集簇修正因数计算模块，用于计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值；加权修正模块，用于以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量；关联编码模块，用于计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵；检索式获取模块，用于获取用户输入的检索式；检索式编码模块，用于对所述检索式进行语义编码以得到检索式特征向量；分类特征向量生成模块，用于将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量；以及，匹配结果生成模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的知识产权检索系统的框图。如图1所示，根据本申请实施例的知识产权检索系统200，包括：专利文本语义编码模块210，用于将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量；关键字段提取模块220，用于提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景；关键字段编码模块230，用于将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量；向量长度调整模块240，用于通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；密集簇修正因数计算模块250，用于计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值；加权修正模块260，用于以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量；关联编码模块270，用于计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵；检索式获取模块280，用于获取用户输入的检索式；检索式编码模块290，用于对所述检索式进行语义编码以得到检索式特征向量；分类特征向量生成模块300，用于将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量；以及，匹配结果生成模块310，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

具体地，在本申请实施例中，所述专利文本语义编码模块210，用于将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量。如前所述，应可以理解，在本申请的技术方案中，对于专利的优化精准检索可以基于数据库中待匹配的专利与用户输入的检索式是否相适配来进行快速判断，这本质上是一个分类的问题，也就是，对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，继而通过检索式与专利的特征表示之间的关联表达来进行分类。

具体地，在本申请的技术方案中，首先，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器中进行全局性的特征编码，以得到具有全局性隐含关联特征信息的全文特征向量。具体地，在本申请实施例中，首先对所述数据库中待匹配的专利的所有文本内容进行分词处理以获得词序列，以避免后续的特征提取的语义混乱；接着，使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量，以便于后续对其进行特征挖掘，从而获得词向量序列；然后，使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码，以得到具有全局性关联特征信息的多个全局特征向量；最后，将所述多个全局特征向量进行级联，以整合所述待匹配专利的文本内容的隐含特征关联信息，从而生成所述全文特征向量。

图2图示了根据本申请实施例的知识产权检索系统中专利文本语义编码模块的框图。如图2所示，所述专利文本语义编码模块210，包括：第一分词单元211，用于对所述数据库中待匹配的专利的所有文本内容进行分词以获得词序列；第一词嵌入单元212，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量以获得词向量序列；第一上下文语义编码单元213，用于使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码以得到多个全局特征向量；第一级联单元214，用于将所述多个全局特征向量进行级联以生成所述全文特征向量。

具体地，在本申请实施例中，所述关键字段提取模块220和所述关键字段编码模块230，用于提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景，并将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量。应可以理解，考虑到在专利的检索中，应更加注重于专利中的关键数据，例如专利的标题、分类号、独权和技术背景。因此，在本申请的技术方案中，进一步提取出所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景。并且，同样地，将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器中进行编码处理，以得到具有全局性关键数据关联特征的关键字段特征向量。

更具体地，在本申请实施例中，所述关键字段编码模块，包括：第二分词单元，用于对所述待匹配的专利中的关键数据进行分词以获得关键词序列；第二词嵌入单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述关键词序列中各个词映射为词向量以获得关键词向量序列；第二上下文语义编码单元，用于使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述关键词向量序列进行基于全局掩码结构的全局语义编码以得到多个关键特征向量；第二级联单元，用于将所述多个关键特征向量进行级联以生成所述关键字段特征向量。

具体地，在本申请实施例中，所述向量长度调整模块240和所述密集簇修正因数计算模块250，用于通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量，并计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值。应可以理解，为了融合所述关键字段特征向量和全文特征向量中的特征信息，进一步将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量。相应地，在一个具体示例中，可以通过所述线性变换将所述全文特征向量压缩至与所述关键字段特征向量具有相同的长度。特别地，在另一个具体示例中，也可以通过将所述关键字段特征向量进行插值以将所述关键字段特征向量扩充至与所述全文特征向量具有相同的长度。

并且，考虑到在计算所述关键字段特征向量和所述全文特征向量的关联矩阵以得到专利特征表达矩阵时，由于要将所述全文特征向量与关键字段特征向量在长度上对齐，因此所述全文特征向量的数据密度显著高于所述关键字段特征向量的数据密度，在这样的情况下，得到的所述专利特征表达矩阵可能由于数据密度的差异而影响最终的分类准确性。因此，在本申请的技术方案中，进一步地，计算所述全文特征向量V1与所述关键字段特征向量V2之间的数据密集簇修正因数。

更具体地，在本申请实施例中，所述密集簇修正因数计算模块，进一步用于：以如下公式来计算所述全文特征向量和所述关键字段特征向量之间的所述密集簇修正因数；

其中，所述公式为：

其中，V1是所述全文特征向量，V2是所述关键字段特征向量，⊙表示点乘，softmax(·)表示特征向量通过分类器得到的概率值，d(·,·)表示特征向量之间的距离，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，特征向量除以参数表示以特征向量中各个位置的特征值分别除以参数。

具体地，在本申请实施例中，所述加权修正模块260和所述关联编码模块270，用于以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量，并计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵。也就是，在本申请的技术方案中，进一步再将所述全文特征向量V1以该所述数据密集簇修正因数进行加权后，计算加权后的所述全文特征向量V1′与所述关键字段特征向量V2之间的关联矩阵以得到专利特征表达矩阵。应可以理解，该所述特征向量之间的数据密集簇修正实质上是通过特征向量之间的自注意力机制，来对不同数据密度的特征向量之间的空间交互信息进行学习。由此，通过以将所述全文特征向量V1以该所述数据密集簇修正因数进行加权后，计算加权后的所述全文特征向量V1′与所述关键字段特征向量V2之间的关联矩阵，相当于通过数据相异性的度量来提升不同数据密集度的特征对象实例之间的相似度进行，从而使得计算得到的所述关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就是，提高专利特征表达矩阵的分类准确性。

更具体地，在本申请实施例中，所述关联编码模块，用于以如下公式计算所述加权后全文特征向量与所述关键字段特征向量之间的所述关联矩阵；

其中，所述公式为：

其中，M为所述关联矩阵，V1′为所述加权后全文特征向量，V1′T为所述加权后全文特征向量的转置，V2为所述关键字段特征向量。

具体地，在本申请实施例中，所述检索式获取模块280和所述检索式编码模块290，用于获取用户输入的检索式，并对所述检索式进行语义编码以得到检索式特征向量。也就是，在本申请的技术方案中，在得到所述专利特征表达矩阵后，在对专利进行检索时，只需要获取用户输入的检索式，并对所述检索式进行语义编码，以提取出具有全局性语义关联特征信息的检索式特征向量。在一个具体示例中，在对所述检索式进行语义编码时可以使用上下文编码器，也可以使用双向LSTM模型来进行，对此并不为本申请所局限。

具体地，在本申请实施例中，所述分类特征向量生成模块300和所述匹配结果生成模块310，用于将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量，并将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。也就是，在本申请的技术方案中，进一步地，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘，以将所述检索式特征向量映射到所述待匹配的专利的专利特征表达矩阵的高维特征空间中，从而得到分类特征向量，再将其通过分类器以获得用于表示所述待匹配专利是否与检索式相适配的分类结果。在一个具体示例中，使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。

综上，基于本申请实施例的所述知识产权检索系统200被阐明，其通过对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，其融合了专利文本内容中的全文隐含关联特征以及关键字段的全局性隐含关联特征，继而就可以通过检索式与所述专利的特征表示之间的关联表达来进行分类，在融合这两个特征时，进一步计算全文特征向量与关键字段特征向量之间的数据密集簇修正因数以进行修正，这样可以使得计算得到的关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就提高了专利特征表达矩阵的分类准确性，进而提高了检索的精准度。

如上所述，根据本申请实施例的知识产权检索系统200可以实现在各种终端设备中，例如知识产权检索算法的服务器等。在一个示例中，根据本申请实施例的知识产权检索系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该知识产权检索系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该知识产权检索系统200同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该知识产权检索系统200与该终端设备也可以是分立的设备，并且该知识产权检索系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图3图示了知识产权检索系统的检索方法的流程图。如图3所示，根据本申请实施例的知识产权检索系统的检索方法，包括步骤：S110，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量；S120，提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景；S130，将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量；S140，通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；S150，计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值；S160，以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量；S170，计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵；S180，获取用户输入的检索式；S190，对所述检索式进行语义编码以得到检索式特征向量；S200，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量；以及，S210，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

图4图示了根据本申请实施例的知识产权检索系统的检索方法的架构示意图。如图4所示，在所述知识产权检索系统的检索方法的网络架构中，首先，将获得的数据库中待匹配的专利的所有文本内容(例如，如图4中所示意的P1)通过包含嵌入层的上下文编码器(例如，如图4中所示意的E1)以得到全文特征向量(例如，如图4中所示意的VF1)；接着，将提取的所述待匹配的专利中的关键数据(例如，如图4中所示意的P2)通过所述包含嵌入层的上下文编码器(例如，如图4中所示意的E1)以得到关键字段特征向量(例如，如图4中所示意的VF2)；然后，通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量；接着，计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数(例如，如图4中所示意的CF)；然后，以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量(例如，如图4中所示意的VF3)；接着，计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵(例如，如图4中所示意的M)；然后，对获得的所述检索式(例如，如图4中所示意的Q)进行语义编码以得到检索式特征向量(例如，如图4中所示意的VF)；接着，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量(例如，如图4中所示意的V)；以及，最后，将所述分类特征向量通过分类器(例如，如图4中所示意的圈S)以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。

更具体地，在步骤S110中，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器以得到全文特征向量。应可以理解，在本申请的技术方案中，对于专利的优化精准检索可以基于数据库中待匹配的专利与用户输入的检索式是否相适配来进行快速判断，这本质上是一个分类的问题，也就是，对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，继而通过检索式与专利的特征表示之间的关联表达来进行分类。

具体地，在本申请的技术方案中，首先，将数据库中待匹配的专利的所有文本内容通过包含嵌入层的上下文编码器中进行全局性的特征编码，以得到具有全局性隐含关联特征信息的全文特征向量。具体地，在本申请实施例中，首先对所述数据库中待匹配的专利的所有文本内容进行分词处理以获得词序列，以避免后续的特征提取的语义混乱；接着，使用所述包含嵌入层的上下文编码器的嵌入层将所述词序列中各个词映射为词向量，以便于后续对其进行特征挖掘，从而获得词向量序列；然后，使用所述包含嵌入层的上下文编码器的基于转换器的Bert模型对所述词向量序列进行基于全局掩码结构的全局语义编码，以得到具有全局性关联特征信息的多个全局特征向量；最后，将所述多个全局特征向量进行级联，以整合所述待匹配专利的文本内容的隐含特征关联信息，从而生成所述全文特征向量。

更具体地，在步骤S120和步骤S130中，提取所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景，并将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器以得到关键字段特征向量。应可以理解，考虑到在专利的检索中，应更加注重于专利中的关键数据，例如专利的标题、分类号、独权和技术背景。因此，在本申请的技术方案中，进一步提取出所述待匹配的专利中的关键数据，所述关键数据包括标题、分类号、独权和技术背景。并且，同样地，将所述待匹配的专利中的关键数据通过所述包含嵌入层的上下文编码器中进行编码处理，以得到具有全局性关键数据关联特征的关键字段特征向量。

更具体地，在步骤S140和步骤S150中，通过线性变换将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量，并计算所述全文特征向量和所述关键字段特征向量之间的密集簇修正因数，其中，所述密集簇修正因数为所述关键字段特征向量通过Softmax分类函数所得到的概率值乘以以所述全文特征向量与所述关键字段特征向量的按位置点乘所得到的特征向量除以两者之间的距离值所得到特征向量再通过所述Softmax分类函数所得到的概率值。应可以理解，为了融合所述关键字段特征向量和全文特征向量中的特征信息，进一步将所述全文特征向量和所述关键字段特征向量调整为相同长度的特征向量。相应地，在一个具体示例中，可以通过所述线性变换将所述全文特征向量压缩至与所述关键字段特征向量具有相同的长度。特别地，在另一个具体示例中，也可以通过将所述关键字段特征向量进行插值以将所述关键字段特征向量扩充至与所述全文特征向量具有相同的长度。

并且，考虑到在计算所述关键字段特征向量和所述全文特征向量的关联矩阵以得到专利特征表达矩阵时，由于要将所述全文特征向量与关键字段特征向量在长度上对齐，因此所述全文特征向量的数据密度显著高于所述关键字段特征向量的数据密度，在这样的情况下，得到的所述专利特征表达矩阵可能由于数据密度的差异而影响最终的分类准确性。因此，在本申请的技术方案中，进一步地，计算所述全文特征向量V1与所述关键字段特征向量V2之间的数据密集簇修正因数。

更具体地，在步骤S160和步骤S170中，以所述密集簇修正因数作为权重对所述全文特征向量进行加权以得到加权后全文特征向量，并计算所述加权后全文特征向量与所述关键字段特征向量之间的关联矩阵作为专利特征表达矩阵。也就是，在本申请的技术方案中，进一步再将所述全文特征向量V1以该所述数据密集簇修正因数进行加权后，计算加权后的所述全文特征向量V1′与所述关键字段特征向量V2之间的关联矩阵以得到专利特征表达矩阵。应可以理解，该所述特征向量之间的数据密集簇修正实质上是通过特征向量之间的自注意力机制，来对不同数据密度的特征向量之间的空间交互信息进行学习。由此，通过以将所述全文特征向量V1以该所述数据密集簇修正因数进行加权后，计算加权后的所述全文特征向量V1′与所述关键字段特征向量V2之间的关联矩阵，相当于通过数据相异性的度量来提升不同数据密集度的特征对象实例之间的相似度进行，从而使得计算得到的所述关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就是，提高专利特征表达矩阵的分类准确性。

更具体地，在步骤S180和步骤S190中，获取用户输入的检索式，并对所述检索式进行语义编码以得到检索式特征向量。也就是，在本申请的技术方案中，在得到所述专利特征表达矩阵后，在对专利进行检索时，只需要获取用户输入的检索式，并对所述检索式进行语义编码，以提取出具有全局性语义关联特征信息的检索式特征向量。在一个具体示例中，在对所述检索式进行语义编码时可以使用上下文编码器，也可以使用双向LSTM模型来进行，对此并不为本申请所局限。

更具体地，在步骤S200和步骤S210中，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘以得到分类特征向量，并将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示所述待匹配专利是否与检索式相适配。也就是，在本申请的技术方案中，进一步地，将所述检索式特征向量作为查询特征向量与所述待匹配的专利的专利特征表达矩阵进行矩阵相乘，以将所述检索式特征向量映射到所述待匹配的专利的专利特征表达矩阵的高维特征空间中，从而得到分类特征向量，再将其通过分类器以获得用于表示所述待匹配专利是否与检索式相适配的分类结果。在一个具体示例中，使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|X}，其中，W1到Wn为权重矩阵，B1到Bn为偏置向量，X为所述分类特征向量。

综上，基于本申请实施例的所述知识产权检索系统的检索方法被阐明，其通过对数据库中的专利进行半结构化高维语义编码以得到专利的特征表示，其融合了专利文本内容中的全文隐含关联特征以及关键字段的全局性隐含关联特征，继而就可以通过检索式与所述专利的特征表示之间的关联表达来进行分类，在融合这两个特征时，进一步计算全文特征向量与关键字段特征向量之间的数据密集簇修正因数以进行修正，这样可以使得计算得到的关联矩阵通过不同数据密集度的特征向量之间的自适应依赖来提升所述关联矩阵对于分类目标函数的参数自适应性，也就提高了专利特征表达矩阵的分类准确性，进而提高了检索的精准度。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。