一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法

本发明属于专利术语关系抽取技术领域，具体涉及一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法。

随着社会发展和科技进步，人们对科研成果的保护意识逐渐增加，专利申请数量也逐年上升，为了更加有效的分析专利之间的联系，优化专利的检索，专利术语关系自动抽取的研究受到越来越多学者的重视，以往靠人工收集和非监督学习算法的抽取已经远远不能满足人们的需求，利用计算机自动抽取专利术语关系已经成为必然。专利术语关系自动抽取对于专利信息检索、专利相似度检测、专利领域本体构建、专利知识图谱构建以及潜在语义分析等工作有着重要的作用。

目前，关系抽取主要研究方法包括基于模式匹配的方法、基于词典驱动的方法、基于统计的机器学习方法和基于多方法混合的方法，但这些方法都需要人工提取特征，如词性、依存关系、语义角等；或者在一定程度上依赖自然语言处理工具，如词性标注、句法分析等，然而不同工具的处理结果会存在一定的差异，从而影响最终的抽取结果。

近年来，利用深度学习的方法进行实体关系抽取成为主流，可以自动的学习并获取有效的文本特征，这种方法在不使用基础自然语言处理工具的情况下，在多个自然语言处理任务中取得了超过传统方法的性能，但这种方法在表征句子的局部特征及全局特征仍有不足。

针对上述现有技术中存在的问题，本发明的目的在于提供一种可避免出现上述技术缺陷的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法。

为了实现上述发明目的，本发明采用的技术方案如下：

一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，包括以下步骤：

步骤1)：对专利文本进行预处理，识别出术语特征，同时加入位置信息，并通过改进的TextRank算法获得类别关键词特征，并将其组成向量矩阵；

步骤2)：将向量矩阵导入Bi-LSTM模型中，采用注意力机制获得文本信息的整体特征；

步骤3)：利用最大池化层选择每个句子的关键特征作为局部特征；

步骤4)：将整体特征和局部特征融合；

步骤5)：使用softmax分类器输出分类结果。

进一步地，所述步骤1)中改进的TextRank算法具体为：

步骤A：输入待处理的专利文本信息集S＝{s1，s2，s3，...，sn}，并设定参数：阻尼系数d、滑动窗口大小w、最大迭代次数I、迭代停止阈值

步骤B：将专利文本信息集S中对应的每个文本si进行分词、词性标注，过滤掉停用词并只保留指定词性的词语(动词、形容词、名词)，这些词形成最终候选的类别特征关键词；

步骤C：通过TF-IDF算法计算专利文本信息集S中每个词语的TF-IDF值；

步骤D：基于滑动窗口大小w遍历专利文本信息词语，然后采用共现关系(co-occurrence)构造任两个词语之间的边，从而构建由si中的词语构成的关键词图Gi；

步骤E：根据公式(1)迭代计算关键词图Gi中每个词语的权重，直至收敛，公式(1)如下所示：

其中：W(vi)为节点vi的权值；d为阻尼系数，表示从图中某一特定节点指向其他任意节点的概率，设置为0.85；In(vi)表示指向节点vi的节点集合；Out(vj)表示从节点vj出发的边指向的节点集合；wji表示节点vj到vi的边的权值，W′(vi)TF-IDF表示节点vi的TF-IDF值；

步骤F：通过权值大小对关键词图Gi中的每个词语进行排序，选择权值最大且词性为动词的词语作为类别特征关键词。

进一步地，所述步骤2)具体为：注意力层所使用的公式如(2)、(3)、(4)所示：

M＝tanh(H)(2)

α＝softmax(wTM)(3)

其中，H是由Bi-LSTM层T个时刻输出的矩阵[h1，h2，h3，...，hT]且dw表示词向量的维度；w表示训练参数向量且wT表示w的转置；α表示注意力概率分布向量；h*表示学习到的句子表示。

进一步地，所述步骤3)具体为：对于Bi-LSTM模型的输出结果H使用最大池化的方法对其进行统计计算，如公式(5)所示：

h′＝maxpool(H)(5)

进一步地，所述步骤4)具体为：特征融合是将注意力层和池化层的计算结果进行合并，如公式(6)所示：

其中表示向量拼接。

进一步地，所述步骤5)具体为：使用softmax分类器从句子S的离散类Y集合中预测标签分类器将特征融合之后的结果作为输入，公式如(7)、(8)所示：

所使用的损失函数是真实类标签y的负对数似然函数，并使用L2正则化来防止过拟合，计算公式如(9)所示：

其中，表示真实类别标签y的one-hot形式，表示softmax对每个类的估计概率；m表示训练样本个数；示L2正则化超参数；示模型可训练参数。

本发明提供的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，以专利术语关系抽取为基础，针对传统深度学习方法中存在的长距离依赖问题，本发明提出一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法。通过各种实验对比，本发明的效果优于已有的方法，可以很好地满足实际应用的需要。

图1为本发明的流程图；

图2为句子向量化；

图3为模型整体框架图；

图4为模型内部实验对比图；

图5为不同方法实验对比图。

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，包括以下步骤：

步骤1)：对专利文本进行预处理，识别出术语特征，同时加入位置信息，并通过改进的TextRank算法获得类别关键词特征，并将其组成向量矩阵；

对专利文本进行预处理，即通过逗号、分号和句号对专利文本进行断句，识别出每个句子中的术语特征，同时加入位置信息，并通过改进的TextRank关键词抽取算法获得表征每个句子的类别关键词特征，然后将句子和提取的特征组成最终的向量矩阵。

词向量模型如下：

词向量(word vector)也称为词嵌入(word embedding)，是一种词的分布式表示，将输入句子中的每个词映射为一个连续实数值的向量，能够捕捉词语的句法和语义信息。给定一个包含k个词语的句子s＝{w1，w2，w3，...，wk}，其中句子中的每个词语wi都会被映射成一个低维实数向量xi，通过式(1)对每个句子中的词语进行映射。

xi＝Wword·Vi(1)

其中，xi是词语wi的向量形式，是由word2vec训练得到的向量矩阵，其中，dw为词向量的维度，m是一个固定尺寸的词语表，Vi是词语wi的词袋表示(one-hot形式)。由此得到每个句子的词向量表示形式Vs＝{x1，x2，x3，...，xk}。

位置向量特征如下：

在专利术语关系抽取的任务中，能够突显术语之间关系的词语往往分布在术语附近，因此为了能够更加准确的抽取术语之间的关系，将每个词语到两个术语之间的距离通过查生成的位置向量矩阵得到该词语的位置向量信息，并拼接到该句子词向量的后面。对于一个包含k个词语的句子s＝{w1，w2，w3，...，wk}中每个词语wi，距离两个术语的相对距离为其中示当前次在该句子中的位置索引，别表示两个术语在该句子中的位置索引。将得到的词语位置信息通过word2vec工具生成位置向量矩阵。此时每个词向量的维度为：

dw′＝dw+2dp(2)

其中，dw′表示拼接位置向量信息之后的向量维度，dw表示原始词向量维度，dp表示位置向量维度。

例如句子“充电控制系统控制充电器接入的数目”分词之后为“充电控制系统/控制/充电器/接入/的/数目”，在本句子中“充电控制系统”和“充电器”作为两个专利术语，那么词语“控制”到术语“充电控制系统”的距离为1，到术语“充电器”的距离为-1。词语“数目”到术语“充电控制器”的距离为5，到术语“充电器”的距离为3。

基于句子级的类别关键词特征提取如下：

TextRank算法是一种基于图模型的排序算法，能够实现对文本的关键词提取。通过把文本分割成若干组成单元(单词、句子)并建立图模型，利用投票机制对文本中的重要成分进行排序，仅利用单篇文档本身的信息即可实现关键词提取。

TestRank算法简单易用，利用到了词与词之间的关联性，并且仅利用单篇文档本身的信息即可实现关键词提取，但TextRank只依赖文档本身且初始化时每个词语的重要程度是一样的，难以准确抽取出文本中的关键词。而TF-IDF算法依赖于语料环境，能够预先知道一个词语的重要程度，这是优于TextRank算法的地方。因此，将TF-IDF算法思想加入TextRank算法中，将每个词语重要程度的初始化值用TF-IDF值刻画，在TextRank算法的开始就将词语的重要程度凸显出来，有助于提高算法的效率和准确率。改进的TextRank(Improved TextRank，IMTR)算法，其描述如下：

(1)输入待处理的专利文本信息集S＝{s1，s2，s3，...，sn}，并设定参数：阻尼系数d、滑动窗口大小w、最大迭代次数I、迭代停止阈值

(2)将专利文本信息集S中对应的每个文本si进行分词、词性标注，过滤掉停用词并只保留指定词性的词语(动词、形容词、名词)，这些词形成最终候选的类别特征关键词；

(3)通过TF-IDF算法计算专利文本信息集S中每个词语的TF-IDF值；

(4)基于滑动窗口大小w遍历专利文本信息词语，然后采用共现关系(co-occurrence)构造任两个词语之间的边，从而构建由si中的词语构成的关键词图Gi；

(5)根据公式迭代计算关键词图Gi中每个词语的权重，直至收敛；

(6)通过权值大小对关键词图Gi中的每个词语进行排序，选择权值最大且词性为动词的词语作为类别特征关键词。

算法中W(vi)为节点vi的权值；d为阻尼系数，表示从图中某一特定节点指向其他任意节点的概率，一般设置为0.85；In(vi)表示指向节点vi的节点集合；Out(vj)表示从节点vj出发的边指向的节点集合；wji表示节点vj到vi的边的权值，W′(vi)TF-IDF表示节点vi的TF-IDF值。

本发明采用的文本特征包括术语特征、位置信息、关键词特征，并将其进行向量化处理，拼接到文本信息词向量中，形成最终的向量化表示，如图2所示。

步骤2)：将向量矩阵导入Bi-LSTM模型中，采用注意力机制获得文本信息的整体特征；

长短时记忆网络(Long Short Term Memory，LSTM)是Hochreiter等人于1997年在Long Short-Term Memory中提出的，它是循环神经网络(Recurrent Neural Networks，RNN)中一种特殊的类型，实现了对长距离信息的有效利用。LSTM设计的初衷是为了确保现实世界中信息的完整性，引入了memory cell，即对历史信息进行记录，并且这个记录是有控制有选择的，由此引入了三个控制门的概念，这三个门分别是：输入门、遗忘门和输出门。

在专利术语语义关系抽取任务中，通常需要考虑文本的历史信息和未来的上下文信息。然而，LSTM模型只对历史信息进行了记录，对未来信息一无所知。与LSTM模型不同，双向LSTM模型即考虑了过去的特征(通过前向传播提取)又考虑了未来的特征(通过后向传播提取)。简单理解，双向LSTM模型相当于两个LSTM，一个正向输出序列，一个反向输出序列，再将两者的输出结合起来作为最终的结果。双向LSTM模型有效的利用了专利文本的上下文信息，能够挖掘出更多专利文本中的隐含特征。

Attention机制的本质来源于人类视觉注意力机制，并应用于视觉图像领域。Bahdanau等人在Neural Machine Translation by Jointly Learning to Align andTranslate中使用了Attention机制，第一个将Attention机制应用到自然语言处理领域中。随后自然语言处理领域中其他课题的研究也越来越多的引入了Attention机制。注意力机制通过计算注意力概率来突出特定的单词对整个句子的重要程度，能够使模型更多地关注专利文本中的重要信息。

在这一部分我们使用关系分类任务的注意力机制，对Bi-LSTM模型的输出进行计算，得到注意力概率分布，由该注意力概率分布得到每一时刻LSTM单元的输出状态对关系分类的重要程度并学到一个句子表示，进而提高最终的分类效果。在该模型中，注意力层所使用到的公式如下所示：

M＝tanh(H)

α＝softmax(wTM)

其中，H是由Bi-LSTM层T个时刻输出的矩阵[h1，h2，h3，...，hT]且dw表示词向量的维度；w表示训练参数向量且wT表示w的转置；α表示注意力概率分布向量；h*表示学习到的句子表示。

步骤3)：利用最大池化层选择每个句子的关键特征作为局部特征；

对于Bi-LSTM模型的输出结果H＝[h1，h2，h3，...，hT]，除了使用注意力机制对其进行计算以外，同时还选择了最大池化的方法对其进行统计计算，得到与分类任务最相关特征表示。即：h′＝maxpool(H)

步骤4)：将整体特征和局部特征融合；

特征融合是将注意力层和池化层的计算结果进行合并，达到多个特征之间优势互补的效果。即：其中表示向量拼接。

步骤5)：使用softmax分类器输出分类结果。

将专利术语关系抽取问题转化成一个多分类问题，本发明使用softmax分类器从句子S的离散类Y集合中预测标签分类器将特征融合之后的结果作为输入，公式如下：

所使用的损失函数是真实类标签y的负对数似然函数，并使用L2正则化来防止过拟合，计算公式如下：

其中，表示真实类别标签y的one-hot形式，表示softmax对每个类的估计概率；m表示训练样本个数；示L2正则化超参数；示模型可训练参数。本发明所使用的模型框架图如图3所示。

实验数据与评价标准如下：

本发明实验所采用的数据是从专利检索与分析网站上爬取的9978篇新能源汽车领域的专利文本，本发明的最终目的是抽取新能源汽车领域专利文本中领域术语之间的关系，由于专利文本的每个部分都存在领域术语，所以本发明实验将专利文本中的摘要、说明书、权利要求书作为语料进行领域术语关系抽取。对专利文本数据进行预处理，并选取6912条语料作为实验数据，其中5248条语料作为训练数据，1664条语料作为测试数据。具体数据处理步骤如下：

(1)利用Lv，Xiangru在Patent Domain Terminology Extraction Based onMulti-feature Fusion and BILSTM-CRF Model中的专利术语抽取算法对专利数据进行术语抽取；

(2)将抽取的专利术语组成术语词典并加入到jieba分词工具中，对专利数据进行分词处理；

(3)将专利数据按照逗号、分号和句号进行断句，每一句属于一条语料；

(4)选择只包含两个专利术语的句子，组成最终的数据集合；

(5)对筛选出的数据进行类别标注，确定最终的实验数据。

本发明实验选取的6912条数据中包含7种关系类型，样本关系如表1所示，样本示例如表2所示。

表1 样本关系

表2 样本示例

准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中准确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率；而F值则是综合这二者指标的评估指标，用于综合反映整体的指标。

为了验证本发明所提出模型的正确性和有效性，使用macro_averagedF1(macro_F1)值作为实验的评价指标，若要计算macro-averagedF1值，需要先计算得到每个类别的准确率(Precision)、召回率(Recall)和F1值，计算公式如下：

其中，TPi表示第关系类型中被正确预测的数据个数；FPi表示被错误预测为第关系类型的数据个数；FNi表示属于第关系类型但被错误预测为其他关系类型的数据个数。则macro_averagedF1的计算公式如下：

其中，M表示关系类型个数。

参数设置与结果分析如下：

本实验模型运行环境为安装在戴尔服务器上的64位Ubuntu16.04操作系统，NVIDIA Tesla K40 GPU，运行内存为64GB。模型使用TensorFlow框架、python语言实现。本模型最终的专利术语关系抽取效果与模型中的参数有密切关系，通过大量的调参实验得到了每个参数的局部最优值，具体参数设置如表3所示。本实验的最终实验结果如表4所示。

表3 模型参数设置

表4 最终实验结果

由表4中每个关系类型的实验结果可以看出，关系类型的简单与复杂影响关系抽取的最终效果，这是因为关系类型(如空间关系)简单，那么就越容易被模型所学习，关系类型识别的越准确，关系类型(如类属于关系)复杂，模型在学习的过程中难以获取到其语义关联，则关系类型的识别效果就越低。

模型内部实验对比如下：

为了验证关键词特征和池化层加入基于Attention机制的Bi-LSTM模型中对专利术语关系抽取的有效性，本发明设计了四组模型内部对比实验进行分析，模型的原始输入为句子词向量、位置特征向量和术语特征向量。实验结果如表5和图4所示。每个实验中各个类别的实验结果如表6所示。

表5 模型内部实验对比结果

表6 模型的各个类别实验对比结果

通过表5、表6和图4中所展示的每组实验的准确率、召回率和F1值可以看出，本发明所设计的在基于Attention机制的Bi-LST模型中加入关键词特征和池化层得到了比较不错的效果，能够有效的抽取出新能源汽车领域专利术语间关系。在实验1中仅使用了Attention+Bi-LSTM模型，虽然得到了一定的效果，可以在一定程度上解决专利术语关系抽取问题，但最终的抽取结果还有待提高。实验2在实验1的基础上增加了关键词特征，实验3在实验1的基础上增加了池化层，这两组实验相对于实验1来说，实验效果都有所提升，因此关键词特征和池化层对提高专利术语关系抽取都起到了一定的作用。实验2相比实验1的F1值提成了0.95％，实验3相比实验1的F1值提升了0.42％，由此可以得出，关键词特征比池化层在提高专利术语关系抽取中起到的作用更大一些。这是因为关键词特征的加入提高了专利术语关系类别的区分度，同时也弥补了Attention+Bi-LSTM模型自动学习特征的不足，所以显性的加入关键词特征，能够对专利术语关系抽取起到一定的作用。

因此，本发明设计了将关键词特征和池化层同时加入基于Attention机制的Bi-LSTM模型中，通过实验4可以得出，关键词+Attention+Bi-LSTM+池化层模型能够取得比一般深度学习模型更好的实验效果。

不同分类方法实验对比如下：

为了验证Attention+Bi-LSTM模型在专利术语关系抽取上的优势，将Attention+Bi-LSTM模型与RNN、LSTM和Bi-LSTM模型在同一数据集上进行实验对比，为了统一实验标准，所有的模型的输入词向量都是一样的，均为图2所表示的向量格式，并且模型中都加入了池化层，实验结果如表7、表8和图5所示。

表7 不同方法实验对比

表8 模型的各个类别实验对比结果

通过表7和图5中不同方法的实验对比可以得出，Bi-LSTM方法比LSTM、RNN方法表现出了更好的性能。这是因为Bi-LSTM模型即考虑了过去的特征(通过前向传播提取)又考虑了未来的特征(通过后向传播提取)，有效的利用了专利文本的上下文信息，能够挖掘出更多专利文本中的隐含特征。在Bi-LSTM模型的基础上加入Attention机制，效果又进一步提成，这是因为注意力机制通过计算注意力概率来突出特定的单词对整个句子的重要程度，能够使模型更多地关注专利文本中的重要信息。通过以上实验的对比，从而证实了本发明方法在专利术语关系抽取上的有效性。

本发明提供的基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法，以专利术语关系抽取为基础，针对传统深度学习方法中存在的长距离依赖问题，本发明提出一种基于注意力机制的Bi-LSTM和关键词策略的专利术语关系抽取方法。通过各种实验对比，本发明的效果优于已有的方法，可以很好地满足实际应用的需要。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。