一种基于改进XGBoost算法的技术预见及专利预警分析方法

本发明涉及专利信息处理技术领域，特别涉及一种基于改进XGBoost算法的技术预见及专利预警分析方法。

随着科技的迅猛发展，各种高新技术层出不穷，知识产权日益为人们所重视，市场面临的竞争环境越来越复杂，企业如何在激烈的技术竞争环境中保持领先，提升自身的竞争力水平显得尤为重要，而专利已日益成为企业竞争力水平的核心要素，因此企业可以通过对现有的专利进行分析，实现技术预见以及专利预警，从而避免陷入专利陷阱，同时掌握技术未来的发展态势。

公开号为CN106897392A的一种基于知识发现的技术竞争及专利预警分析方法，通过用户输入检索式后，建立专题数据库，利用向量空间、数理统计等数据挖掘和知识发现工具获得专题数据库的聚类数据集，再对其进行专利预警和专利主题生命周期分析，并向用户提供可视化结果，从而实现技术竞争及专利预警，该项技术的不足之处是，在获取专题数据库的聚类数据集的时候存在数据预处理复杂、特征维数高、分类精度差、分类效率低的问题，同时分析手段和分析结果可视化差，所消耗的时间成本较高，很难达到用户满意的分析效果。

公开号为CN106845798A的基于多叉树的跨领域专利预警信息分析方法，核心思想是对收集的专利数据进行筛选、分类、特征提取等处理，建立专利领域多叉树，其中每个叶子节点存储专利技术和关联用户信息，然后在树中查与待预警专利相匹配的叶子节点，根据不同的匹配结果进行跨领域专利预警；该项技术的不足之处是，数据收集，需要收集大量专利技术信息与该技术关联用户信息，这个过程需要耗费大量时间人力，且收集的信息不一定可靠，极有可能导致叶子节点存储的内容不准确，进而使得查匹配容易发生错误，对专利预警准确度造成很大影响。

公开号为CN107369007A的一种基于遗传算法的大数据专利预警服务系统，在数据挖掘模块中采用基于遗传算法的数据挖掘算法，对专利数据集进行分类，然后对分类结果进行分析，实现专利预警，该项技术的不足之处是，遗传算法参数较多，且参数的选择严重影响结果的准确性，而目前参数的选择大部分是依靠经验，同时没有能够及时利用网络的反馈信息，导致算法收敛速度较慢，时间复杂度较高，分类精度较差。

鉴以此，本发明提出一种基于改进XGBoost算法的技术预见及专利预警分析方法，利用改进XGBoost算法进行参数优化，并用于专利主题数据库的分类中，提高分类精度和分类效率。

本发明的技术方案是这样实现的：

一种基于改进XGBoost算法的技术预见及专利预警分析方法，包括以下步骤：

步骤S1、根据专利检索式构建专利主题数据库；

步骤S2、采用卷积神经网络对专利主题数据库的专利文本进行特征提取，得到特征向量Vk；

步骤S3、根据特征向量Vk构建测试集合S；

步骤S4、采用灰狼优化算法对XGBoost模型进行改进，并将训练集和测试集合S输入到改进后的XGBoost模型中进行训练和测试，得到XGBoost分类器；

步骤S5、将待预警的专利进行特征提取后，输入到XGBoost分类器中，获得待预警专利的分类以及与其同一类的其他专利文本；

步骤S6、根据待预警专利的分类以及与其同一类的其他专利文本进行专利预警分析、技术成熟度和技术进化方向预测，得到分析预测结果；

步骤S7、将分析预测结果进行可视化展示，并发送给用户。

优选的，所述步骤S1之前还包括：

步骤S0、设定专利预警阈值以及预警结果接收方式。

优选的，所述步骤S1的具体步骤为：根据专利检索式，对相应的知识产权数据库和相关产业领域知识进行抽取分析，构建专利主题数据库，同时进行文本去噪预处理。

优选的，所述步骤S2的具体步骤为：所述卷积神经网络包括输入层、卷积层、池化层以及输出层，专利主题数据库中的专利文本Fk经过输入层后形成专利文本表示矩阵Mk，专利文本表示矩阵Mk通过卷积层与池化层的运算后被表示成特征向量Vk。

优选的，所述步骤S3的测试集合S＝{sk＝(Vk,Lk)}，S为专利主题数据库中所有文档的特征向量与标签组成的测试集合，Lk为样本sk所对应的专利标签分类号。

优选的，所述步骤S4包括：

步骤S41、设置灰狼优化算法参数中的种规模N和最大迭代次数T，设定XGBoost模型的参数中的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重的取值范围，并进行XGBoost模型其他参数的初始化；

步骤S42、随机生成灰狼，每个灰狼个体位置由基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重组成。

步骤S43、XGBoost模型根据初始的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重，对训练集进行学习，并根据适应度函数Fnew计算每头灰狼的适应度函数值；

步骤S44、根据适应度函数值，将灰狼分成4个不同等级的灰狼α、β、δ和ω；

步骤S45、更新灰狼中每个个体的位置，重新计算每个灰狼个体在新位置的适应度函数值，并与上一迭代最优适应度函数值Fg进行比较，若Fnew>Fg，则该灰狼个体适应度函数值为Fnew，并保留灰狼个体所在位置，反之，该灰狼个体适应度函数值为Fg；

步骤S46、重复步骤S42-步骤S45，当迭代次数大于T时，迭代终止，并输出XGBoost模型的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重的最优值；

步骤S47、将测试集合S输入到XGBoost模型中进行测试，并获得训练好的XGBoost分类器。

优选的，所述步骤S43的适应度函数Fnew的表达式为

Fnew＝(FPrecision+FRecall+F1)/3；

其中，FPrecision为准确率，其表达式为：FRecall为召回率，其表达式为：F1为衡量分类准确度的指标，其表达式为：其中TP、FP、FN为根据专利文本的真实类别和预测类别进行划分得到的真正例、假正例以及假负例。

优选的，所述步骤S6中的专利预警分析的具体步骤为：利用SimHash算法计算待预警专利与同属一类其他专利的相似度，并将相似度超过专利预警阈值的专利输出。

优选的，所述步骤S6中的技术成熟度和技术进化方向预测的具体步骤为：根据TRIZ理论绘制专利特性拟合曲线，并将拟合曲线与标准S曲线进行对比，同时结合专利数据预测算法，进行专利技术成熟度预测；运用技术进化雷达图详细分析技术进化的过程，并且展示可视化结果进行技术进化方向预测。

优选的，所述步骤S7中的分析预测结果通过步骤S0中设定的预警结果接收方式发送给用户。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于改进XGBoost算法的技术预见及专利预警分析方法，通过卷积神经网络对专利主题数据库的专利文本进行特征提取后，构建测试集合，采用灰狼优化算法对XGBoost模型进行改进，获取XGBoost模型的最优参数，然后通过训练集对XGBoost模型进行训练获得XGBoost分类器，并在训练完成后通过测试结合进行测试，保证XGBoost分类器的分类准确率，通过XGBoost分类器可以对待预警专利进行分类，分类后获得的待预警专利的分类以及与其同一类的其他专利文本可以用于进行专利预警分析、技术成熟度和技术进化方向预测，并最终获得分析预测结果，通过灰狼优化算法可以提高XGBoost模型的分类精度，提高准确率，并且减少运算的次数，提高分类效率。

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于改进XGBoost算法的技术预见及专利预警分析方法的流程图；

图2为本发明一种基于改进XGBoost算法的技术预见及专利预警分析方法的技术进化雷达图构成图；

图3为本发明一种基于改进XGBoost算法的技术预见及专利预警分析方法的技术进化分析过程图。

为了更好理解本发明技术内容，下面提供一具体实施例，并结合附图对本发明做进一步的说明。

参见图1，本发明提供的一种基于改进XGBoost算法的技术预见及专利预警分析方法，包括以下步骤：

步骤S1、根据专利检索式构建专利主题数据库；

步骤S2、采用卷积神经网络对专利主题数据库的专利文本进行特征提取，得到特征向量Vk；

步骤S3、根据特征向量Vk构建测试集合S；

步骤S4、采用灰狼优化算法对XGBoost模型进行改进，并将训练集和测试集合S输入到改进后的XGBoost模型中进行训练和测试，得到XGBoost分类器；

步骤S5、将待预警的专利进行特征提取后，输入到XGBoost分类器中，获得待预警专利的分类以及与其同一类的其他专利文本；

步骤S6、根据待预警专利的分类以及与其同一类的其他专利文本进行专利预警分析、技术成熟度和技术进化方向预测，得到分析预测结果；

步骤S7、将分析预测结果进行可视化展示，并发送给用户。

本发明的一种基于改进XGBoost算法的技术预见及专利预警分析方法，首先由用户按照提示在界面输入相应的专利检索式后，根据专利检索式构建出专利主题数据库，然后采用卷积神经网络对专利主题数据库中的专利文本进行特征提取，提取出专利文本中的特征向量，所得到的特征向量用于构建测试集合S，然后采用灰狼优化算法先对XGBoost模型进行改进，根据事先准备的训练集以及测试集合优化XGBoost模型中的参数，使XGBoost模型的参数处于最优状态，此时可以得到训练好的XGBoost分类器，然后将待预警的专利输入到XGBoost分类器中后，由XGBoost分类器进行分类可以得到待预警专利的分类以及与其同一类的其他专利文本，从而可以进行专利预警分析、技术成熟度和技术进化方向预测，并将最终的分析预测结果进行可视化展示，通过卷积神经网络进行特征提取，可以避免了复杂的数据预处理，其不依赖于外部知识，用户友好性程度高，而采用灰狼优化算法对XGBoost模型进行优化后，可以提高分类精度和分类效率，降低时间复杂度，用户只需要输入专利检索式，即可对待预警的专利进行专利预警分析、技术成熟度以及技术进化方向预测。

优选的，所述步骤S1之前还包括：

步骤S0、设定专利预警阈值以及预警结果接收方式。

用户在界面输入专利检索式后，还需要自行设定专利预警阈值以及预警结果接收方式，由于本发明的专利预警过程采用的是SimHash算法进行，根据经验值，对于64位的SimHash值，海明距离在3以内的可认为相似度较高，因此专利预警阈值默认设置为3，但是用户也可以根据具体使用进行选择，而预警结果接收方式可以有多种，比如邮件接收等方式。

优选的，所述步骤S1的具体步骤为：根据专利检索式，对相应的知识产权数据库和相关产业领域知识进行抽取分析，构建专利主题数据库，同时进行文本去噪预处理。

优选的，所述步骤S2的具体步骤为：所述卷积神经网络包括输入层、卷积层、池化层以及输出层，专利主题数据库中的专利文本Fk经过输入层后形成专利文本表示矩阵Mk，专利文本表示矩阵Mk通过卷积层与池化层的运算后被表示成特征向量Vk。

本发明采用词向量结合卷积神经网络算法，对构建好的专利主题数据库的专利文本进行特征提取，形成特征向量，卷积神经网络包含卷积层、池化层、全连接层和输出层，相邻层的神经元之间相互连接，同一层的神经元之间无连接，其优点在于无需依赖专家经验便可抽取文本特征，本发明设计了一种基于词向量结合卷积神经网络的特征抽取器，从专利文本中自动地抽取短语文本特征，包括输入层、卷积层、池化层和输出层4个部分。

①输入层：将专利文本中的每个单词wi通过词向量字典转换成向量vi，词向量的优点在于能弥补BOW及TF-IDF模型在表达单词语法、语序和语义关系上的不足，对于专利文档Fk而言，通过向量连接操作形成专利文本表示矩阵，记作Mk＝{v1,v2,…,vn}。

②卷积层：卷积核通过在矩阵Mk中整行的连续滑动来实现局部特征提取，卷积核的宽度b与词向量vi的维度一致，而卷积核的高度h则表示所要抽取的局部文本特征范围，当h取值在2～5之间时会取得较好的特征提取效果。使用个n卷积核在矩阵Mk中滑动，并执行卷积运算。

令Mk[i:j]为专利文本矩阵中的i～j行，Di表示第i个卷积核，则卷积核的输出可表示为

ri＝Mk[i:i+h-1]⊙Di

Ci＝f(ri+b)

其中⊙是点乘运算，Ci是由第i个卷积核学习的特征，b是偏置变量，f是Sigmoid等激活函数，由于ReLU相比Sigmoid等激活函数在降低计算复杂度的同时具有较快的收敛速度，且梯度不会饱和，所以本发明选择ReLU作为非线性激活函数。

③池化层：通过最大池化函数对卷积层获取的所有局部特征Ci进行聚合，最大池化函数作用于捕获的每一个特征Ci，以降低维度并获取具有最高值的特征，最大池化函数的表达式为：

Wi＝poolingmax(Ci)；

其中Wi是经过最大池化函数作用于局部特征Ci产生的最大值，对于n个卷积核生成的n个特征向量可以表示为Vk＝{W1,W2,…,Wn}。

输出层：将池化层得到的特征向量Vk进行输出。

优选的，所述步骤S3的测试集合S＝{sk＝(Vk,Lk)}，S为专利主题数据库中所有文档的特征向量与标签组成的测试集合，Lk为样本sk所对应的专利标签分类号。

优选的，所述步骤S4包括：

步骤S41、设置灰狼优化算法参数中的种规模N和最大迭代次数T，设定XGBoost模型的参数中的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重的取值范围，并进行XGBoost模型其他参数的初始化；

步骤S42、随机生成灰狼，每个灰狼个体位置由基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重组成。

步骤S43、XGBoost模型根据初始的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重，对训练集进行学习，并根据适应度函数Fnew计算每头灰狼的适应度函数值；

步骤S44、根据适应度函数值，将灰狼分成4个不同等级的灰狼α、β、δ和ω；

步骤S45、更新灰狼中每个个体的位置，重新计算每个灰狼个体在新位置的适应度函数值，并与上一迭代最优适应度函数值Fg进行比较，若Fnew>Fg，则该灰狼个体适应度函数值为Fnew，并保留灰狼个体所在位置，反之，该灰狼个体适应度函数值为Fg；

步骤S46、重复步骤S42-步骤S45，当迭代次数大于T时，迭代终止，并输出XGBoost模型的基分类器个数、学习率、树的最大深度以及最小叶子节点样本权重的最优值；

步骤S47、将测试集合S输入到XGBoost模型中进行测试，并获得训练好的XGBoost分类器。

优选的，所述步骤S43的适应度函数Fnew的表达式为

Fnew＝(FPrecision+FRecall+F1)/3；

其中，FPrecision为准确率，其表达式为：FRecall为召回率，其表达式为：F1为衡量分类准确度的指标，其表达式为：其中TP、FP、FN为根据专利文本的真实类别和预测类别进行划分得到的真正例、假正例以及假负例。

本发明中采用了灰狼优化算法对XGBoost模型进行优化，由于XGBoost模型所含参数较多，因此本发明选取了四个对模型影响较大的参数进行迭代寻优，而其他参数设置为默认值，用于提高模型的分类精度和分类效率，在适应度函数值的计算中，本发明采用了准确率FPrecision、召回率FRecall以及F1值三个指标来评价模型分类精确度，并以宏平均作为适应度函数，宏平均是指对所有类别的准确率FPrecision，召回率FRecall以及F1值取平均值，以评估专利文本分类的中体性能。

改进后的XGBoost模型具体实现步骤：

a.初始化弱学习器：

当为平方损失时，

b.迭代生成M个基学习器，对m＝1,2,…,M有：

1)对每个样本i＝1,2,...,n，计算负梯度，即残差：

2)将上步得到的残差作为样本新的真实值，并将数据(xi,xim),i＝1,2,...,n作为下棵树的训练数据，得到一棵新的回归树fm(x)，其对应的叶子节点区域为Rjm,j＝1,2,...,J。其中J为回归树t的叶子节点的个数。

3)对叶子区域Rjm,j＝1,2,...,J，计算最佳拟合值，对γ求导并令导数为0即可求得：

4)更新强学习器：

c.得到最终学习器：

d.利用最终学习器采用打分的方式得到每个专利文档的分类结果。

优选的，所述步骤S6中的专利预警分析的具体步骤为：利用SimHash算法计算待预警专利与同属一类其他专利的相似度，并将相似度超过专利预警阈值的专利输出。

本发明采用SimHash算法来进行专利预警分析，利用SimHash算法计算待预警专利与同属一类其他专利的相似度，并将相似度超过预警阈值的专利输出，从而实现专利预警，SimHash算法主要思想是降维，将高维的特征向量映射成低维的特征向量，通过两个向量之间的海明距离来确定文章是否重复或者高度近似，本发明的SimHash算法分为4个步骤：分词与权重计算、hash计算、加权与合并、降维输出。

第一步：分词与权重计算，将词语进行分词处理，并计算每个分词在文本中的权重，对于长度过长的文本，可以考虑选择前k个词语纳入计算，最后得到k个关键词权重对。

第二步：hash计算，通过hash函数计算每个关键词的hash值，hash值为二进制数0和1组成的n-bit签名，关键词-权重对转换为hash值-权重对。

第三步：加权与合并，将第一步得到的关键词的权重与其hash值进行按位乘，即W＝hash*weight，且遇到该位是1的时候hash值和权重正相乘，0的时候hash值和权重负相乘，若需对文本的全局特征进行分析，则需要将文本关键词的加权值进行合并累加。

第四步：降维输出，第三步的加权结果已经产生了文本的特征码，而降维的目的是降低特征码的复杂度，对特征码的每一位进行判别，值大于等于0的置为1，值小于0的置为-1，从而得到文本的SimHash值，最后根据不同文本SimHash值的海明距离来判断它们的相似度是否超过预警阈值。

优选的，所述步骤S6中的技术成熟度和技术进化方向预测的具体步骤为：根据TRIZ理论绘制专利特性拟合曲线，并将拟合曲线与标准S曲线进行对比，同时结合专利数据预测算法，进行专利技术成熟度预测；运用技术进化雷达图详细分析技术进化的过程，并且展示可视化结果进行技术进化方向预测。

本发明的技术成熟度预测是基于TRIZ理论进行的，根据TRIZ理论绘制专利特性拟合曲线，并将拟合曲线与标准S曲线进行对比，同时结合专利数据测算法，来进行专利技术成熟度预测，TRIZ理论提出技术进化经历婴儿期、成长期、成熟期、衰退期4个阶段，预测技术成熟度主要考察性能参数、专利等级、专利数量和经济收益4个指标，对某一标签的专利文档进行分析，首先统计专利数量和等级，绘制其随时间变化的曲线，然后考察调研该标签专利技术的性能参数和经济收益主要指标，并绘制相应的性能参数变化曲线和经济收益变化曲线，再选择合适的拟合模型绘制专利特性拟合曲线，最后将专利特性拟合曲线与标准S曲线相比较，同时综合分析上述4个指标所得到4条曲线的斜率，可以判断该标签专利技术在S曲线上所处位置，即该标签专利技术目前所处生命周期，从而实现专利技术成熟度预测。

而技术进化方向预测则是运用技术进化雷达图来进行分析，通过可视化展示专利技术与进化极限之间的差距，从而清晰看出该技术需要改进和革新的地方，其构成如图2所示，多边形的中心是技术进化的最低级，多边形的外周是技术进化的极限，每条轮辐代表一条进化路线，轮辐上的刻度表示该进化路线的级数。将现有专利技术系统在各条路线上的定位点连接成线，得到阴影部分，代表了该专利技术系统的当前状态，未被阴影覆盖的多边形面积的空白部分则代表了该专利技术系统的发展潜力，雷达图可以进一步细分为雷达树状图，即将一个技术系统划分为若干个子系统，并绘制每个子系统的技术雷达图，进而可以判断该技术系统的哪些子系统性能比较好，哪些子系统是薄弱环节，利用技术进化雷达图对技术进化方向进行预测的具体步骤如下：首先分析某一标签的专利文档所构成的技术系统，并设计若干条与该技术系统相关的技术路线，即该技术系统可能的进化方向；然后在各技术路线中定位该技术系统，即该技术系统当前在各个进化方向上处于何种进化状态，并绘制技术进化雷达图；接着对雷达图进行分析，若到技术创新点，则对该技术系统进行技术革新，否则对雷达图进行细分，得到雷达树状图，并重复上述的分析步骤，其技术进化分析过程如图3所示。

优选的，所述步骤S7中的分析预测结果通过步骤S0中设定的预警结果接收方式发送给用户。

本发明将依次输出针对每一用户执行分析方法后的分析预测结果，包括专利预警分析结果、技术成熟度预测结果、技术进化方向预测结果，对于专利预警分析，输出与待预警专利的相似度超过预警阈值的所有专利，同时根据用户选择的接收方式，实时发送给用户，从而避免陷入专利陷阱，对于技术成熟度和技术进化方向预测，则分别将专利特性拟合曲线和技术进化雷达图实时发送给用户，提供给用户准确且可视化程度高的预测结果，让用户一目了然地看出现有技术的发展态势及未来的进化方向。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。