一种基于图像表示的工业缺陷样本检测方法及系统

阅读：评论：0

1.本发明涉及工业缺陷检测领域。

背景技术：

2.工业缺陷检测是工业生产制造过程中不可或缺的环节，对产品品质把控具有重要作用。现阶段，多数工业制造厂商仍然采取人工方式对工业缺陷进行检测。然而，人工检测面临着主观性强、效率低、成本高等问题。基于机器视觉的工业缺陷检测方法可以通过标准化的处理流程，克服人工检测的主观性，且避免对工业零部件表面造成二次损伤，成为工业自动化检测的重要解决方案。然而，现有基于机器视觉的工业缺陷检测方法通常通过学习大量工业缺陷样本，实现缺陷目标的检测和缺陷类型的识别，因此对缺陷样本的数量和标注具有较高要求。本专利提出一种基于图像表示的工业缺陷检测方法及系统，可以有效克服现有方法对缺陷样本数量要求多、标注要求高的缺点，实现少样本下的工业缺陷检测。

技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此，本发明的目的在于提出一种基于图像表示的工业缺陷样本检测方法，用于实现少样本下的工业缺陷检测。
5.为达上述目的，本发明第一方面实施例提出了一种基于图像表示的工业缺陷样本检测方法，包括：
6.获取图像表示模型训练数据集，使用所述图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；
7.获取标准正样本数据集，将所述标准正样本数据集输入所述图像表示模型，获得标准正样本特征向量集合；
8.获取待检测样本，将所述待检测样本输入所述图像表示模型获取待检测样本特征向量；
9.根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果。
10.另外，根据本发明上述实施例的一种基于图像表示的工业缺陷样本检测方法还可以具有以下附加的技术特征：
11.进一步地，在本发明的一个实施例中，所述获取图像表示模型训练数据集，包括：
12.根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集
13.进一步地，在本发明的一个实施例中，所述构造双塔模型，使用所述图像表示模型训练数据集对所述双塔模型进行训练，得到图像表示模型，包括：
14.使用所述图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个正负样本对组成；
15.使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：
[0016][0017]
其中，n为当前batch正负样本对总数，li为第i个正负样本对的损失函数，如下式所示：
[0018][0019]
其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；
[0020]
使用训练完成的双塔模型作为目标图像表示模型。
[0021]
进一步地，在本发明的一个实施例中，所述根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果，包括：
[0022]
将所述待检测样本特征向量与所述标准正样本特征向量集合进行相似度计算，获得相似度集合，统计所述相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则所述待检测样本为负样本，反之所述待检测样本为正样本；其中所述相似度阈值和所述投票阈值根据所述缺陷样本检测验证数据集得到。
[0023]
进一步地，在本发明的一个实施例中，所述缺陷样本检测验证数据集，包括：
[0024]
选取预设数量、不同角度的正样本和负样本，构建缺陷样本检测验证数据集
[0025]
为达上述目的，本发明第二方面实施例提出了一种基于图像表示的工业缺陷样本检测系统，其特征在于，包括以下模块：
[0026]
训练模块，用于获取图像表示模型训练数据集，使用所述图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；
[0027]
数据构建模块，用于获取标准正样本数据集，将所述标准正样本数据集输入所述图像表示模型，获得标准正样本特征向量集合；
[0028]
向量构建模块，用于获取待检测样本，将所述待检测样本输入所述图像表示模型获取待检测样本特征向量；
[0029]
检测模块，用于根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果。
[0030]
进一步地，在本发明的一个实施例中，所述训练模块，还用于：
[0031]
根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集进一步地，在本发明的一个实施例中，
[0032]
进一步地，在本发明的一个实施例中，所述训练模块，还用于：
[0033]
使用所述图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个正负样本对组成；
[0034]
使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：
[0035][0036]
其中，n为当前batch正负样本对总数，li为第i个正负样本对的损失函数，如下式所示：
[0037][0038]
其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；
[0039]
使用训练完成的双塔模型作为目标图像表示模型。
[0040]
进一步地，在本发明的一个实施例中，所述检测模块，还用于：
[0041]
将所述待检测样本特征向量与所述标准正样本特征向量集合进行相似度计算，获得相似度集合，统计所述相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则所述待检测样本为负样本，反之所述待检测样本为正样本；其中所述相似度阈值和所述投票阈值根据所述缺陷样本检测验证数据集得到。
[0042]
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于图像表示的工业缺陷样本检测方法。
[0043]
本发明实施例的基于图像表示的工业缺陷样本检测方法，利用少量正常样本和缺陷样本训练图像表示模型，利用该模型提取标准正样本特征向量集合以及待检测样本特征向量，使用相似度度量函数计算待检测样本特征向量与标准正样本特征向量的相似度，使用相似度阈值并结合投票机制，从而判断当前检测样本是否为工业缺陷样本。本发明解决
了以往基于机器视觉的工业缺陷检测方法对缺陷样本数量要求多、标注要求高的问题，提供了一种高效低成本的工业缺陷样本检测方法。
附图说明
[0044]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0045]
图1为本发明实施例提供的一种基于图像表示的工业缺陷样本检测方法的流程示意图。
[0046]
图2为本发明实施例提供的一种基于双塔模型的图像表示模型训练方法流程示意图。
[0047]
图3为本发明实施例提供的完整方法流程图。
[0048]
图4为本发明实施例提供的一种基于图像表示的工业缺陷样本检测系统的流程示意图。
具体实施方式
[0049]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0050]
下面参考附图描述本发明实施例的基于图像表示的工业缺陷样本检测方法。
[0051]
图1为本发明实施例所提供的一种基于图像表示的工业缺陷样本检测方法的流程示意图。
[0052]
如图1所示，该基于图像表示的工业缺陷样本检测方法包括以下步骤：
[0053]
s101：获取图像表示模型训练数据集，使用图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；
[0054]
s102：获取标准正样本数据集，将标准正样本数据集输入图像表示模型，获得标准正样本特征向量集合；
[0055]
s103：获取待检测样本，将待检测样本输入图像表示模型获取待检测样本特征向量；
[0056]
s104：根据待检测样本特征向量和标准正样本特征向量集合确定待检测样本的检测结果。
[0057]
进一步地，在本发明的一个实施例中，获取图像表示模型训练数据集，包括：
[0058]
根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集
[0059]
进一步地，在本发明的一个实施例中，构造双塔模型，使用图像表示模型训练数据集对双塔模型进行训练，得到图像表示模型，包括：
[0060]
使用图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个
正负样本对组成；
[0061]
使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：
[0062][0063]
其中，n为当前batch正负样本对总数，li为第i个正负样本对的损失函数，如下式所示：
[0064][0065]
其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；
[0066]
使用训练完成的双塔模型作为目标图像表示模型。
[0067]
如图2所示，为本发明基于双塔模型的图像表示模型训练方法流程图。
[0068]
进一步地，在本发明的一个实施例中，根据待检测样本特征向量和标准正样本特征向量集合确定待检测样本的检测结果，包括：
[0069]
将待检测样本特征向量与标准正样本特征向量集合进行相似度计算，获得相似度集合，统计相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则待检测样本为负样本，反之待检测样本为正样本；其中相似度阈值和投票阈值根据所述缺陷样本检测验证数据集得到。
[0070]
进一步地，在本发明的一个实施例中，缺陷样本检测验证数据集，包括：
[0071]
选取预设数量、不同角度的正样本和负样本，构建缺陷样本检测验证数据集
[0072]
以上为本发明完整的检测流程，具体如图3所示。
[0073]
本发明实施例的基于图像表示的工业缺陷样本检测方法，利用少量正常样本和缺陷样本训练图像表示模型，利用该模型提取标准正样本特征向量集合以及待检测样本特征向量，使用相似度度量函数计算待检测样本特征向量与标准正样本特征向量的相似度，使用相似度阈值并结合投票机制，从而判断当前检测样本是否为工业缺陷样本。本发明解决了以往基于机器视觉的工业缺陷检测方法对缺陷样本数量要求多、标注要求高的问题，提供了一种高效低成本的工业缺陷样本检测方法。
[0074]
图4为本发明实施例提供的一种基于图像表示的工业缺陷样本检测系统系统的结构示意图。
[0075]
如图4所示，该基于图像表示的工业缺陷样本检测系统系统包括：训练模块100，数
据构建模块200，向量构建模块300，检测模块400，其中，
[0076]
训练模块，用于获取图像表示模型训练数据集，使用图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；
[0077]
数据构建模块，用于获取标准正样本数据集，将标准正样本数据集输入图像表示模型，获得标准正样本特征向量集合；
[0078]
向量构建模块，用于待检测样本，将待检测样本输入图像表示模型获取待检测样本特征向量；
[0079]
检测模块，用于根据待检测样本特征向量和标准正样本特征向量集合确定待检测样本的检测结果。
[0080]
进一步地，在本发明的一个实施例中，训练模块，还用于：
[0081]
根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集进一步地，在本发明的一个实施例中，
[0082]
进一步地，在本发明的一个实施例中，训练模块，还用于：
[0083]
使用图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个正负样本对组成；
[0084]
使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：
[0085][0086]
其中，n为当前batch正负样本对总数，li为第i个正负样本对的损失函数，如下式所示：
[0087][0088]
其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；
[0089]
使用训练完成的双塔模型作为目标图像表示模型。
[0090]
进一步地，在本发明的一个实施例中，检测模块，还用于：
[0091]
将待检测样本特征向量与标准正样本特征向量集合进行相似度计算，获得相似度集合，统计相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则待检测样
本为负样本，反之待检测样本为正样本；其中相似度阈值和投票阈值根据缺陷样本检测验证数据集得到。
[0092]
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于图像表示的工业缺陷样本检测方法。
[0093]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0094]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0095]
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：

1.一种基于图像表示的工业缺陷样本检测方法，其特征在于，包括以下步骤：获取图像表示模型训练数据集，使用所述图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；获取标准正样本数据集，将所述标准正样本数据集输入所述图像表示模型，获得标准正样本特征向量集合；获取待检测样本，将所述待检测样本输入所述图像表示模型获取待检测样本特征向量；根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果。2.根据权利要求1所述的方法，其特征在于，所述获取图像表示模型训练数据集，包括：根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集3.根据权利要求1或2所述的方法，其特征在于，所述构造双塔模型，使用所述图像表示模型训练数据集对所述双塔模型进行训练，得到图像表示模型，包括：使用所述图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个正负样本对组成；使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：其中，n为当前batch正负样本对总数，l
i
为第i个正负样本对的损失函数，如下式所示：其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；使用训练完成的双塔模型作为目标图像表示模型。4.根据权利要求1所述的方法，其特征在于，所述根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果，包括：将所述待检测样本特征向量与所述标准正样本特征向量集合进行相似度计算，获得相似度集合，统计所述相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则所述待检测样本为负样本，反之所述待检测样本为正样本；其中所述相似度阈值和所述投
票阈值根据所述缺陷样本检测验证数据集得到。5.根据权利要求4所述的方法，其特征在于，所述缺陷样本检测验证数据集，包括：选取预设数量、不同角度的正样本和负样本，构建缺陷样本检测验证数据集6.一种基于图像表示的工业缺陷样本检测系统，其特征在于，包括以下模块：训练模块，用于获取图像表示模型训练数据集，使用所述图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；数据构建模块，用于获取标准正样本数据集，将所述标准正样本数据集输入所述图像表示模型，获得标准正样本特征向量集合；向量构建模块，用于获取待检测样本，将所述待检测样本输入所述图像表示模型获取待检测样本特征向量；检测模块，用于根据所述待检测样本特征向量和所述标准正样本特征向量集合确定所述待检测样本的检测结果。7.根据权利要求6所述的系统，其特征在于，所述训练模块，还用于：根据待检验的工业零部件类型，选取预设数量、不同角度的正样本和负样本，构造正负样本对，记为其中为正样本，为负样本，形成图像表示模型训练数据集8.根据权利要求6所述的系统，其特征在于，所述训练模块，还用于：使用所述图像表示模型训练数据集d1构造训练batch数据，每个训练batch数据由n个正负样本对组成；使用resnet作为原始图像表示模型，构建双塔模型；所述双塔模型以正负样本对作为输入，分别将其输入两个共享参数的图像表示模型提取其特征向量并使用下述损失函数进行优化：其中，n为当前batch正负样本对总数，l
i
为第i个正负样本对的损失函数，如下式所示：其中，n为当前batch正负样本对总数；sim(arg1，arg2)为相似度度量函数；t为温度参数；使用训练完成的双塔模型作为目标图像表示模型。9.根据权利要求6所述的系统，其特征在于，所述检测模块，还用于：将所述待检测样本特征向量与所述标准正样本特征向量集合进行相似度计算，获得相
似度集合，统计所述相似度集合中数值小于相似度阈值的相似度个数，若低于投票阈值，则所述待检测样本为负样本，反之所述待检测样本为正样本；其中所述相似度阈值和所述投票阈值根据所述缺陷样本检测验证数据集得到。10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的基于图像表示的工业缺陷样本检测方法。

技术总结

本发明提出一种基于图像表示的工业缺陷样本检测方法及系统，其中方法包括：获取图像表示模型训练数据集，使用图像表示模型训练数据集对预先构建的双塔模型进行训练，得到图像表示模型；获取标准正样本数据集，将标准正样本数据集输入图像表示模型，获得标准正样本特征向量集合；待检测样本，将待检测样本输入图像表示模型获取待检测样本特征向量；根据待检测样本特征向量和标准正样本特征向量集合确定待检测样本的检测结果，通过本发明的方法，解决了以往基于机器视觉的工业缺陷检测方法对缺陷样本数量要求多、标注要求高的问题。标注要求高的问题。标注要求高的问题。