违规检测模型的训练方法及装置、违规检测方法及装置与流程

阅读：评论：0

1.本公开涉及图像处理技术领域，特别涉及违规检测模型的训练方法及装置、违规检测方法及装置、电子设备及计算机可存储介质。

背景技术：

2.智慧城市管理的主要目标之一是发现城市运行过程中的各类违规事件，例如违规占用消防通道、违规携带宠物、行人违规穿越马路、违规贴广告等。随着城市规模增大，若单纯依靠人工巡查识别这类违规事件，则需要大量投入人力资源，而目前固定视频监控设备已渗透到城市各个角落，通过采集到的图像信息自动化检测违规异常事件，能极大减轻人力成本，更快做出干预措施，提升智慧城市管理的效率。
3.相关技术中，基于目标检测算法或实例分割算法等图像处理算法，对违规事件进行检测。

技术实现要素：

4.相关技术中，目标检测类算法是通过一个框包围出异常目标，由于包围框不是直接贴合违规目标的轮廓，仅使用包围框可能会带来一定的误判，并且其无法满足部分场景需要确定异常目标的准确区域的需求。实例分割算法虽然可以输出异常目标的轮廓，但标注复杂。无论是基于目标检测或实例分割的算法，都需要大量的带标注样本才能训练出一个可用的违规检测模型，而且不同的违规场景需要训练不同的目标检测模型，增加了模型开发的成本，没有很好的泛化性和可迁移性。
5.针对上述技术问题，本公开提出了一种解决方案，可以降低模型开发的成本，提高模型泛化性和可迁移性。
6.根据本公开的第一方面，提供了一种违规检测模型的训练方法，包括：获取训练图像样本，其中，所述训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本，所述标注样本和所述无标注样本均包括无违规事件的基准图像和有违规事件的违规图像，所述标注样本还包括描述违规事件的标签图像，所述第一样本量小于所述第二样本量，所述基准图像和所述违规图像用于描述相同位置区域；根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练；根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练，其中，在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。
7.在一些实施例中，对第一训练得到的违规检测模型，进行第二训练包括：根据所述训练图像样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像；对于所述无标注样本，根据相应的基准图像和违规图像，在添加所述至少一种扰动信息的同时，利用所述违规检测模型，检测违规图像中的违规事件，得到第二输出图像；对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函
数的损失值，其中，该损失值表征相应的第一输出图像与标签图像之间的差异程度；对于所述无标注样本，根据相应的第一输出图像和第二输出图像，确定第二损失函数的损失值，其中，该损失值表征相应的第一输出图像与第二输出图像之间的差异程度；根据所述第一损失函数的损失值和所述第二损失函数的损失值，对第一训练得到的违规检测模型，进行第二训练。
8.在一些实施例中，所述违规检测模型包括编码器、特征差分模块和解码器，根据相应的基准图像和违规图像，在添加所述至少一种扰动信息的同时，利用所述违规检测模型，检测违规图像中的违规事件，得到第二输出图像包括：根据所述训练图像样本中的基准图像和违规图像，利用所述编码器，分别确定与基准图像对应的第一特征和与违规图像对应的第二特征；根据训练图像样本的第一特征和第二特征，利用所述特征差分模块，确定差分特征；对于所述无标注样本，对相应的差分特征添加所述至少一种扰动信息，得到扰动后的差分特征；根据所述无标注样本对应的扰动后的差分特征，利用解码器，检测违规图像中的违规事件，得到第二输出图像。
9.在一些实施例中，对相应的差分特征添加所述至少一种扰动信息包括以下中的至少一种：对相应的差分特征，添加随机噪声，其中，所述随机噪声与所述差分特征的维度相同；随机去除相应的差分特征中归一化的特征值小于预配置特征阈值的特征；根据与所述无标注样本对应的第一输出图像的显著性区域，利用随机擦除算法，对相应的差分特征中与显著性区域对应的部分，进行特征擦除；根据与所述无标注样本对应的第一输出图像的显著性区域，对相应的差分特征，进行掩模运算；和对相应的差分特征，添加虚拟对抗扰动。
10.在一些实施例中，根据所述训练图像样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像包括：根据训练图像样本对应的差分特征，利用解码器，检测违规图像中的违规事件，得到第一输出图像。
11.在一些实施例中，根据所述第一损失函数的损失值和所述第二损失函数的损失值，对第一训练得到的违规检测模型，进行第二训练包括：根据与迭代次数相关的正则化参数，对所述第二损失函数的损失值进行加权，其中，所述正则化参数与迭代次数成正相关；根据所述第一损失函数的损失值与加权后的第二损失函数的损失值的和，确定总损失值，其中，在添加多个扰动信息的情况下，存在多个第二损失函数的损失值；根据所述总损失值，对第一训练得到的违规检测模型，进行第二训练。
12.在一些实施例中，第一损失函数为交叉熵损失函数，第二损失函数为均方误差损失函数。
13.在一些实施例中，根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练包括：根据所述标注样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像；对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函数的损失值，其中，该损失值表征相应的第一输出图像与标签图像之间的差异程度；根据所述第一损失函数的损失值，对第一训练得到的违规检测模型，进行第一训练。
14.在一些实施例中，所述标注样本和所述无标注样本还包括与违规场景匹配的感兴趣违规区域，所述感兴趣违规区域属于所述位置区域的一部分，为所述违规场景下发生违规事件的核心区域。
15.在一些实施例中，所述第一样本量与所述第二样本量的比值小于或等于1/9。
16.根据本公开第二方面，提供了一种违规检测方法，包括：获取目标场景的待检测图像；利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像，其中，所述违规检测模型通过上述任一实施例所述的训练方法得到。
17.在一些实施例中，所述待检测图像存在多张，所述违规检测方法还包括：根据多张待检测图像的时间差和输出图像，对违规事件进行累计；在累计的违规事件超过预设时间阈值的情况下，判定目标场景存在违规事件，并进行告警。
18.根据本公开第三方面，提供了一种违规检测模型的训练装置，包括：获取模块，被配置为获取训练图像样本，其中，所述训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本，所述标注样本和所述无标注样本均包括无违规事件的基准图像和有违规事件的违规图像，所述标注样本还包括描述违规事件的标签图像，所述第一样本量小于所述第二样本量，所述基准图像和所述违规图像用于描述相同位置区域；第一训练模块，被配置为根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练；第二训练模块，被配置为根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练，其中，在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。
19.根据本公开的第四方面，提供了一种违规检测装置，包括：获取模块，被配置为获取待检测图像；检测模块，被配置为利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像，其中，所述违规检测模型通过上述任一实施例所述的训练方法得到。
20.根据本公开的第五方面，提供了一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的训练方法或违规检测方法。
21.根据本公开的第六方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的训练方法或违规检测方法。
22.在上述实施例中，可以降低模型开发的成本，提高模型泛化性和可迁移性。
附图说明
23.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
24.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
25.图1是示出根据本公开一些实施例的违规检测模型的训练方法的流程图；
26.图2是示出根据本公开一些实施例的标注样本的示意图；
27.图3是示出根据本公开一些实施例的第一训练过程的示意图；
28.图4是示出根据本公开一些实施例的第二训练过程的部分示意图；
29.图5是示出根据本公开一些实施例的违规检测方法的流程图；
30.图6是示出根据本公开一些实施例的违规检测模型的训练装置的框图；
31.图7是示出根据本公开一些实施例的违规检测装置的框图；
32.图8是示出根据本公开一些实施例的电子设备的框图；
33.图9是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
34.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
35.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
36.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
37.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
38.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
40.图1是示出根据本公开一些实施例的违规检测模型的训练方法的流程图。
41.如图1所示，违规检测模型的训练方法包括步骤s110-步骤s130。
42.在步骤s110中，获取训练图像样本。训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本。标注样本和所述无标注样本均包括无违规事件的基准图像和有违规事件的违规图像。标注样本还包括描述违规事件的标签图像。所述基准图像和所述违规图像用于描述相同位置区域。例如，基准图像和违规图像均来自同一监控设备对同一位置区域的不同时间的监控图像。
43.图2是示出根据本公开一些实施例的标注样本的示意图。
44.如图2所示，标注样本包括描述消防通道所在位置区域的基准图像，在基准图像中无违规事件发生。标注样本还包括描述消防通道所在位置区域的违规图像，在违规图像中存在车辆违规占用消防通道的违规事件。标注样本还包括描述违规事件的标签图像。如图2所示，标签图像通过标识违规目标的轮廓来描述违规事件。
45.第一样本量小于所述第二样本量。在一些实施例中，所述第一样本量与所述第二样本量的比值小于或等于1/9。这种情况下，标注样本相对于无标注样本为少量标注样本。例如，标注样本的样本量为200～300左右。
46.在一些实施例中，所述标注样本和所述无标注样本还包括与违规场景匹配的感兴趣违规区域，所述感兴趣违规区域属于所述位置区域的一部分，为所述违规场景下发生违规事件的核心区域。感兴趣违规区域可以根据违规场景自定义。例如，参考图2，感兴趣违规区域包括路面划分的消防通道区域。
47.例如，少量的带标注样本表示为d
l
，大量的未标注样本表示为d
ul
。第i组带标注样本对包含基准图像违规图像感兴趣违规区域和标签图像
48.返回图1，在步骤s120中，根据所述标注样本，对用于检测违规事件的违规检测模
型，进行第一训练。
49.在一些实施例中，根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练包括如下步骤。
50.首先，根据所述标注样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像。
51.在一些实施例中，违规检测模型包括编码器、特征差分模块和解码器。编码器的输出作为特征差分模块的输入，特征差分模块的输出作为解码器的输入。这种情况下，首先根据所述标注样本中的基准图像和违规图像，利用所述编码器，分别确定与基准图像对应的第一特征和与违规图像对应的第二特征。然后根据训练图像样本的第一特征和第二特征，利用所述特征差分模块，确定差分特征。最后根据标注样本对应的差分特征，利用解码器，检测违规图像中的违规事件，得到第一输出图像。在一些实施例中，编码器为resnet50。
52.然后，对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函数的损失值。该损失值表征相应的第一输出图像与标签图像之间的差异程度。
53.最后，根据所述第一损失函数的损失值，对第一训练得到的违规检测模型，进行第一训练。
54.在一些实施例中，第一训练为模型初步训练。在模型初步训练过程中，使用带标注的样本d
l
进行模型训练。
55.图3是示出根据本公开一些实施例的第一训练过程的示意图。
56.如图3所示，选取不同时间的监控图像(标注样本中的基准图像集)和(标注样本中的违规图像集)分别作为模型的编码器的输入，得到编码特征和将和作为特征差分模块的输入，得到差分特征特征差分模块实现了对特征和的比较。解码器对差分特征进行解码，得到感兴趣违规区域内预测的违规操作(输出图像)。在第一训练过程中，可以使用交叉熵损失函数，衡量模型输出与样本标签之间的差异，得到一个带有一定检测能力的初步模型。
57.返回图1，在步骤s130中，根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练。在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。
58.在一些实施例中，可以通过如下步骤1)-5)实现对第一训练得到的违规检测模型，进行第二训练。
59.在步骤1)中，根据所述训练图像样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像。
60.以违规检测模型包括编码器、特征差分模块和解码器为例，可以通过如下方式实现上述步骤1)。
61.首先，根据所述训练图像样本中的基准图像和违规图像，利用所述编码器，分别确定与基准图像对应的第一特征和与违规图像对应的第二特征。
62.其次，根据训练图像样本的第一特征和第二特征，利用所述特征差分模块，确定差
分特征。
63.最后，根据训练图像样本对应的差分特征，利用解码器，检测违规图像中的违规事件，得到第一输出图像。这里第一输出图像包括与标注样本对应的第一输出图像，还包括与无标注样本对应的第一输出图像。
64.例如，上述步骤1)中针对无标注样本的处理过程可以参考图3对标注样本的处理过程，此处不再赘述。
65.在步骤2)中，对于所述无标注样本，根据相应的基准图像和违规图像，在添加所述至少一种扰动信息的同时，利用所述违规检测模型，检测违规图像中的违规事件，得到第二输出图像。
66.以违规检测模型包括编码器、特征差分模块和解码器为例，可以通过如下方式实现上述步骤2)。
67.如前述实施例所述，可以得到无标注样本对应的差分特征。之后，对于所述无标注样本，对相应的差分特征添加所述至少一种扰动信息，得到扰动后的差分特征。进而，根据所述无标注样本对应的扰动后的差分特征，利用解码器，检测违规图像中的违规事件，得到第二输出图像。例如，无标注样本的差分特征表示为
68.图4是示出根据本公开一些实施例的第二训练过程的部分示意图。
69.如图4所示，无标注样本的差分特征被输入到解码器，得到原始输出(第一输出图像)。例如，无标注样本的差分特征经过扰动1～5中的至少一种后，得到扰动后的差分特征中的至少一种。扰动后的差分特征中的至少一种被输入到解码器中，得到扰动输出(第二输出图像)1～5中的至少一种。
70.在一些实施例中，对相应的差分特征添加所述至少一种扰动信息包括以下中的至少一种：对相应的差分特征，添加随机噪声，其中，所述随机噪声与所述差分特征的维度相同；随机去除相应的差分特征中归一化的特征值小于预配置特征阈值的特征；根据与所述无标注样本对应的第一输出图像的显著性区域，利用随机擦除算法，对相应的差分特征中与显著性区域对应的部分，进行特征擦除；根据与所述无标注样本对应的第一输出图像的显著性区域，对相应的差分特征，进行掩模运算；和对相应的差分特征，添加虚拟对抗扰动。
71.在一些实施例中，对于第i对未标注样本(基准图像和违规图像)的差分特征为可以在上添加以下5类扰动中的至少一种。
72.扰动1：添加随机噪声。生成一个维度与相同的噪声n。n的每个元素～u(-0.3,0.3)。扰动后特征为
73.扰动2：随机去除一些响应大的差分特征。首先，对差分特征做归一化：然后，随机采样或选取一个阈值t～u(0.6,0.9)，并根据该阈值t，使用二值函数生成掩模扰动后特征为掩模是
一个矩阵，其尺寸与差分特征一致。掩模由二值函数产生，所以其中的每个元素是0或者1，当归一化的特征小于阈值t，则取1，反之取0。因此，经过
⊙
点乘运算后，利用掩模中为0的元素，将对应位置的差分特征进行去除。
74.扰动3：根据显著图进行特征擦除。为了降低输出对某一块特征的依赖性，根据输出中的显著性区域，返回到差分特征中对应的位置，将该位置的特征擦除。
75.输出图的显著图区域/a可以按通道进行求解：输出图的显著图区域/a可以按通道进行求解：即，比较输出图(输出图含有两个通道)中每个像素点在各通道的像素值，取较大像素值所在的通道数，因此，得到的显著图sa为二值化图像。
76.计算显著图中各连通区域的面积，对于面积大于/1的区域，根据插值运算求解该区域对应到差分特征的区域。结合随机擦除(random erasing)算法，在该差分特征区域内部随机选择一个矩形区，将矩形区内的所有特征点置为随机值。
77.扰动4：根据显著图进行特征丢弃。同时使用显著和非显著区域进行掩模运算，扰动后特征为或者或者即，根据显著图sa，选择整体保留差分特征中的显著区域，或选择整体保留差分特征中的非显著区域。
78.扰动5：虚拟对抗扰动。在向量模长不超过∈的约束下，求解一个使得输出变化最大的方向r
vat
。。其中，o是模型输出图，f是差分特征，是模型参数，d是衡量两个分布的散度。扰动后特征为：
79.在步骤3)中，对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函数的损失值。该损失值表征与标注样本相应的第一输出图像与标签图像之间的差异程度。例如，第一损失函数的损失值表征为l
l
。
80.在步骤4)中，对于所述无标注样本，根据相应的第一输出图像和第二输出图像，确定第二损失函数的损失值。该损失值表征与无标注样本相应的第一输出图像与第二输出图像之间的差异程度。第二损失函数的损失值对与无标注样本相应的第一输出图像和第二输出图像进行了如图4所示的一致性约束。例如，第二损失函数的损失值表征为l
ul
。
81.针对模型的差分特征，通过多种随机扰动方式，利用两种损失函数使用比重相互协调和一致性约束，使得模型通过扰动特征的训练，可以产生鲁棒且准确的检测结果。
82.在步骤5)中，根据所述第一损失函数的损失值和所述第二损失函数的损失值，对第一训练得到的违规检测模型，进行第二训练。
83.在上述实施例中，第二训练例如为模型深度训练。在模型深度训练过程中，加入未标注样本d
ul
共同参与模型训练。由于带标注数据量过少，训练的初步模型的输出极易受到差分特征fd扰动的影响。因此，在该深度训练阶段基于未标注样本主动增加对差分特征的扰动，并约束原始输出和扰动后的输出尽可能一致，实现对模型的优化。
84.在一些实施例中，根据所述第一损失函数的损失值和所述第二损失函数的损失
值，对第一训练得到的违规检测模型，进行第二训练包括如下步骤。
85.首先，根据与迭代次数相关的正则化参数，对所述第二损失函数的损失值进行加权，其中，所述正则化参数与迭代次数成正相关。例如，正则化参数表示为α(t)，其中，t表示迭代次数，α(t)的取值范围为0～1，当t大于t时，α(t)恒等于1。例如，
86.α(t)表示在前期迭代时，带标签样本权重大，模型更多利用有监督信息快速产生检测变化的基本功能。当迭代次数逐渐增加时，无标签样本权重逐渐增大，模型利用无监督信息提升检测的准确性。
87.然后，根据所述第一损失函数的损失值与加权后的第二损失函数的损失值的和，确定总损失值。在添加多个扰动信息的情况下，存在多个第二损失函数的损失值。例如，总损失值l
total
＝l
l
+α(t)i
ul
，其中，在存在多个扰动的情况下，i
ul
为多个第二损失函数的损失值的和。
88.最后，根据所述总损失值，对第一训练得到的违规检测模型，进行第二训练。
89.在一些实施例中，第一损失函数为交叉熵损失函数，第二损失函数为均方误差损失函数。
90.在上述实施例中，通过第一训练得到带有一定检测能力的初步模型。通过第二训练，利用扰动信息对第二训练过程进行一致性约束，使得在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出尽可能一致，实现对模型的优化。通过相对较少的标注样本和相对较多的无标注样本相结合的方式，通过扰动方式为训练过程增加一致性约束，实现了少量标注样本情况下的模型训练，降低了模型开发的成本。通过添加扰动，提高模型鲁棒性，提高模型的泛化性和可迁移性。
91.本公开在模型深度训练过程中，根据迭代次数相互协调两种损失函数使用比重，设计了多种针对未标注样本对的差分特征的随机扰动，通过约束原始输出和随机扰动后输出的一致性，实现对模型的优化。由于没有对未标注样本分布进行任何假设，因此当模型在未见过的另一个数据集上进行测试时，可以具有更好的泛化性和可迁移性。
92.图5是示出根据本公开一些实施例的违规检测方法的流程图。
93.如图5所示，违规检测方法包括步骤s510-步骤s520。
94.在步骤s510中，获取目标场景的待检测图像。
95.在步骤s520中，利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像。违规检测模型通过前述任意实施例中的训练方法得到。
96.在一些实施例中，以多张待检测图像为例，根据多张待检测图像的时间差和输出图像，对违规事件进行累计；在累计的违规事件超过预设时间阈值t的情况下，判定目标场景存在违规事件，并进行告警。
97.多张待检测图像为同一位置区域中不同时间的图像。例如，对于某一感兴趣监控区域，比如路面划分的消防通道区域，可以获取连续或不连续的多个时间内的监控图像，作为多张待检测图像。在不连续的情况下，相邻时间间隔应小于预设阈值，避免误判违规时长。
98.图6是示出根据本公开一些实施例的违规检测模型的训练装置的框图。
99.如图6所示，违规检测模型的训练装置6包括获取模块61、第一训练模块62和第二训练模块63。
100.获取模块61被配置为获取训练图像样本，例如执行如图1所示的步骤s110。训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本。标注样本和所述无标注样本均包括无违规事件的基准图像和有违规事件的违规图像。标注样本还包括描述违规事件的标签图像，所述第一样本量小于所述第二样本量。基准图像和所述违规图像用于描述相同位置区域。
101.第一训练模块62被配置为根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练，例如执行如图1所示的步骤s120。
102.第二训练模块63被配置为根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练，例如执行如图1所示的步骤s130。在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。
103.图7是示出根据本公开一些实施例的违规检测装置的框图。
104.如图7所示，违规检测装置7包括获取模块71和检测模块72。
105.获取模块71被配置为获取待检测图像，例如执行如图5所示的步骤s510。
106.检测模块72被配置为利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像，例如执行如图5所示的步骤s520。所述违规检测模型通过本公开任意实施例中的训练方法得到。
107.图8是示出根据本公开一些实施例的电子设备的框图。
108.如图8所示，电子设备8包括存储器81；以及耦接至该存储器81的处理器82。存储器81用于存储执行训练方法或违规检测方法对应实施例的指令。处理器82被配置为基于存储在存储器81中的指令，执行本公开中任意一些实施例中的训练方法或违规检测方法。
109.图9是示出用于实现本公开一些实施例的计算机系统的框图。
110.如图9所示，计算机系统90可以通用计算设备的形式表现。计算机系统90包括存储器910、处理器920和连接不同系统组件的总线900。
111.存储器910例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(ram)和/或高速缓存存储器。非易失性存储介质例如存储有执行训练方法和违规检测方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
112.处理器920可以用通用处理器、数字信号处理器(dsp)、应用专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(cpu)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
113.总线900可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(isa)总线、微通道体系结构(mca)总线、外围组件互连(pci)总线。
114.计算机系统90还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930、940、950以及存储器910和处理器920之间可以通过总线900连接。输入输出接口
930可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为软盘、u盘、sd卡等外部存储设备提供连接接口。
115.这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
116.这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
117.这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
118.本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
119.通过上述实施例中的违规检测模型的训练方法及装置、违规检测方法及装置、电子设备及计算机可存储介质，可以降低模型开发的成本，提高模型泛化性和可迁移性。
120.至此，已经详细描述了根据本公开的违规检测模型的训练方法及装置、违规检测方法及装置、电子设备及计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

技术特征：

1.一种违规检测模型的训练方法，包括：获取训练图像样本，其中，所述训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本，所述标注样本和所述无标注样本均包括无违规事件的基准图像和有违规事件的违规图像，所述标注样本还包括描述违规事件的标签图像，所述第一样本量小于所述第二样本量，所述基准图像和所述违规图像用于描述相同位置区域；根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练；根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练，其中，在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。2.根据权利要求1所述的训练方法，其中，对第一训练得到的违规检测模型，进行第二训练包括：根据所述训练图像样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像；对于所述无标注样本，根据相应的基准图像和违规图像，在添加所述至少一种扰动信息的同时，利用所述违规检测模型，检测违规图像中的违规事件，得到第二输出图像；对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函数的损失值，其中，该损失值表征相应的第一输出图像与标签图像之间的差异程度；对于所述无标注样本，根据相应的第一输出图像和第二输出图像，确定第二损失函数的损失值，其中，该损失值表征相应的第一输出图像与第二输出图像之间的差异程度；根据所述第一损失函数的损失值和所述第二损失函数的损失值，对第一训练得到的违规检测模型，进行第二训练。3.根据权利要求2所述的训练方法，其中，所述违规检测模型包括编码器、特征差分模块和解码器，根据相应的基准图像和违规图像，在添加所述至少一种扰动信息的同时，利用所述违规检测模型，检测违规图像中的违规事件，得到第二输出图像包括：根据所述训练图像样本中的基准图像和违规图像，利用所述编码器，分别确定与基准图像对应的第一特征和与违规图像对应的第二特征；根据训练图像样本的第一特征和第二特征，利用所述特征差分模块，确定差分特征；对于所述无标注样本，对相应的差分特征添加所述至少一种扰动信息，得到扰动后的差分特征；根据所述无标注样本对应的扰动后的差分特征，利用解码器，检测违规图像中的违规事件，得到第二输出图像。4.根据权利要求3所述的训练方法，其中，对相应的差分特征添加所述至少一种扰动信息包括以下中的至少一种：对相应的差分特征，添加随机噪声，其中，所述随机噪声与所述差分特征的维度相同；随机去除相应的差分特征中归一化的特征值小于预配置特征阈值的特征；根据与所述无标注样本对应的第一输出图像的显著性区域，利用随机擦除算法，对相应的差分特征中与显著性区域对应的部分，进行特征擦除；根据与所述无标注样本对应的第一输出图像的显著性区域，对相应的差分特征，进行
掩模运算；和对相应的差分特征，添加虚拟对抗扰动。5.根据权利要求3所述的训练方法，其中，根据所述训练图像样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像包括：根据训练图像样本对应的差分特征，利用解码器，检测违规图像中的违规事件，得到第一输出图像。6.根据权利要求2所述的训练方法，其中，根据所述第一损失函数的损失值和所述第二损失函数的损失值，对第一训练得到的违规检测模型，进行第二训练包括：根据与迭代次数相关的正则化参数，对所述第二损失函数的损失值进行加权，其中，所述正则化参数与迭代次数成正相关；根据所述第一损失函数的损失值与加权后的第二损失函数的损失值的和，确定总损失值，其中，在添加多个扰动信息的情况下，存在多个第二损失函数的损失值；根据所述总损失值，对第一训练得到的违规检测模型，进行第二训练。7.根据权利要求2所述的训练方法，其中，第一损失函数为交叉熵损失函数，第二损失函数为均方误差损失函数。8.根据权利要求1所述的训练方法，其中，根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练包括：根据所述标注样本中的基准图像和违规图像，利用所述违规检测模型，检测违规图像中的违规事件，得到第一输出图像；对于所述标注样本，根据相应的第一输出图像和标签图像，确定第一损失函数的损失值，其中，该损失值表征相应的第一输出图像与标签图像之间的差异程度；根据所述第一损失函数的损失值，对第一训练得到的违规检测模型，进行第一训练。9.根据权利要求1所述的训练方法，其中，所述标注样本和所述无标注样本还包括与违规场景匹配的感兴趣违规区域，所述感兴趣违规区域属于所述位置区域的一部分，为所述违规场景下发生违规事件的核心区域。10.根据权利要求1所述的训练方法，其中，所述第一样本量与所述第二样本量的比值小于或等于1/9。11.一种违规检测方法，包括：获取目标场景的待检测图像；利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像，其中，所述违规检测模型通过如权利要求1至10所述的训练方法得到。12.根据权利要求11所述的违规检测方法，其中，所述待检测图像存在多张，所述违规检测方法还包括：根据多张待检测图像的时间差和输出图像，对违规事件进行累计；在累计的违规事件超过预设时间阈值的情况下，判定目标场景存在违规事件，并进行告警。13.一种违规检测模型的训练装置，包括：获取模块，被配置为获取训练图像样本，其中，所述训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本，所述标注样本和所述无标注样本均包括无违规事件的
基准图像和有违规事件的违规图像，所述标注样本还包括描述违规事件的标签图像，所述第一样本量小于所述第二样本量，所述基准图像和所述违规图像用于描述相同位置区域；第一训练模块，被配置为根据所述标注样本，对用于检测违规事件的违规检测模型，进行第一训练；第二训练模块，被配置为根据所述标注样本和所述无标注样本，对第一训练得到的违规检测模型，进行第二训练，其中，在第二训练中，添加至少一种扰动信息，所述扰动信息用于在第二训练中减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。14.一种违规检测装置，包括：获取模块，被配置为获取待检测图像；检测模块，被配置为利用违规检测模型，检测所述待检测图像中的违规事件，得到输出图像，其中，所述违规检测模型通过如权利要求1至10所述的训练方法得到。15.一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至10任一项所述的训练方法或者如权利要求11至12任一项所述的违规检测方法。16.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至10任一项所述的训练方法或者如权利要求11至12任一项所述的违规检测方法。

技术总结

本公开涉及违规检测模型的训练方法及装置、违规检测方法及装置、电子设备及计算机可存储介质，涉及图像处理技术领域。训练方法包括：获取训练图像样本，训练图像样本包括第一样本量的标注样本和第二样本量的无标注样本，标注样本和无标注样本均包括无违规事件的基准图像和有违规事件的违规图像，标注样本还包括标签图像，第一样本量小于第二样本量；根据标注样本，对用于检测违规事件的违规检测模型，进行第一训练；根据标注样本和无标注样本，对第一训练得到的违规检测模型，进行第二训练，在第二训练中添加至少一种扰动信息，扰动信息用于减小无扰动情况下的违规事件检测模型的输出与有扰动情况下的违规事件检测模型的输出之间的差距。的输出之间的差距。的输出之间的差距。