基于人工智能的自动监考方法和机器人

阅读：评论：0

1.本发明涉及人工智能技术领域，特别是涉及一种基于人工智能的自动监考方法和机器人。

背景技术：

2.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术下，人工监考是非常耗时耗力的事情，而且人工监考也存在着盲区，例如监考老师视线看不到的地方，难以兼顾所有的考生。
3.因此，现有技术还有待于改进和发展。

技术实现要素：

4.基于此，有必要针对现有技术的缺陷或不足，提供基于人工智能的自动监考方法和机器人，用来辅助人工监考，可以提高监考的效率和效果，使得作弊行为能够毫无遗漏地被检测到。
5.第一方面，本发明实施例提供一种人工智能方法，所述方法包括：
6.典型特征检测步骤:获取所述考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像；将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息；
7.待检测帧标记步骤：获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长；若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长；若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧；有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧；
8.待检测视频片段截取步骤：将所述考试的监控视频中标记为待检测帧且未标记为已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取；
9.作弊动作检测步骤：将所述待检测视频片段作为输入，经过作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中作弊动作的标签；将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的作弊动作的标签中考生的信息；将所有所述待检测视频片段中作弊动作的标签作为所
述考试的监控视频中作弊动作的标签；
10.监控视频标记步骤：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。
11.优选地，所述方法还包括：
12.视频监控步骤：获取考试的监控视频；
13.作弊动作设置步骤：获取用户设置的作弊动作；
14.获取作弊动作的视频步骤：获取每一种所述作弊动作的视频样本；
15.获取作弊动作典型特征设置步骤：获取用户设置的作弊动作的典型特征；
16.获取作弊动作的典型特征的图像步骤：获取每一种所述典型特征的图像样本。
17.优选地，所述方法还包括：
18.建立考试作弊知识图谱步骤：建立多个作弊动作实体、多个典型特征实体、多个考生实体、多个考场实体、多个监考老师实体；
19.考试作弊知识图谱关系定义步骤：考生实体通过具有关系指向作弊动作实体；考生实体通过具有关系指向典型特征实体；考生实体通过在关系指向考场实体；监考老师实体通过在关系指向考场实体；
20.考试作弊知识图谱静态关系生成步骤：根据用户设置的作弊动作的典型特征，在典型特征实体和作弊动作实体之间建立关系。
21.优选地，所述方法还包括：
22.典型特征检测模型构建步骤:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到典型特征检测深度学习模型；
23.作弊动作检测模型构建步骤:将每一种作弊动作的视频样本作为输入，将所述每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到作弊动作检测深度学习模型；
24.考生图像识别模型构建步骤：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型；
25.考生视频识别模型构建步骤：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。
26.第二方面，本发明实施例提供一种人工智能系统，所述系统包括：
27.典型特征检测模块:获取所述考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像；将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息；
28.待检测帧标记模块：获取所述考试的监控视频中每一帧图像及所述每一帧图像的
典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长；若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长；若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧；有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧；
29.待检测视频片段截取模块：将所述考试的监控视频中标记为待检测帧且未标记为已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取；
30.作弊动作检测模块：将所述待检测视频片段作为输入，经过作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中作弊动作的标签；将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的作弊动作的标签中考生的信息；将所有所述待检测视频片段中作弊动作的标签作为所述考试的监控视频中作弊动作的标签；
31.监控视频标记模块：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。
32.优选地，所述系统还包括：
33.视频监控模块：获取考试的监控视频；
34.作弊动作设置模块：获取用户设置的作弊动作；
35.获取作弊动作的视频模块：获取每一种所述作弊动作的视频样本；
36.获取作弊动作典型特征设置模块：获取用户设置的作弊动作的典型特征；
37.获取作弊动作的典型特征的图像模块：获取每一种所述典型特征的图像样本。
38.优选地，所述系统还包括：
39.建立考试作弊知识图谱模块：建立多个作弊动作实体、多个典型特征实体、多个考生实体、多个考场实体、多个监考老师实体；
40.考试作弊知识图谱关系定义模块：考生实体通过具有关系指向作弊动作实体；考生实体通过具有关系指向典型特征实体；考生实体通过在关系指向考场实体；监考老师实体通过在关系指向考场实体；
41.考试作弊知识图谱静态关系生成模块：根据用户设置的作弊动作的典型特征，在典型特征实体和作弊动作实体之间建立关系。
42.优选地，所述系统还包括：
43.典型特征检测模型构建模块:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到典型特征检测深度学习模型；
44.作弊动作检测模型构建模块:将每一种作弊动作的视频样本作为输入，将所述每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到作弊动作检测深度学习模型；
45.考生图像识别模型构建模块：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型；
46.考生视频识别模型构建模块：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。
47.第三方面，本发明实施例提供一种人工智能装置，所述装置包括第二方面实施例任意一项所述系统的模块。
48.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面实施例任意一项所述方法的步骤。
49.第五方面，本发明实施例提供一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能机器人程序，所述处理器执行所述程序时实现第一方面实施例任意一项所述方法的步骤。
50.本实施例提供的基于人工智能的自动监考方法和机器人，包括：典型特征检测步骤；待检测帧标记步骤；待检测视频片段截取步骤；作弊动作检测步骤；监控视频标记步骤。上述方法、系统和机器人，通过先检测典型特征，再在具备典型特征的那些视频段进行作弊动作的检测，就减少了很多不含有典型特征的视频段的检测，从而可以极大地提高检测的速度和效率。这种方式，对于实时视频监控同样适用，在没有典型特征出现时则无需进行作弊动作的检测，从而可以极大地节省计算成本，提高检测速度，能够达到实时检测的效果。
附图说明
51.图1为本发明的一个实施例提供的人工智能系统的模块图；
52.图2为本发明的一个实施例提供的人工智能系统包括的模块图；
53.图3为本发明的一个实施例提供的人工智能系统包括的模块图；
54.图4为本发明的一个实施例提供的人工智能系统包括的模块图。
具体实施方式
55.下面结合本发明实施方式，对本发明实施例中的技术方案进行详细地描述。
56.本发明的基本实施例
57.第一方面，本发明实施例提供一种人工智能方法，所述方法包括：典型特征检测步骤；待检测帧标记步骤；待检测视频片段截取步骤；作弊动作检测步骤；监控视频标记步骤。技术效果：通过先检测典型特征，再在具备典型特征的那些视频段进行作弊动作的检测，就减少了很多不含有典型特征的视频段的检测，从而可以极大地提高检测的速度和效率。这种方式，对于实时视频监控同样适用，在没有典型特征出现时则无需进行作弊动作的检测，从而可以极大地节省计算成本，提高检测速度，能够达到实时检测的效果。
58.优选地，所述方法还包括：视频监控步骤；作弊动作设置步骤；获取作弊动作的视频步骤；获取作弊动作典型特征设置步骤；获取作弊动作的典型特征的图像步骤。技术效果：允许用户自行设置典型特征和作弊动作，从而可以实现千人千面的个性化的检测，满足不同用户的需求，因为不能用户希望的检测标准不同，如果事先在系统中固定、不允许用户
设置，那么就会存在技术缺陷，本技术有效地克服了此技术缺陷，能够更为个性化地进行检测。
59.优选地，所述方法还包括：建立考试作弊知识图谱步骤；考试作弊知识图谱关系定义步骤；考试作弊知识图谱静态关系生成步骤。技术效果：通过知识图谱可以让考生、考场、典型特征、作弊动作等关系一目了然，能够提高用户体验，且有利于利用这种关系进行更为精准的检测。
60.优选地，所述方法还包括：典型特征检测模型构建步骤；作弊动作检测模型构建步骤；考生图像识别模型构建步骤；考生视频识别模型构建步骤。技术效果：通过深度学习技术进行典型特征和作弊模型的训练，可以克服传统的模式匹配和专家系统的不足。
61.第二方面，本发明实施例提供一种人工智能系统，如图1所示，所述系统包括：典型特征检测模块；待检测帧标记模块；待检测视频片段截取模块；作弊动作检测模块；监控视频标记模块。
62.优选地，如图2所示，所述系统还包括：视频监控模块；作弊动作设置模块；获取作弊动作的视频模块；获取作弊动作典型特征设置模块；获取作弊动作的典型特征的图像模块。
63.优选地，如图3所示，所述系统还包括：建立考试作弊知识图谱模块；考试作弊知识图谱关系定义模块；考试作弊知识图谱静态关系生成模块。
64.优选地，如图4所示，所述系统还包括：典型特征检测模型构建模块；作弊动作检测模型构建模块；考生图像识别模型构建模块；考生视频识别模型构建模块。
65.第三方面，本发明实施例提供一种人工智能装置，所述装置包括第二方面实施例任意一项所述系统的模块。
66.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面实施例任意一项所述方法的步骤。
67.第五方面，本发明实施例提供一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能机器人程序，所述处理器执行所述程序时实现第一方面实施例任意一项所述方法的步骤。
68.本发明的优选实施例
69.视频监控步骤：获取考试的监控视频；优选地，实时地获取考试的监控视频。
70.作弊动作设置步骤：获取用户设置的作弊动作，包括看别人试卷的动作、或拿纸条的动作、或拿书本的动作、或拿资料的动作、或盯着某个信息源看的时间超过预设时长阈值；拿纸条的动作包括接纸条的动作、或递纸条的动作、或从口袋掏纸条的动作，典型特征为手上出现纸条。
71.获取作弊动作的视频步骤：获取每一种所述作弊动作的视频样本；优选地，获取每一种所述作弊动作的大量视频样本；优选地，获取每一种所述作弊动作的第一预设数个视频样本；优选地，不同种类的所述作弊动作的第一预设数不同，复杂的所述作弊动作的第一预设数大，简单的所述作弊动作的第一预设数小，越复杂的所述作弊动作的第一预设数越大。
72.获取作弊动作典型特征设置步骤：获取用户设置的作弊动作的典型特征，包括看别人试卷的动作的典型特征为眼睛看向自己试卷之外的地方、或拿纸条的动作的典型特征
为手上出现笔和橡皮之外的东西、或拿书本的动作的典型特征为手上出现笔和橡皮之外的东西、或拿资料的动作的典型特征为手上出现笔和橡皮之外的东西、或盯着某个信息源看的时间超过预设时长阈值的典型特征为眼睛看向自己试卷之外的地方。可以看出的是，是某个动作的典型特征，则不一定是该动作，反过来，如果是某个动作，必然会出现该动作的典型特征，也就是说依靠典型特征，容易出现误检，把没有作弊的动作当成作弊动作，但不会发生漏检，也就是说不会出现是作弊的动作却检不出该典型特征。因此，作弊动作典型特征可以用于初检，从而提高作弊动作检测的速度和效率，节省检测的时间和成本，因为典型特征是静态的图像就可以描述的，而作弊动作是一连贯的动作，只能用视频来描述，显然从考试监控视频中检测特定图像的效率和速度要远远高于检测特定视频的效率和速度，从而降低检测的成本，对于碳中和和节能都有着重要的意义。但仅仅靠典型特征来进行检测是不够的，因为典型特征无法唯一确定是作弊动作，例如典型特征眼睛看向自己试卷之外的地方，也有可能是因为学生考试考累了，而看向远方休息一会，不一定就一定是看别人试卷的动作，也不一定是盯着某个信息源看的时间超过预设时长阈值。所以通过典型特征的图像进行初检之后需要通过动作视频进一步进行确诊。
73.获取作弊动作的典型特征的图像步骤：获取每一种所述典型特征的图像样本；优选地，获取每一种所述典型特征的大量图像样本；优选地，获取每一种所述典型特征的第二预设数个图像样本；优选地，不同种类的所述典型特征的第二预设数不同，复杂的所述典型特征的第二预设数大，简单的所述典型特征的第二预设数小，越复杂的所述典型特征的第二预设数越大。
74.建立考试作弊知识图谱步骤：建立多个作弊动作实体、多个典型特征实体、多个考生实体、多个考场实体、多个监考老师实体。
75.考试作弊知识图谱关系定义步骤：典型特征实体通过属于关系指向作弊动作实体，一个典型特征实体与一个或多个作弊动作实体之间存在属于关系，一个作弊动作实体与一个或多个典型特征实体之间存在属于关系。考生实体通过具有关系指向作弊动作实体，一个考生实体与零个或一个或多个作弊动作实体之间存在具有关系，一个作弊动作实体与零个或一个或多个考生实体之间存在具有关系。考生实体通过具有关系指向典型特征实体，一个考生实体与零个或一个或多个典型特征实体之间存在具有关系，一个典型特征实体与零个或一个或多个考生实体之间存在具有关系。考生实体通过在关系指向考场实体，一个考生实体与一个考场实体之间存在在关系，一个考场实体与多个考生实体之间存在在关系。监考老师实体通过在关系指向考场实体，一个监考老师实体与一个考场实体之间存在在关系，一个考场实体与多个监考老师实体之间存在在关系。
76.考试作弊知识图谱静态关系生成步骤：根据用户设置的作弊动作的典型特征，在典型特征实体和作弊动作实体之间建立关系。
77.典型特征检测模型构建步骤:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到典型特征检测深度学习模型。所述每一种典型特征的图像样本为考场图像且图像中用预设标志标记出了具有所述每一种典型特征的考生且标记的范围需要涵盖所述每一种典型特征，例如典型特征为手上出现笔和橡皮之外的东西，将考场图像中典型特征为手上出现笔和橡皮之外的东西的考生及其手上出现的笔和橡皮之外的东西用方框框上。所述每一种典型特征的标签包
括所述每一种典型特征的名称(例如手上出现笔和橡皮之外的东西)、所述每一种典型特征在图像中的标志的位置，例如方框的位置(4个顶点坐标)。若所述每一种典型特征的标签中所述每一种典型特征在图像中的标志的位置为空，则表明所述图像样本不包含所述每一种典型特征。
78.作弊动作检测模型构建步骤:将每一种作弊动作的视频样本作为输入，将所述每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到作弊动作检测深度学习模型；所述每一种作弊动作的视频样本为考场视频且视频中用预设标志标记出了具有所述每一种作弊动作的考生且标记的范围需要涵盖所述每一种作弊动作，这里范围包括空间范围和时间范围，时间范围从所述每一种作弊动作的起始帧到结束帧，例如作弊动作为拿纸条的动作，将考场视频中作弊动作为拿纸条的动作从起始帧到结束帧中每一帧的作弊动作为拿纸条的考生及其拿纸条的动作用方框框上。所述每一种作弊动作的标签包括所述每一种作弊动作的名称(例如拿纸条的动作)、所述每一种作弊动作的起始帧、结束帧、在每一帧中的标志的位置，例如每一帧中方框的位置(4个顶点坐标)。若所述每一种作弊动作的标签中所述每一种作弊动作的起始帧、结束帧为空，则表明所述视频样本不包含所述每一种作弊动作。
79.考生图像识别模型构建步骤：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息(考生的信息例如考生的姓名或身份证号或学号)作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型。
80.考生视频识别模型构建步骤：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息(考生的信息例如考生的姓名或身份证号或学号)作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。
81.典型特征检测步骤:获取所述考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签。若所述每一帧图像的典型特征的标签不为空(若为空，则表明所述每一帧图像不具备典型特征)，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像。将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息。若所述每一帧图像的典型特征的标签不为空，则所述每一帧图像含有一个或多个典型特征。
82.待检测帧标记步骤：获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型特征的标签。若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长。若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长。若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧。有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧。
83.待检测视频片段截取步骤：将所述考试的监控视频中标记为待检测帧且未标记为
已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取。从考试的监控视频中能够抽取0个或1个或多个待检测视频片段。
84.作弊动作检测步骤：将所述待检测视频片段作为输入，经过作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中作弊动作的标签。将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的作弊动作的标签中考生的信息。若所述每一帧图像的典型特征的标签不为空，则所述每一帧图像含有一个或多个典型特征。将所有所述待检测视频片段中作弊动作的标签作为所述考试的监控视频中作弊动作的标签。
85.监控视频标记步骤：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。
86.通过上面先检测典型特征，再在具备典型特征的那些视频段进行作弊动作的检测，就减少了很多不含有典型特征的视频段的检测，从而可以极大地提高检测的速度和效率。这种方式，对于实时视频监控同样适用，在没有典型特征出现时则无需进行作弊动作的检测，从而可以极大地节省计算成本，提高检测速度，能够达到实时检测的效果。
87.每一种典型特征检测模型构建步骤:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到所述每一种典型特征检测深度学习模型。所述每一种典型特征的图像样本为考场图像且图像中用预设标志标记出了具有所述每一种典型特征的考生且标记的范围需要涵盖所述每一种典型特征，例如典型特征为手上出现笔和橡皮之外的东西，将考场图像中典型特征为手上出现笔和橡皮之外的东西的考生及其手上出现的笔和橡皮之外的东西用方框框上。所述每一种典型特征的标签包括所述每一种典型特征的名称(例如手上出现笔和橡皮之外的东西)、所述每一种典型特征在图像中的标志的位置，例如方框的位置(4个顶点坐标)。若所述每一种典型特征的标签中所述每一种典型特征在图像中的标志的位置为空，则表明所述图像样本不包含所述每一种典型特征。
88.每一种作弊动作检测模型构建步骤:将每一种作弊动作的视频样本作为输入，将每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到所述每一种作弊动作检测深度学习模型；所述每一种作弊动作的视频样本为考场视频且视频中用预设标志标记出了具有所述每一种作弊动作的考生且标记的范围需要涵盖所述每一种作弊动作，这里范围包括空间范围和时间范围，时间范围从所述每一种作弊动作的起始帧到结束帧，例如作弊动作为拿纸条的动作，将考场视频中作弊动作为拿纸条的动作从起始帧到结束帧中每一帧的作弊动作为拿纸条的考生及其拿纸条的动作用方框框上。所述每一种作弊动作的标签包括所述每一种作弊动作的名称(例如拿纸条的动作)、所述每一种作弊动作的起始帧、结束帧、在每一帧中的标志的位置，例如每一帧中方框的位置(4个顶点坐标)。若所述每一种作弊动作的标签中所述每一种作弊动作的起始帧、结束帧为空，则表明所述视频样本不包含所述每一种作弊动作。
89.对每一种典型特征和每一种作弊动作都训练一个深度学习模型，可以使得深度学习模型更有针对性也更精准，虽然在某种程度上提高了计算的成本，但可以通过有针对性的检测来反过来降低成本。
90.考生图像识别模型构建步骤：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息(考生的信息例如考生的姓名或身份证号或学号)作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型。
91.考生视频识别模型构建步骤：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息(考生的信息例如考生的姓名或身份证号或学号)作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。
92.典型特征检测步骤:获取所述考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签，若所述每一帧图像的典型特征的标签不为空(若为空，则表明所述每一帧图像不具备典型特征)，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像。将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息。若所述每一帧图像的典型特征的标签不为空，则所述每一帧图像含有一个或多个典型特征。
93.待检测帧标记步骤：获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型特征的标签。若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长。若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长。若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧。有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧。
94.待检测视频片段截取步骤：将所述考试的监控视频中标记为待检测帧且未标记为已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取。从考试的监控视频中能够抽取0个或1个或多个待检测视频片段。
95.待检测视频片段备选作弊动作确定步骤：获取每一个待检测视频片段，获取所述每一个待检测视频片段中所有帧图像的典型特征的不为空的标签中典型特征的名称，得到多个典型特征的名称，将所述多个典型特征的名称去重，得到各不相同的典型特征的名称集合，作为待检测典型特征集合。
96.确定待检测作弊动作步骤：获取待检测典型特征集合中每一典型特征的名称，根据考试作弊知识图谱中典型特征实体和作弊动作实体之间的关系，得到所述每一典型特征的名称对应的一个或多个作弊动作的名称。将根据待检测典型特征集合中所有典型特征的名称得到的所有作弊动作的名称去重，得到各不相同的作弊动作的名称集合，作为待检测作弊动作集合。
97.特定作弊动作检测步骤：将所述每一个待检测视频片段作为输入，经过待检测作弊动作集合中每一个作弊动作对应的所述每一个作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中所述每一种作弊动作的标签。将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的每
一种作弊动作的标签中考生的信息。若所述每一帧图像的典型特征的标签不为空，则所述每一帧图像含有一个或多个典型特征。将所有所述待检测视频片段中每一种作弊动作的标签作为所述考试的监控视频中每一种作弊动作的标签。
98.通过这个方案就无需对视频片段检测所有类型的作弊动作，只需要检测典型特征对应的作弊动作，从而降低了作弊动作检测的计算量。
99.监控视频标记步骤：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。
100.通过上面先检测典型特征，再在具备典型特征的那些视频段进行作弊动作的检测，就减少了很多不含有典型特征的视频段的检测，从而可以极大地提高检测的速度和效率。这种方式，对于实时视频监控同样适用，在没有典型特征出现时则无需进行作弊动作的检测，从而可以极大地节省计算成本，提高检测速度，能够达到实时检测的效果。
101.考生典型特征画像步骤：获取所述考试的监控视频中每一帧图像中典型特征的不为空的标签中的典型特征名称和考生的信息，在考试作弊知识图谱的典型特征实体和考生实体之间建立关系。
102.考生作弊动作画像步骤：获取所述考试的监控视频中待检测视频片段中每一种作弊动作不为空的标签中的作弊动作名称和考生的信息，在考试作弊知识图谱的作弊动作实体和考生实体之间建立关系。
103.作弊考生确定步骤：获取考试作弊知识图谱中每一考生，若所述每一考生与作弊动作实体在考试作弊知识图谱中存在关系连接，则所述每一考生存在作弊行为。
104.作弊预警步骤：获取考试作弊知识图谱中所述存在作弊行为的所述每一考生存在关系的考场，获取考试作弊知识图谱中所述考场存在关系的监考老师，将所述每一考生存在作弊行为的信息发送给所述监考老师。
105.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，则对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：

1.一种人工智能方法，其特征在于，所述方法包括：典型特征检测步骤:获取考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像；将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息；待检测帧标记步骤：获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长；若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长；若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧；有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧；待检测视频片段截取步骤：将所述考试的监控视频中标记为待检测帧且未标记为已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取；作弊动作检测步骤：将所述待检测视频片段作为输入，经过作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中作弊动作的标签；将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的作弊动作的标签中考生的信息；将所有所述待检测视频片段中作弊动作的标签作为所述考试的监控视频中作弊动作的标签；监控视频标记步骤：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。2.根据权利要求1所述的人工智能方法，其特征在于，所述方法还包括：视频监控步骤：获取考试的监控视频；作弊动作设置步骤：获取用户设置的作弊动作；获取作弊动作的视频步骤：获取每一种所述作弊动作的视频样本；获取作弊动作典型特征设置步骤：获取用户设置的作弊动作的典型特征；获取作弊动作的典型特征的图像步骤：获取每一种所述典型特征的图像样本。3.根据权利要求1所述的人工智能方法，其特征在于，所述方法还包括：建立考试作弊知识图谱步骤：建立多个作弊动作实体、多个典型特征实体、多个考生实体、多个考场实体、多个监考老师实体；考试作弊知识图谱关系定义步骤：考生实体通过具有关系指向作弊动作实体；考生实体通过具有关系指向典型特征实体；考生实体通过在关系指向考场实体；监考老师实体通过在关系指向考场实体；考试作弊知识图谱静态关系生成步骤：根据用户设置的作弊动作的典型特征，在典型特征实体和作弊动作实体之间建立关系。
4.根据权利要求1所述的人工智能方法，其特征在于，所述方法还包括：典型特征检测模型构建步骤:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到典型特征检测深度学习模型；作弊动作检测模型构建步骤:将每一种作弊动作的视频样本作为输入，将所述每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到作弊动作检测深度学习模型；考生图像识别模型构建步骤：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型；考生视频识别模型构建步骤：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。5.一种人工智能系统，其特征在于，所述系统包括：典型特征检测模块:获取所述考试的监控视频中每一帧图像，将所述每一帧图像作为输入，通过典型特征检测深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则根据所述每一帧图像的典型特征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像；将所述标记范围内的图像作为输入，通过考生识别图像深度学习模型的计算，得到的输出作为所述每一帧图像的典型特征的标签中考生的信息；待检测帧标记模块：获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型特征的标签；若所述每一帧图像的典型特征的标签不为空，则将根据所述典型特征的标签中典型特征的名称确定对应的作弊动作的预设最大时长，作为待检测预设时长；若所述典型特征的标签有多个不为空，则根据所述典型特征的多个标签中多个典型特征的名称确定对应的多个作弊动作的多个预设最大时长，取多个预设最大时长中最大的多个预设最大时长，作为待检测预设时长；若所述每一帧图像的典型特征的标签不为空，则将所述每一帧图像标记为待检测帧，将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待检测帧，将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧；有些帧会被重复地标记为待检测帧，有些帧则不会被标记为待检测帧；待检测视频片段截取模块：将所述考试的监控视频中标记为待检测帧且未标记为已抽取的连续帧抽取出来作为一个待检测视频片段，将已抽取的待检测帧标记为已抽取；作弊动作检测模块：将所述待检测视频片段作为输入，经过作弊动作检测深度学习模型计算得到的输出作为所述待检测视频片段中作弊动作的标签；将所述标记范围内的视频片段作为输入，通过考生视频识别深度学习模型的计算，得到的输出作为所述视频片段的作弊动作的标签中考生的信息；将所有所述待检测视频片段中作弊动作的标签作为所述考试的监控视频中作弊动作的标签；监控视频标记模块：将所述带有每一种作弊动作的标签的所述待检测视频片段替换所述考试的监控视频中对应的所述待检测视频片段，得到标记了作弊动作后的监控视频。6.根据权利要求5所述的人工智能系统，其特征在于，所述系统还包括：
视频监控模块：获取考试的监控视频；作弊动作设置模块：获取用户设置的作弊动作；获取作弊动作的视频模块：获取每一种所述作弊动作的视频样本；获取作弊动作典型特征设置模块：获取用户设置的作弊动作的典型特征；获取作弊动作的典型特征的图像模块：获取每一种所述典型特征的图像样本。7.根据权利要求5所述的人工智能系统，其特征在于，所述系统还包括：建立考试作弊知识图谱模块：建立多个作弊动作实体、多个典型特征实体、多个考生实体、多个考场实体、多个监考老师实体；考试作弊知识图谱关系定义模块：考生实体通过具有关系指向作弊动作实体；考生实体通过具有关系指向典型特征实体；考生实体通过在关系指向考场实体；监考老师实体通过在关系指向考场实体；考试作弊知识图谱静态关系生成模块：根据用户设置的作弊动作的典型特征，在典型特征实体和作弊动作实体之间建立关系。8.根据权利要求5所述的人工智能系统，其特征在于，所述系统还包括：典型特征检测模型构建模块:将每一种典型特征的图像样本作为输入，将所述每一种典型特征的标签作为预期输出，对深度学习模型进行训练和测试，得到典型特征检测深度学习模型；作弊动作检测模型构建模块:将每一种作弊动作的视频样本作为输入，将所述每一种作弊动作的标签作为预期输出，对深度学习模型进行训练和测试，得到作弊动作检测深度学习模型；考生图像识别模型构建模块：获取每一考生的照片，将所述每一考生的照片作为输入，将所述考生的信息作为预期输出，对人脸图像识别深度学习模型进行迁移学习，得到考生图像识别深度学习模型；考生视频识别模型构建模块：获取每一考生的视频，将所述每一考生的视频作为输入，将所述考生的信息作为预期输出，对人脸视频识别深度学习模型进行迁移学习，得到考生视频识别深度学习模型。9.一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能机器人程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任意一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。

技术总结

基于人工智能的自动监考方法和机器人，包括：典型特征检测步骤；待检测帧标记步骤；待检测视频片段截取步骤；作弊动作检测步骤；监控视频标记步骤。上述方法、系统和机器人，通过先检测典型特征，再在具备典型特征的那些视频段进行作弊动作的检测，就减少了很多不含有典型特征的视频段的检测，从而可以极大地提高检测的速度和效率。这种方式，对于实时视频监控同样适用，在没有典型特征出现时则无需进行作弊动作的检测，从而可以极大地节省计算成本，提高检测速度，能够达到实时检测的效果。能够达到实时检测的效果。能够达到实时检测的效果。