1.本发明涉及图像处理技术领域,更具体地,涉及一种多场景定点抓拍方法、多场景定点抓拍系统、计算机可读存储介质及电子设备。
背景技术:
2.日常巡检任务由于不同场景的需要,具有不同的工作方式,通常分为人工巡检和机器人协同巡检。其中,人工巡检是指人工携带拍摄设备对
目标物进行拍摄查看并手动统计数据;机器人协同巡检是机器人根据定位到抓拍点调用云台预置位进行固定点位抓拍获取数据,采用辅助定位技术对各场景目标物设备进行张贴标注,机器人到点根据定位设备将云台直接瞄准相关位置进行抓拍获取数据,其采用单个设备单个摄像头方案,单个摄像头对应单个设备多个点位,定时定点抓拍获取数据。
3.目前,在各类场景巡检系统中机器人大多是采用可见光摄像头加上红外热成像摄像头组合而成,在进行设备巡检时需要使用可见光摄像头进行设备抓拍,获得抓拍图像后进行判断设备相关状况,包括但不限于设备读数、设备污垢或者设备损坏等,所以对于抓拍的图像质量要求较高。
4.但是由于巡检效率、搭载相机的云台机械机构和环境因素等问题,在进行设备巡检时获取相关数据会有很多问题,主要原因有以下几个:
5.(1)人工巡检在极端环境下作业严峻,设备众多,排查、统计困难;
6.(2)一些大型的超高压变电站或者机房等场所涉及到设备抓拍点位超过五千个,固定点位抓拍时间不能过长,如果采用边运动边抓拍图像会导致获取的图像模糊不清或者有拖影,而停留时间过长会严重影响效率;
7.(3)在机器人到达抓拍点位时,调用云台将可见光摄像头对准设备进行抓拍,因为机器人到点精度以及云台转动的间隙导致抓拍设备会丢失原有设定目标,获取到的
图片数据无法进一步判断;
8.(4)采用定位设备对点进行抓拍,可见光摄像头在进行转动的时候每帧成像差异大会导致聚焦问题,所呈现出来的画面是模糊不清的,这种情况下的抓拍图片上传也会模糊不清;
9.(5)场景大,设备多的场景,如果采用单个设备单个摄像头方案,需要高清摄像头数量多、成本大,安装联网工作量大,同时,多摄像头故障率较高,安装需要架高设备,维修、清灰作业安全距离不够,存在安全隐患,停电维护困难。
技术实现要素:
10.本发明的一个目的是提供一种多场景定点抓拍方法、系统、存储介质及电子设备的新技术方案,至少能够解决现有技术中不同场景下图片抓拍效率低,图片模糊,存在安全隐患等问题。
11.本发明的第一方面,提供了一种多场景定点抓拍方法,包括以下步骤:
12.s1、获取目标地图,并对
所述目标地图的
物体进行数据采集,生成模板图片;
13.s2、驱动机器人进入所述目标地图,并运动至目标点位,拍取所述目标点位的图片,得到拍摄图片;
14.s3、将所述拍摄图片与所述模板图片进行比对,以判断所述机器人所处的时间段为夜晚或者白天,并在判断所述机器人所处的时间段为白天时,执行步骤s4,在判断所述机器人所处的时间段为夜晚时,修改所述模板图片为夜间图片模式后执行所述步骤s4;
15.s4、将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体;
16.s5、在所述拍摄图片中寻到所述目标物体后,对所述目标物体进行定位居中,并放大所述目标物体;
17.s6、对所述拍摄图片中的所述目标物体进行清晰度评价,在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。
18.根据本发明实施例的多场景定点抓拍方法,通过预先拍摄模板图片,然后控制巡检机器人进行定点拍摄获得拍摄图片,结合环境自识别判断机器人所处的时间段,将拍摄图片与模板图片进行匹配,并在到目标物体后进行定位居中和放大,最终经过图片清晰度判断,在满足清晰度要求后上传拍摄图片,可以快速、完整、清晰的拍摄目标物体的照片,该方法无需更改传统硬件设备、无需针对整个场景的设备各个安装摄像头、无需张贴相关云台辅助定位设备,大大减少了硬件成本成本以及人工成本和人工工作量。
19.根据本发明的一个实施例,在步骤s1中,驱动机器人到所述目标地图进行点位录制,并在每个点位进行一个或多个物体的图像采集,使所述物体在画面中清晰成像并居中,保存所述点位,生成所述图片模版。
20.根据本发明的一个实施例,步骤s2包括:
21.s21、驱动所述机器人进入所述目标地图;
22.s22、判断所述机器人是否运动至所述目标点位,若判断所述机器人未到达所述目标点位,继续驱动所述机器人,若判断所述机器人到达所述目标点位,则执行步骤s23;
23.s23、调节所述机器人的相机,对所述相机进行梯度缩放,使所述目标物体完全成像在画面上,得到所述拍摄图片。
24.根据本发明的一个实施例,在步骤s3中,判断所述机器人所处的时间段为夜晚或者白天的方法包括:
25.判断所述拍摄图片的黑白像素数量是否超过设定阈值的50%,若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量大于所述设定阈值的50%,则判断所述机器人所处的时间段为夜晚;
26.若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量为所述设定阈值的20%-50%,则结合所述机器人的网络时间确定所述机器人所处的时间段;
27.若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量低于所述设定阈值的20%,或所述拍摄图片的黑白像素数量低于所述设定阈值,则判断所述机器人所处的时间段为白天。
28.根据本发明的一个实施例,步骤s4包括:
29.s41、调节所述图片模版的缩放比例,以使所述模板图片与所述拍摄图片的缩放比
例相匹配;
30.s42、将所述拍摄图片与所述模板图片进行匹配,得出最匹配的中心点;
31.s43、根据所述中心点寻所述拍摄图片中的所述目标物体。
32.根据本发明的一个实施例,步骤s5包括:
33.s51、在所述拍摄图片中寻到所述目标物体后,返回所述目标物体的中心点;
34.s52、获得所述中心点之后,根据所述机器人的相机的焦距、物理变倍值和靶面尺寸计算所述机器人的云台需要转动的角度值;
35.s53、所述云台根据所述角度值调整所述目标物体,使所述目标物体在画面中定位居中,并放大所述目标物体。
36.根据本发明的一个实施例,在步骤s6中,根据清晰度评价算法判断所述目标物体的清晰度是否满足清晰度要求,若所述目标物体的清晰度未满足所述清晰度要求,则继续执行步骤s5,直至所述目标物体的清晰度满足所述清晰度要求。
37.本发明的第二方面,提供一种多场景定点抓拍系统,包括:运动模块,所述运动模块在目标地图中可活动;拍照模块,所述拍照模块用于对所述目标地图中的目标点位进行拍照以获得模板图片和拍摄图片;环境自识别模块,所述环境自识别模块通过比对所述拍摄图片与所述模板图片以判断所述拍照模块所处的时间段为夜晚或者白天;图片匹配模块,所述图片匹配模块将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体;定位模块,所述定位模块对所述拍摄图片中的所述目标物体进行定位居中,并放大所述目标物体;清晰度评价模块,所述清晰度评价模块对所述拍摄图片中的所述目标物体进行清晰度评价,并在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。
38.本发明的第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,使得所述处理器执行上述实施例的多场景定点抓拍方法。
39.本发明的第四方面,提供一种电子设备,包括:处理器和存储器,在所述存储器中存储有计算机程序指令,其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行上述实施例的多场景定点抓拍方法。
40.通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
41.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
42.图1是根据本发明实施例的多场景定点抓拍方法中定点录制的流程框图;
43.图2是根据本发明实施例的多场景定点抓拍方法的整体流程图;
44.图3是根据本发明一个实施例的多场景定点抓拍方法中定点录制得到的模板图片;
45.图4是根据本发明一个实施例的多场景定点抓拍方法中到点抓拍的拍摄图片;
46.图5是根据本发明另一个实施例的多场景定点抓拍方法中到点抓拍的拍摄图片;
47.图6是根据本发明另一个实施例的多场景定点抓拍方法中经过梯度缩放后获取目
标物体中心得到的图片;
48.图7是根据本发明另一个实施例的多场景定点抓拍方法中将目标物体拉回图片中心得到的图片;
49.图8是根据本发明再一个实施例的多场景定点抓拍方法中到点抓拍的清晰度不满足设定要求的图片;
50.图9是根据本发明再一个实施例的多场景定点抓拍方法中到点抓拍的清晰度满足设定要求的图片;
51.图10是根据本发明实施例的电子设备的工作原理图。
52.附图标记:
53.处理器201;
54.存储器202;操作系统2021;应用程序2022;
55.网络接口203;
56.输入设备204;
57.硬盘205;
58.显示设备206。
具体实施方式
59.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
60.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
61.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
62.在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
63.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
64.本发明的说明书和权利要求书中,若涉及到术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
65.在本发明的描述中,需要理解的是,若涉及到术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
66.在本发明的描述中,需要说明的是,除非另有明确的规定和限定,涉及到的术语“安装”、“相连”、“连接”,应做广义理解。例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
67.下面结合附图具体描述根据本发明实施例的多场景定点抓拍方法。
68.根据本发明实施例的多场景定点抓拍方法包括以下步骤:
69.s1、获取目标地图,并对所述目标地图的物体进行数据采集,生成模板图片。
70.s2、驱动机器人进入所述目标地图,并运动至目标点位,拍取所述目标点位的图片,得到拍摄图片。
71.s3、将所述拍摄图片与所述模板图片进行比对,以判断所述机器人所处的时间段为夜晚或者白天,并在判断所述机器人所处的时间段为白天时,执行步骤s4,在判断所述机器人所处的时间段为夜晚时,修改所述模板图片为夜间图片模式后执行所述步骤s4。
72.s4、将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体。
73.s5、在所述拍摄图片中寻到所述目标物体后,对所述目标物体进行定位居中,并放大所述目标物体。
74.s6、对所述拍摄图片中的所述目标物体进行清晰度评价,在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。
75.换句话说,根据本发明实施例的多场景定点抓拍方法是结合巡检机器人针对抓拍所进行的相关优化,主要是用于一种携带了可控制云台并载有可见光摄像机的机器人,使用定点抓拍方法,多个点位联合成路线进行日常巡检抓拍。其中需要说明的是,云台就是两个交流电机或直流电机组成的安装平台,可以水平和垂直的运动。
76.由此,根据本发明实施例的多场景定点抓拍方法,通过预先拍摄模板图片,然后控制巡检机器人进行定点拍摄获得拍摄图片,结合环境自识别判断机器人所处的时间段,将拍摄图片与模板图片进行匹配,并在到目标物体后进行定位居中和放大,最终经过图片清晰度判断,在满足清晰度要求后上传拍摄图片,可以快速、完整、清晰的拍摄目标物体的照片,该方法无需更改传统硬件设备、无需针对整个场景的设备各个安装摄像头、无需张贴相关云台辅助定位设备,大大减少了硬件成本成本以及人工成本和人工工作量。
77.根据本发明的一个实施例,在步骤s1中,驱动机器人到所述目标地图进行点位录制,并在每个点位进行一个或多个物体的图像采集,使所述物体在画面中清晰成像并居中,保存所述点位,生成所述图片模版。
78.具体地,如图1所示,根据本发明实施例的多场景定点抓拍方法在使用时,首先定点录制巡检点位,驱动机器人到需要巡检的目标地图,进行点位录制,每个点位进行一个或多个目标物体调用云台进行采集,使目标物在画面中成像清晰并居中,然后在此基础上录制云台预置位预置位、保存点位、生成点位模板图片。
79.在对目标地图完成定点录制巡检点位之后,便可控制机器人到点巡检抓拍。其中,在本发明的一些具体实施方式中,如图2所示,步骤s2包括:
80.s21、驱动所述机器人进入所述目标地图;
81.s22、判断所述机器人是否运动至所述目标点位,若判断所述机器人未到达所述目
标点位,继续驱动所述机器人,若判断所述机器人到达所述目标点位,则执行步骤s23;
82.s23、调节所述机器人的相机,对所述相机进行梯度缩放,使所述目标物体完全成像在画面上,得到所述拍摄图片。
83.换句话说,在控制机器人到点巡检抓拍时,首先驱动机器人活动至目标地图,并使其活动至目标点位,然后调用云台预置位,控制机器人的驱动模块停止运动,并发送判断信号到算法模块,对当前相机进行梯度缩放,使目标物变的小一点,从而可以完整的成像在画面上,由相机抓拍一张图片,得到拍摄图片。
84.在抓拍图片之后,便可对机器人所处环境进行自识别。根据本发明的一个实施例,在步骤s3中,判断所述机器人所处的时间段为夜晚或者白天的方法包括:
85.判断所述拍摄图片的黑白像素数量是否超过设定阈值的50%,若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量大于所述设定阈值的50%,则判断所述机器人所处的时间段为夜晚;
86.若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量为所述设定阈值的20%-50%,则结合所述机器人的网络时间确定所述机器人所处的时间段;
87.若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量低于所述设定阈值的20%,或所述拍摄图片的黑白像素数量低于所述设定阈值,则判断所述机器人所处的时间段为白天。
88.因为摄像机在白天跟夜晚的成像差距较大,白天生成的预置位模板图片为彩的,而夜晚是黑白的,所以采用了图片像素判断以及结合实际时间进行双重判定当前抓拍环境,如果判断当前图片的黑白像素数量大大超过设置的阈值,则判断机器人所处的时间段为夜晚,如果只是多于阈值的20%,则通过机器人当前的时间进一步判断当前机器人所处的时间段是夜晚还是白天,如果判断当前图片的黑白像素数量较小,则判断当前机器人所处的时间段是白天。
89.在对机器人所处的环境进行自识别之后,则可以将拍摄的图片与模板图片进行匹配。
90.在本发明的一些具体实施方式中,步骤s4包括:
91.s41、调节所述图片模版的缩放比例,以使所述模板图片与所述拍摄图片的缩放比例相匹配;
92.s42、将所述拍摄图片与所述模板图片进行匹配,得出最匹配的中心点;
93.s43、根据所述中心点寻所述拍摄图片中的所述目标物体。
94.也就是说,机器人到目标点巡检时会使用到两张图片,一张是最初录制巡检点生成预置位的时候自动生成的模板图片,该图片为目标点正中的标准图,而第二张则是每次巡检到点时抓拍到的梯度缩放的图片,目标物成像比较小。使用标准图与抓拍图进行匹配,寻图中的目标物,并返回目标物的整体中心,即模板图片匹配就是在一幅图像中寻与另一幅模板图像最匹配(相似)部分。
95.具体地,以下图3和图4为例描述通过算法最终识别判定所需要的图片,其中,图3为录制巡检点生成预置位时生成的模板图片,图4为每次到点抓拍根据梯度缩放得到的拍摄图片,图4中所示出的中间黑框为图3中所示的模板图片根据当前缩放倍率跟模板倍率的百分比进行缩放的图片,缩放后的模板图用在图4进行匹配,得出最匹配的中心点。
96.根据本发明的一些实施例,步骤s5包括:
97.s51、在所述拍摄图片中寻到所述目标物体后,返回所述目标物体的中心点;
98.s52、获得所述中心点之后,根据所述机器人的相机的焦距、物理变倍值和靶面尺寸计算所述机器人的云台需要转动的角度值;
99.s53、所述云台根据所述角度值调整所述目标物体,使所述目标物体在画面中定位居中,并放大所述目标物体。
100.换句话说,拍摄图片与模板图片匹配成功后会返回一个目标物的中心点,如图4上的黑框内的点,获得中心点位之后根据相机的焦距、物理变倍值和靶面宽求出需要云台转动的角度值,最后将角度值进行设置返回云台,将目标物体居中放大。角度值的计算公式如下:
101.水平方向角度值=2
×
tan(靶面尺寸
÷
(2.0
×
相机焦距值))
×
(180
÷
π)
÷
画面像素宽
×
当前云台的水平角度值。
102.垂直方向角度值=2
×
tan(靶面尺寸
÷
(2.0
×
相机焦距值))
×
(180
÷
π)
×9÷
16
÷
画面像素高
×
当前云台的垂直角度值。
103.其中,公式中参数代表的含义或取值如下:
104.tan:正切值;
105.π取值3.1415926;
106.像元:影像单元;
107.靶面尺寸:像元尺寸*相机分辨率;
108.相机焦距值:物理变倍值*相机实际焦距。
109.根据求出的水平方向角度值以及垂直方向角度值与云台的当前位置进行加减操作,最后将云台位置纠正。
110.以图5至图7所示的附图为例,其中,图5所示的为机器人到点抓拍的拍摄图片,图片中目标物体存在偏差;图6为对机器人的相机进行梯度缩放抓拍图,可以获取到目标物体中心;图7为根据中心点设置云台角度值将目标物体拉回拍摄图片的中心。
111.由于相机有时抓拍的图片会很模糊,不利于后台进行下一步处理,导致获取数据失败。基于此,在本发明的一些具体实施方式中,在步骤s6中,根据清晰度评价算法判断所述目标物体的清晰度是否满足清晰度要求,若所述目标物体的清晰度未满足所述清晰度要求,则继续执行步骤s5,直至所述目标物体的清晰度满足所述清晰度要求。
112.具体地,在将抓拍图片上送后台之前对其进行模糊判定,根据图片清晰度评价算法判定当前图片是否模糊,如果图片模糊则进行等待,期间持续进行判定,清晰后再将图片上传。图片清晰度评价算法的相关逻辑可以是采用整图进行灰度化,并对相应的图片进行像素点遍历,得到相关灰度值的数量,最后求出百分比,设置一定的阈值判断该图片是否清晰。
113.如图8和图9所示,其中,图8所示的为相机所拍摄到的模糊图片,该图片中目标物体的清晰度未满足清晰度要求,因此需要继续对云台进行调整拍照;图9为经过清晰度评价之后满足清晰度要求的清晰图片。
114.总而言之,根据本发明实施例的多场景定点抓拍方法,使用软件层面的一系列算法逻辑修正预置位抓拍图片造成的目标丢失,目标模糊以及目标残缺问题。本发明结合多
项技术,例如环境自识别、图片模板匹配、目标定位居中、图片清晰度评价等方法使算法逻辑功能性更好、算法鲁棒性更高。
115.另外,本发明通过软件层面去解决当前机器人因定位精度差以及云台设备转动间隙导致的一系列抓拍问题(目标丢失,目标模糊以及目标残缺问题),相对于人工的巡检方式更方便快捷,数据实时记录并呈现,而对于传统的机器人巡检抓拍,本发明多了算法的加持,使数据更加准确,并且鲁棒性更好,获得数据更具有代表性。并且该方法无需更改传统硬件设备、无需针对整个场景的设备各个安装摄像头、无需张贴相关云台辅助定位设备,大大减少了硬件成本成本以及人工成本和人工工作量。
116.根据本发明实施例的多场景定点抓拍系统,包括:运动模块、拍照模块、环境自识别模块、图片匹配模块、定位模块和清晰度评价模块。
117.具体而言,所述运动模块在目标地图中可活动,所述拍照模块用于对所述目标地图中的目标点位进行拍照以获得模板图片和拍摄图片,所述环境自识别模块通过比对所述拍摄图片与所述模板图片以判断所述拍照模块所处的时间段为夜晚或者白天,所述图片匹配模块将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体,所述定位模块对所述拍摄图片中的所述目标物体进行定位居中,并放大所述目标物体,所述清晰度评价模块对所述拍摄图片中的所述目标物体进行清晰度评价,并在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。
118.换句话说,根据本发明实施例的多场景定点抓拍方法可以结合并采用以下技术方案实现相关功能:
119.(1)机器人运动控制模块,包含但不限于机器人设备控制、电池控制以及整机驱动控制。
120.(2)机器人3d导航自动匹配地图信息巡检到点的导航模块,根据事先保存的整个场景地图,对设备预先设置巡检点位再自动到点。
121.(3)云台预置位功能模块,结合机器人的巡检点,到点后设置云台方向直接获取设备相关点位图像数据。
122.(4)高质量图片获取模块,高清相机控制协议,云台到位后执行拍照操作。
123.由此,根据本发明实施例的多场景定点抓拍系统,由上述功能为基础,包括抓拍图片、环境自识别、图片模板匹配、目标定位居中、图片清晰度评价,在满足清晰度要求后上传拍摄图片,可以快速、完整、清晰的拍摄目标物体的照片,该方法无需更改传统硬件设备、无需针对整个场景的设备各个安装摄像头、无需张贴相关云台辅助定位设备,大大减少了硬件成本成本以及人工成本和人工工作量。
124.根据本发明的第三方面,还提供一种电子设备,包括:处理器201和存储器202,在存储器202中存储有计算机程序指令,其中,在计算机程序指令被处理器201运行时,使得处理器201执行上述实施例中的多场景定点抓拍方法。
125.进一步地,如图10所示,电子设备还包括网络接口203、输入设备204、硬盘205、和显示设备206。
126.上述各个接口和设备之间可以通过总线架构互连。总线架构可以包括任意数量的互联的总线和桥。具体由处理器201代表的一个或者多个中央处理器201(cpu),以及由存储器202代表的一个或者多个存储器202的各种电路连接在一起。总线架构还可以将诸如外围
设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解,总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外,还包括电源总线、控制总线和状态信号总线,这些都是本领域所公知的,因此本文不再对其进行详细描述。
127.网络接口203,可以连接至网络(如因特网、局域网等),从网络中获取相关数据,并可以保存在硬盘205中。
128.输入设备204,可以接收操作人员输入的各种指令,并发送给处理器201以供执行。输入设备204可以包括键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
129.显示设备206,可以将处理器201执行指令获得的结果进行显示。
130.存储器202,用于存储操作系统2021运行所必须的程序和数据,以及处理器201计算过程中的中间结果等数据。
131.可以理解,本发明实施例中的存储器202可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram),其用作外部高速缓存。本文描述的装置和方法的存储器202旨在包括但不限于这些和任意其它适合类型的存储器202。
132.在一些实施方式中,存储器202存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统2021和应用程序2022。
133.其中,操作系统2021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序2022,包含各种应用程序2022,例如浏览器(browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序2022中。
134.上述处理器201,当调用并执行存储器202中所存储的应用程序2022和数据,具体的,可以是应用程序2022中存储的程序或指令时,执行根据上述实施例的多场景定点抓拍方法的步骤。
135.本发明上述实施例揭示的方法可以应用于处理器201中,或者由处理器201实现。处理器201可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器201也可以是任何常规的处理器201等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器202,处理器201读取存储器202中的信息,结合其硬件完成上述方法的步骤。
136.可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列
(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术功能的其它电子单元或其组合中。
137.对于软件实现,可通过执行本文功能的模块(例如过程、函数等)来实现本文的技术。软件代码可存储在存储器202中并通过处理器201执行。存储器202可以在处理器201中或在处理器201外部实现。
138.具体地,处理器201还用于读取计算机程序,执行如下步骤:对桩充电方法预测并输出用户提问的问题答案。
139.本发明第四方面实施例,还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器201运行时,使得处理器201执行上述实施例的多场景定点抓拍方法的步骤。
140.在本技术所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
141.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
142.上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例收发方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
143.虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。
技术特征:
1.一种多场景定点抓拍方法,其特征在于,包括以下步骤:s1、获取目标地图,并对所述目标地图的物体进行数据采集,生成模板图片;s2、驱动机器人进入所述目标地图,并运动至目标点位,拍取所述目标点位的图片,得到拍摄图片;s3、将所述拍摄图片与所述模板图片进行比对,以判断所述机器人所处的时间段为夜晚或者白天,并在判断所述机器人所处的时间段为白天时,执行步骤s4,在判断所述机器人所处的时间段为夜晚时,修改所述模板图片为夜间图片模式后执行所述步骤s4;s4、将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体;s5、在所述拍摄图片中寻到所述目标物体后,对所述目标物体进行定位居中,并放大所述目标物体;s6、对所述拍摄图片中的所述目标物体进行清晰度评价,在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。2.根据权利要求1所述的方法,其特征在于,在步骤s1中,驱动机器人到所述目标地图进行点位录制,并在每个点位进行一个或多个物体的图像采集,使所述物体在画面中清晰成像并居中,保存所述点位,生成所述图片模版。3.根据权利要求1所述的方法,其特征在于,步骤s2包括:s21、驱动所述机器人进入所述目标地图;s22、判断所述机器人是否运动至所述目标点位,若判断所述机器人未到达所述目标点位,继续驱动所述机器人,若判断所述机器人到达所述目标点位,则执行步骤s23;s23、调节所述机器人的相机,对所述相机进行梯度缩放,使所述目标物体完全成像在画面上,得到所述拍摄图片。4.根据权利要求1所述的方法,其特征在于,在步骤s3中,判断所述机器人所处的时间段为夜晚或者白天的方法包括:判断所述拍摄图片的黑白像素数量是否超过设定阈值的50%,若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量大于所述设定阈值的50%,则判断所述机器人所处的时间段为夜晚;若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量为所述设定阈值的20%-50%,则结合所述机器人的网络时间确定所述机器人所处的时间段;若所述拍摄图片的黑白像素数量超过所述设定阈值,且超过量低于所述设定阈值的20%,或所述拍摄图片的黑白像素数量低于所述设定阈值,则判断所述机器人所处的时间段为白天。5.根据权利要求1所述的方法,其特征在于,步骤s4包括:s41、调节所述图片模版的缩放比例,以使所述模板图片与所述拍摄图片的缩放比例相匹配;s42、将所述拍摄图片与所述模板图片进行匹配,得出最匹配的中心点;s43、根据所述中心点寻所述拍摄图片中的所述目标物体。6.根据权利要求1所述的方法,其特征在于,步骤s5包括:s51、在所述拍摄图片中寻到所述目标物体后,返回所述目标物体的中心点;s52、获得所述中心点之后,根据所述机器人的相机的焦距、物理变倍值和靶面尺寸计
算所述机器人的云台需要转动的角度值;s53、所述云台根据所述角度值调整所述目标物体,使所述目标物体在画面中定位居中,并放大所述目标物体。7.根据权利要求1所述的方法,其特征在于,在步骤s6中,根据清晰度评价算法判断所述目标物体的清晰度是否满足清晰度要求,若所述目标物体的清晰度未满足所述清晰度要求,则继续执行步骤s5,直至所述目标物体的清晰度满足所述清晰度要求。8.一种多场景定点抓拍系统,其特征在于,包括:运动模块,所述运动模块在目标地图中可活动;拍照模块,所述拍照模块用于对所述目标地图中的目标点位进行拍照以获得模板图片和拍摄图片;环境自识别模块,所述环境自识别模块通过比对所述拍摄图片与所述模板图片以判断所述拍照模块所处的时间段为夜晚或者白天;图片匹配模块,所述图片匹配模块将所述拍摄图片与所述模板图片进行匹配,以寻所述拍摄图片中的目标物体;定位模块,所述定位模块对所述拍摄图片中的所述目标物体进行定位居中,并放大所述目标物体;清晰度评价模块,所述清晰度评价模块对所述拍摄图片中的所述目标物体进行清晰度评价,并在所述目标物体满足清晰度要求的情况下,上传所述拍摄图片。9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,使得所述处理器执行权利要求1-7中任一项的多场景定点抓拍方法。10.一种电子设备,其特征在于,包括:处理器和存储器,在所述存储器中存储有计算机程序指令,其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行权利要求1-7中任一项的多场景定点抓拍方法。
技术总结
本发明公开了一种多场景定点抓拍方法、系统、存储介质及电子设备,多场景定点抓拍方法,包括以下步骤:S1、获取目标地图,并对目标地图的物体进行数据采集,生成模板图片;S2、驱动机器人进入目标地图,并运动至目标点位,拍取目标点位的图片,得到拍摄图片;S3、将拍摄图片与模板图片进行比对,以判断机器人所处的时间段为夜晚或者白天;S4、将拍摄图片与模板图片进行匹配,以寻拍摄图片中的目标物体;S5、在拍摄图片中寻到目标物体后,对目标物体进行定位居中,并放大目标物体;S6、对拍摄图片中的目标物体进行清晰度评价,在目标物体满足清晰度要求的情况下,上传拍摄图片。上传拍摄图片。上传拍摄图片。
技术研发人员:
陈旋凯 柏林 刘彪 舒海燕 沈创芸 祝涛剑 王恒华 方映峰
受保护的技术使用者:
广州高新兴机器人有限公司
技术研发日:
2022.11.23
技术公布日:
2023/3/16