移动操作机器人视觉伺服控制方法与流程

阅读：评论：0

1.本技术涉及机器人的技术领域，具体涉及一种移动操作机器人视觉伺服控制方法。

背景技术：

2.当下轮式移动操作机器人广泛应用于智能制造领域，用于执行物料搬运、拣选、工件装配等操作作业，随着应用场合和作业类型的不同，对移动操作机器人的应用要求越来越高，要求末端执行具有更高的作业精度、更高的稳定性等。
3.现有技术中，移动机器人通常配置有激光雷达，用以定位导航；同时还在机器人末端腕部安装视觉传感器，用于末端执行操作时对操作对象进行感知。
4.但轮式移动操作机器人在执行操作作业过程中，受到机器人本体运动特性、性能以及周围环境的影响，机器人末端操作时的准确性以及定位精度均会受到一定的制约和影响。
5.因此，需要一种新的移动操作机器人视觉伺服控制方法，能够提高机械臂末端操作的准确性以及定位精度。

技术实现要素：

6.有鉴于此，本说明书实施例提供一种移动操作机器人视觉伺服控制方法，能够提高操作准确性以及定位精度。
7.本说明书实施例提供以下技术方案：
8.本说明书实施例提供一种移动操作机器人视觉伺服控制方法，步骤如下，
9.s1，判断操作对象所在平台是否进入预设定范围，预设定范围以机器人为参照并根据机械臂的活动范围和机器人的本体尺寸设定；
10.s2，当操作对象所在平台未进入预设定范围时，采用测距传感器引导机器人移动，当操作对象所在平台进入预设定范围时，切换至视觉传感器引导机器人移动。
11.优选的，步骤s2，包括，
12.当操作对象所在平台未进入预设定范围时：
13.s21，通过测距传感器测算机器人和操作对象所在平台之间的距离值，并输出距离值；
14.s22，根据距离值，引导机器人移动；
15.当操作对象所在平台进入预设定范围时：
16.s23，通过视觉传感器收集图形信息，并输出图形信息；
17.s24，根据图形信息，引导机器人移动并控制机械臂执行末端操作。
18.优选的，步骤s24，包括，
19.当操作对象所在平台进入预设定范围，且机器人和操作对象之间的距离大于等于预设定距离时，采用基于位置的视觉伺服控制，步骤如下：
20.s241，根据图形信息，提取出图形深度信息；
21.s242，根据图形深度信息，引导机器人移动并调整机器人的方向，使机器人靠近操作对象；
22.当操作对象所在平台进入预设定范围，且机器人和操作对象之间的距离小于预设定距离时，采用基于图形的视觉伺服控制，步骤如下：
23.s243，根据图形信息，提取出图形平面特征信息；
24.s244，根据图形平面特征信息，控制机械臂执行末端操作。
25.优选的，基于位置的视觉伺服控制和基于图形的视觉伺服控制之间采用滞环控制的方式进行切换。
26.优选的，步骤s242，包括，
27.根据图形深度信息，得到深度信息反馈值；
28.将图形深度反馈值与基于位置的视觉伺服控制设定值比较，得到基于位置的误差；
29.根据基于位置的误差，得到视觉伺服控制器的输出控制值；
30.根据视觉伺服控制器的输出控制值，引导机器人移动并调整机器人的方向，使机器人靠近操作对象。
31.优选的，步骤s244，包括，
32.根据图形平面特征信息，得到平面特征反馈值；
33.将平面特征反馈值与基于图形的视觉伺服控制设定值比较，得到基于图形的误差；
34.根据基于图形的误差，得到视觉伺服控制器的输出控制值；
35.根据视觉伺服控制器的输出控制值，控制机械臂执行末端操作。
36.优选的，步骤s242，还包括，
37.根据安装在机器人驱动轮上的编码器，得到机器人驱动轮的电机转角；
38.根据电机转角，得到机器人的位移值；
39.根据机器人的位移值和视觉伺服控制器的输出控制值，得到反馈补偿值；
40.将反馈补偿值反馈至机器人控制系统。
41.优选的，步骤s244，还包括，
42.根据图形平面特征信息，得到图形深度信息值；
43.根据图形深度信息值和视觉伺服控制器的输出控制值，得到反馈补偿值；
44.将反馈补偿值反馈至机械臂控制系统。
45.与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
46.1、操作对象所在平台未进入预设定范围时，采用测距传感器引导机器人移动，由于不涉及机械臂等需要精确操作的部位，因此只需要控制机器人的移动以及机器人的方向即可，不需要视觉传感器算法介入，进而控制方法简单；
47.2、操作对象所在平台进入预设定范围时，代表机器人和操作对象的距离较近，操作对象不易从视觉传感器的视线范围中脱离，因此无需设置将操作对象保持在视觉传感器视线之内的算法，进一步简化了控制算法，降低控制的复杂性；
48.3、由于操作对象所在平台进入预设定范围时，才切换至视觉传感器对机器人进行引导，因此避免了操作对象从视觉传感器视线范围脱离的情况，使得视觉传感器收集的关于操作对象的图形信息更加精确，进而可以根据视觉传感器提供的图形信息，提高机械臂末端操作的准确性以及定位精度。
附图说明
49.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
50.图1是本技术中的移动操作机器人视觉伺服控制方法的流程示意图；
51.图2是本技术中的机器人和操作对象的示意图；
52.图3是本技术中的机器人和操作对象的另一示意图；
53.图4是本技术中的移动操作机器人视觉伺服控制方法的具体流程示意图；
54.图5是本技术中的视觉伺服控制的流程示意图；
55.图6是本技术中的视觉伺服控制的控制框图；
56.图7是本技术中的基于位置的视觉伺服控制的流程示意图；
57.图8是本技术中的基于位置的视觉伺服控制的控制框图；
58.图9是本技术中的基于图形的视觉伺服控制中引入图形深度信息反馈的流程示意图；
59.图10是本技术中的基于图形的视觉伺服控制引入图形深度信息反馈的控制框图；
60.图11是本技术中的基于深度信息的加速度反馈的流程示意图；
61.图12是本技术中的基于深度信息的加速度反馈的控制框图；
62.附图说明：1、机器人；2、机械臂；3、测距传感器；4、视觉传感器；5、操作对象所在平台；6、操作对象。
具体实施方式
63.下面结合附图对本技术实施例进行详细描述。
64.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
65.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除
了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
66.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
67.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。
68.发明人发现，现有的轮式移动操作机器人在执行操作作业过程中，受到机器人本体运动特性、性能以及周围环境的影响，机器人末端操作时的准确性以及定位精度均会受到一定的制约和影响。
69.基于此，本说明书实施例提出了一种移动操作机器人视觉伺服控制方法：如图1所示，通过判断操作对象所在平台5是否进入预设定范围，对视觉传感器4和测距传感器3进行切换，只有在操作对象所在平台5进入预设定范围内时，才切换至视觉传感器4，对操作对象6进行图形信息的收集，进而使得操作对象6不易从视觉传感器4的视线范围内丢失，进而可降低视觉伺服控制时的算法复杂性，提高系统的实时性，进而可以保证视觉传感器4收集到的关于操作对象6的图形信息更加精确，提高机械臂2末端操作的准确性以及定位精度。
70.以下结合附图，说明本技术各实施例提供的技术方案。
71.如图1至图3所示，本说明书实施例提供一种移动操作机器人视觉伺服控制方法，步骤如下，
72.s1，判断操作对象所在平台5是否进入预设定范围，预设定范围以机器人1为参照并根据机械臂2的活动范围和机器人1的本体尺寸设定。
73.在本实施例中，预设定范围是以机器人1为中心，半径为r的圆范围，圆范围的半径r大于机械臂2的最大臂展长度和机器人1的本体尺寸之和。
74.在其它实施例中，也可以将预设定范围设置成以机器人1为起点，朝向操作对象所在平台5的直线距离。
75.s2，当操作对象所在平台5未进入预设定范围时，采用测距传感器3引导机器人1移动；当操作对象所在平台5进入预设定范围时，切换至视觉传感器4引导机器人1移动。
76.在本实施例中，测距传感器3具体为激光雷达测距传感器，通过激光雷达测距传感器测算机器人1与操作对象所在平台5之间的距离，使得机器人1能够根据激光雷达测距传感器计算得到的距离，向操作对象所在平台5移动。操作对象所在平台5是否进入预设定范围，通过比较机器人1和操作对象所在平台5之间的距离l和预设定范围的半径r确定，若机器人1和操作对象所在平台5之间的距离l大于等于预设定范围的半径r，则表示操作对象所在平台5未进入预设定范围；若机器人1和操作对象所在平台5之间的距离l小于预设定范围的半径r，则表示操作对象所在平台5进入预设定范围。
77.在其它实施例中，测距传感器3也可以为超声波测距传感器。
78.在本实施例中，视觉传感器4用于收集操作对象6的图形信息，使得机器人1能够根据图形信息，获取操作对象6的平面特征以及深度信息，并根据平面特征和深度信息，使得机器人1向操作对象所在平台5移动，并且控制机械臂2末端执行相应的操作。由于视觉传感
器4安装于机械臂2末端，因此在操作对象所在平台5进入到预设定范围时，操作对象6和视觉传感器4之间距离很近，进而可以避免操作对象6从视觉传感器4的视线范围内丢失，使得视觉传感器4收集到的关于操作对象6的图形信息更加精确，再通过更加精确的图形信息对机器人1进行引导，提高机器人1移动以及机械臂2执行末端操作时的准确性以及定位精度。
79.由于操作对象所在平台5未进入预设定范围时，采用测距传感器3引导机器人1移动，因此不涉及机械臂2等需要精确操作的部位，只需要控制机器人1的移动以及机器人1的方向即可，进而不需要设置过于复杂的控制算法，进而可以将控制算法简单化；操作对象所在平台5进入预设定范围时，代表机器人1和操作对象6的距离较近，此时操作对象6不易从视觉传感器4的视线中脱离，因此无需设置将操作对象6保持在视觉传感器4视线之内的算法，进一步简化了控制算法，降低控制的复杂性。
80.如图4所示，步骤s2，包括，
81.当操作对象所在平台5未进入预设定范围时：
82.s21，通过测距传感器3测算机器人1和操作对象所在平台5之间的距离值，并输出距离值。
83.s22，根据距离值，引导机器人1移动。
84.当操作对象所在平台5进入预设定范围时：
85.s23，通过视觉传感器4收集图形信息，并输出图形信息。
86.s24，根据图形信息，引导机器人1移动并控制机械臂2执行末端操作。
87.如图5所示，步骤s24，包括，
88.当操作对象所在平台5进入预设定范围，且机器人1和操作对象6之间的距离大于等于预设定距离时，采用基于位置的视觉伺服控制，步骤如下：
89.s241，根据图形信息，提取出图形深度信息。
90.s242，根据图形深度信息，引导机器人1移动并调整机器人1的方向，使机器人1靠近操作对象6。
91.在本实施例中，预设定距离是以机器人1朝向操作对象6的一端为起点，长度为l0的距离，预设定距离的长度小于预设定范围的半径。
92.在其它实施例中，预设定距离也可以是以操作对象6朝向机器人1的一端为起点，长度为l0的距离。
93.当操作对象所在平台5进入预设定范围，且机器人1和操作对象6之间的距离小于预设定距离时，采用基于图形的视觉伺服控制，步骤如下：
94.s243，根据图形信息，提取出图形平面特征信息。
95.s244，根据图形平面特征信息，控制机械臂2执行末端操作。
96.如图6所示，基于图形的视觉伺服控制和基于位置的视觉伺服控制之间采用滞环控制的方式进行切换，滞环宽度为δl0。当机器人1和操作对象6之间的距离l小于预设定距离l0时，原本基于位置的视觉伺服控制切换成基于图形的视觉伺服控制，此过程中，机器人1可能会因自身滑动或者自身位置的调节，导致机器人1和操作对象6之间的距离又重新大于或等于预设定距离l0，如果不采用滞环控制，会导致基于位置的视觉伺服控制和基于图形的视觉伺服控制之间出现反复切换。因此，在本实施例中，采用滞环控制，机器人1从基于位置的视觉伺服控制切换至基于图形的视觉伺服控制后，只要机器人1和操作对象6之间的
距离在l0±
δl0之间波动，就不会出现反复切换的情况。
97.如图6所示，步骤s242，包括，
98.根据图形深度信息，得到深度信息反馈值；
99.将图形深度反馈值与基于位置的视觉伺服控制设定值比较，得到基于位置的误差；
100.根据基于位置的误差，得到视觉伺服控制器的输出控制值；
101.根据视觉伺服控制器的输出控制值，引导机器人1移动并调整机器人1的方向，使机器人1靠近操作对象6。
102.图形深度信息，表示操作对象6相对于视觉传感器4之间的距离。深度信息反馈值为s(t)，表示操作对象6相对于视觉传感器4的距离值。在本实施例中，深度信息反馈值经过处理，可以表示操作对象6与机械臂2末端之间的距离值。
103.基于位置的视觉伺服控制设定值为s
pbvs
*，表示操作对象6最终操作完成后基于位置的状态值，即反应最终状态下操作对象6和机械臂2末端之间的相对位置关系。
104.根据图形深度反馈值s(t)与基于位置的视觉伺服控制设定值s
pbvs
*，得到误差e(t)。将误差e(t)反馈至视觉伺服控制器，得到视觉伺服控制器的输出控制值c(t)，形成闭环反馈，通过不断将得到的视觉伺服控制器的输出控制值c(t)输入到机器人1控制系统中，不断通过机械臂2调整操作对象6的位置，使得视觉传感器4最终收集得到的关于操作对象6的图形深度信息，能够符合预先设定的关于操作对象6的图形深度信息，使得最终操作对象6相对机械臂2末端的位置符合预设定的位置。
105.如图7和图8所示，步骤s242，还包括，
106.机器人1控制系统根据安装在机器人1驱动轮上的编码器，通过计算得到机器人1驱动轮的电机转角；
107.根据电机转角，得到机器人1的位移值；
108.根据机器人1的位移值和视觉伺服控制器的输出控制值c(t)，得到反馈补偿值d(t)；
109.将反馈补偿值d(t)反馈至机器人1控制系统，形成机器人1的位移闭环控制。
110.其中，位移闭环控制形成内环控制，基于位置的视觉伺服控制形成外环控制。在实际使用过程中，通过位移闭环控制形成内环控制，能够补偿因机械臂2柔性、机器人1驱动轮与地面之间的相对滑动、机器人1驱动轮的传动机械系统松垮或者机械间隙造成的控制误差，提高机器人1和机械臂2的定位精度以及稳定性。
111.如图6所示，步骤s244，包括，
112.根据图形平面特征信息，得到平面特征反馈值；
113.将平面特征反馈值与基于图形的视觉伺服控制设定值比较，得到基于图形的误差；
114.根据基于图形的误差，得到视觉伺服控制器的输出控制值；
115.根据视觉伺服控制器的输出控制值，控制机械臂2执行末端操作。
116.图形平面特征信息，表示操作对象6的表面特征。
117.平面特征反馈值为s(t)，表示视觉传感器4提取出的关于操作对象6的表面特征信息。
118.基于图形的视觉伺服控制设定值为s
ibvs
*，表示操作对象6最终操作完成后基于图形的状态值，即操作对象6操作完成后的表面特征状态。
119.根据平面特征反馈值s(t)与基于图形的视觉伺服控制设定值为s
ibvs
*，得到误差e(t)。将误差e(t)反馈至视觉伺服控制器，得到视觉伺服控制器的输出控制值c(t)，形成闭环反馈，通过不断将得到的视觉伺服控制器的输出控制值c(t)输入到机器人1控制系统中，不断通过机械臂2对操作对象6进行校正，使得视觉传感器4最终收集得到的关于操作对象6的图形平面特征信息，能够符合预先设定的关于操作对象6的图形平面特征信息，使得最终操作对象6的表面特征状态能够符合预先设定的操作对象6处于操作完成状态下的表面特征状态。
120.如图9和图10所示，步骤s244，还包括，
121.根据图形平面特征信息，得到图形深度信息值；
122.根据图形深度信息值和视觉伺服控制器的输出控制值，得到反馈补偿值；
123.将反馈补偿值反馈至机械臂2控制系统。
124.通过在基于图形的视觉伺服控制阶段引入图形深度信息值，完成闭环反馈。进而机械臂2末端在执行操作过程中，能够根据操作对象6和机械臂2末端之间的距离，对机械臂2末端的位置以及方向进行修正，提高机械臂2末端在执行操作过程中的定位精度以及可靠性。
125.如图11和图12所示，步骤s244，还包括，
126.根据图形平面特征信息，得到图形深度信息值；
127.根据图形深度信息值，得到视觉传感器4的加速度值；
128.根据视觉传感器4的加速度值和视觉伺服控制器的控制输出值，得到反馈补偿值；
129.将反馈补偿值反馈至机械臂2控制系统。
130.通过从图形平面特征信息中提取出图形深度信息值，由于图形深度信息值与距离值相关，进而通过计算可以得到视觉传感器4的加速度值。通过视觉传感器4的加速度值，能够反应机械臂2末端的加速度情况，进而可以对机械臂2末端因振动引起的加速度异常进行检测。通过反馈补偿值，反应机械臂2末端加速度的异常情况，并反馈至机械臂2控制系统，便于机械臂2末端及时进行调整，对振动等异常情况进行抑制。
131.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。
132.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：

1.一种移动操作机器人视觉伺服控制方法，其特征在于，步骤如下，s1，判断操作对象所在平台是否进入预设定范围，所述预设定范围以机器人为参照并根据机械臂的活动范围和机器人的本体尺寸设定；s2，当所述操作对象所在平台未进入预设定范围时，采用测距传感器引导机器人移动，当所述操作对象所在平台进入预设定范围时，切换至视觉传感器引导机器人移动。2.根据权利要求1所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s2，包括，当所述操作对象所在平台未进入预设定范围时：s21，通过测距传感器测算所述机器人和所述操作对象所在平台之间的距离值，并输出所述距离值；s22，根据所述距离值，引导所述机器人移动；当所述操作对象所在平台进入预设定范围时：s23，通过视觉传感器收集图形信息，并输出所述图形信息；s24，根据所述图形信息，引导所述机器人移动并控制机械臂执行末端操作。3.根据权利要求2所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s24，包括，当所述操作对象所在平台进入预设定范围，且所述机器人和操作对象之间的距离大于等于预设定距离时，采用基于位置的视觉伺服控制，步骤如下：s241，根据所述图形信息，提取出图形深度信息；s242，根据图形深度信息，引导所述机器人移动并调整所述机器人的方向，使所述机器人靠近所述操作对象；当所述操作对象所在平台进入预设定范围，且所述机器人和操作对象之间的距离小于预设定距离时，采用基于图形的视觉伺服控制，步骤如下：s243，根据所述图形信息，提取出图形平面特征信息；s244，根据图形平面特征信息，控制机械臂执行末端操作。4.根据权利要求3所述的移动操作机器人视觉伺服控制方法，其特征在于，所述基于位置的视觉伺服控制和所述基于图形的视觉伺服控制之间采用滞环控制的方式进行切换。5.根据权利要求3或4任一项所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s242，包括，根据所述图形深度信息，得到深度信息反馈值；将所述图形深度反馈值与基于位置的视觉伺服控制设定值比较，得到基于位置的误差；根据所述基于位置的误差，得到视觉伺服控制器的输出控制值；根据所述视觉伺服控制器的输出控制值，引导所述机器人移动并调整所述机器人的方向，使所述机器人靠近所述操作对象。6.根据权利要求3或4任一项所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s244，包括，根据所述图形平面特征信息，得到平面特征反馈值；将所述平面特征反馈值与基于图形的视觉伺服控制设定值比较，得到基于图形的误
差；根据所述基于图形的误差，得到视觉伺服控制器的输出控制值；根据所述视觉伺服控制器的输出控制值，控制所述机械臂执行末端操作。7.根据权利要求5所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s242，还包括，根据安装在机器人驱动轮上的编码器，得到所述机器人驱动轮的电机转角；根据所述电机转角，得到所述机器人的位移值；根据所述机器人的位移值和所述视觉伺服控制器的输出控制值，得到反馈补偿值；将所述反馈补偿值反馈至机器人控制系统。8.根据权利要求6所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s244，还包括，根据所述图形平面特征信息，得到图形深度信息值；根据图形深度信息值和所述视觉伺服控制器的输出控制值，得到反馈补偿值；将所述反馈补偿值反馈至机械臂控制系统。9.根据权利要求6所述的移动操作机器人视觉伺服控制方法，其特征在于，步骤s244，还包括，根据所述图形平面特征信息，得到图形深度信息值；根据所述图形深度信息值，得到视觉传感器的加速度值；根据所述视觉传感器的加速度值和所述视觉伺服控制器的控制输出值，得到反馈补偿值；将所述反馈补偿值反馈至机械臂控制系统。

技术总结

本申请提供一种移动操作机器人视觉伺服控制方法，涉及机器人的技术领域，步骤如下，S1，判断操作对象所在平台是否进入预设定范围，预设定范围以机器人为参照并根据机械臂的活动范围和机器人的本体尺寸设定；S2，当操作对象所在平台未进入预设定范围时，采用测距传感器引导机器人移动，当操作对象所在平台进入预设定范围时，切换至视觉传感器引导机器人移动。由于操作对象所在平台进入预设定范围时，才切换至视觉传感器对机器人进行引导，因此避免了操作对象从视觉传感器视线范围脱离的情况，使得视觉传感器收集的关于操作对象的图形信息更加精确，进而可以根据视觉传感器提供的图形信息，提高机械臂末端操作的准确性以及定位精度。位精度。位精度。