一种复合机器人三维视觉伺服控制装置及其控制方法与流程

阅读：评论：0

1.本发明涉及机械手控制领域，尤其涉及一种复合机器人三维视觉伺服控制装置及其控制方法。

背景技术：

2.在工业自动化装配和分拣操作中，需要由视觉来获取目标图像，并对图像进行处理以提取目标的位置信息，由位置信息来引导复合机器人机械臂，对其进行控制实现安装和抓取工作，这种技术被称为视觉伺服技术。机器人视觉伺服是一种利用视觉信息对机器人运动实施反馈控制的重要方法，与传统控制方法相比，能提供更高的设计灵活性、任务精度以及智能化水平。与基于标定的运动学视觉伺服方法相比，无标定动态视觉伺服方法无需对系统参数进行精确标定从而避免了精确标定的繁琐性和困难性。
3.现有视觉伺服技术中，有场景视觉系统和混合视觉系统。场景视觉系统中工业摄像机固定在场景中的某处；其缺点是不能灵活的获取四周的信息。混合视觉系统中在机器人手臂上安装一工业摄像机的同时，在场景中也固定安装一工业摄像机。通过两个工业摄像机获得的目标位置信息精度较差，得到的信息也不够准确。

技术实现要素：

4.本发明是为了克服现有技术的工业自动化装配和分拣机械臂对目标位置定位精度较差，获取位置信息不准确的问题，提供一种定位准确度高的复合机器人三维视觉伺服控制装置及其控制方法。
5.为实现上述目的，本发明采用以下技术方案：一种复合机器人三维视觉伺服控制装置，包括：投影模块：固定于复合机器人机械臂末端，用以向投影区域投射带有彩条纹编码的结构光；影像感测模块:包括固定于复合机器人机械臂末端的至少两个工业相机，用以采集目标物体影像信息，标定目标物体位置；获取带有彩条纹编码的结构光的目标物体影像信息；并将上述采集信息传送给处理器；伺服控制模块：根据标定的目标物体位置调整复合机器人机械臂位置和角度，使目标物体居于投影区域内；处理器：输出第一控制信号到影像感测模块获取目标物体的标定信息，判定目标物体进入投影区域后输出第二控制信号至伺服控制模块调整复合机器人机械臂位姿，输出第三控制信号至投影模块向投影区域投射带有彩条纹编码的结构光；输出第四控制信号至影像感测模块获取带有彩条纹编码的结构光的目标物体影像信息；对目标物体影像信息上的彩条纹编码解码获取目标物体三维信息；控制复合机器人机械臂根据目标物体三维信息进行抓取动作。可以实现复合机器人机械臂相对于目标物体较高精度的定位，以实现准确的抓取或装配。
6.作为优选，所述影像感测模块根据所述第一控制信号采集第一目标区域的目标物体影像区域，第一目标区域包括投影区域还包括投影区域以外的区域。
7.作为优选，所述处理器仅处理对应上述投影区域内的带有彩条纹编码的结构光的目标物体影像信息。
8.作为优选，所述带有彩条纹编码的结构光采用彩条纹伪随机序列空域编码图案。其在对条纹位置编码时充分利用了条纹自身及其周边的彩信息，实现单幅图像动态测量。
9.作为优选，影像感测模块仅有两个工业相机，所述投影模块设置在所述影像感测模块的两个工业相机之间。
10.一种复合机器人三维视觉伺服控制方法，应用于如上述任一项所述的一种复合机器人三维视觉伺服控制装置，该方法包括：标定目标物体位置，影像感测模块根据所述第一控制信号采集的标物体影像信息，判断目标物体进入投影区域的比例，若投影区域内目标物体像素占投影区域像素第一百分比及以上，则标定为目标物体进入投影区域，若投影区域内标定物体像素低于第一百分比，则标定为目标物体没有进入投影区域。若投影区域内目标物体像素占投影区域像素10％及以上，则标定为目标物体进入投影区域；若投影区域内标定物体像素低于10％，则标定为目标物体没有进入投影区域。
11.作为优选，包括：启动复合机器人，驱动复合机器人运动到预定位置后，开启影像感测模块，对影像感测模块的工业相机进行参数标定。
12.作为优选，包括：启动影像感测模块后伺服控制模块减小对复合机器人机械臂的控制增益。
13.作为优选，包括对目标物体影像信息上的彩条纹编码解码，并通过映射矩阵计算目标物体三维信息。
14.作为优选，所述结构光由红、绿、蓝、青、品红及黄组成；其颜编码分别为红1、绿2、蓝3、青4、品红5及黄6。
15.因此，本发明具有如下有益效果：在目标物体上投射出带有彩条纹编码的结构光，获取带有结构光栅的目标物体图片；将获得的带有结构光栅的目标物体图片进行处理，提取图像中的彩条纹编码；将所述编码进行解码，并通过映射矩阵计算出目标物体的三维信息从而引导机器人手臂运动，可以使复合机器人作业更加灵活，实现复杂工件的抓取和装配。
附图说明
16.图1是本发明一实施例的一种复合机器人三维视觉伺服控制方法流程图。
具体实施方式
17.下面结合附图与具体实施方式对本发明做进一步的描述。
18.实施例：一种复合机器人三维视觉伺服控制装置,包括投影模块：包括工业投影仪，所述工业投影仪固定于复合机器人机械臂末端，影像感测模块的第一工业相机和第二工业相机之
间。用以向投影区域投射带有彩条纹编码的结构光；结构光采用彩条纹伪随机序列空域编码图案。
19.影像感测模块:包括固定于复合机器人机械臂末端的第一工业相机和第二工业相机，用以采集目标物体影像信息，标定目标物体位置；获取带有彩条纹编码的结构光的目标物体影像信息；并将上述采集信息传送给处理器；所述影像感测模块根据所述第一控制信号采集第一目标区域的目标物体影像区域，第一目标区域包括投影区域还包括投影区域以外的区域。
20.伺服控制模块：根据标定的目标物体位置调整复合机器人机械臂位置和角度，使目标物体居于投影区域内；处理器：输出第一控制信号到影像感测模块获取目标物体的标定信息，判定目标物体进入投影区域后输出第二控制信号至伺服控制模块调整复合机器人机械臂位姿，输出第三控制信号至投影模块向投影区域投射带有彩条纹编码的结构光；输出第四控制信号至影像感测模块获取带有彩条纹编码的结构光的目标物体影像信息；对目标物体影像信息上投影区域内的带有彩条纹编码的结构光的目标物体影像信息。的彩条纹编码解码获取目标物体三维信息；控制复合机器人机械臂根据目标物体三维信息进行抓取动作。
21.本实施例还公开了一种复合机器人三维视觉伺服控制方法，如图1所示，在此之前，首先要第一工业相机和第二工业相机本身参数做标定计算，得到二维图像与三维图像的映射矩阵，然后将第一工业相机和第二工业相机标定到复合机器人坐标系当中。摄像机标定方法采用张正友标定方法，在此不再赘述。
22.具体控制步骤如下：s1：当目标物体开始运动后，启动影像感测模块, 所述影像感测模块由第一工业相机和第二工业相机组成，第一工业相机和第二工业相机为两台彩的工业摄像机，通过第一工业相机和第二工业相机采集目标物体影像信息，并将所述位置信息反馈给所述复合机器人。
23.s2：判断目标物体是否进入投影区域，如果是，则启动所述工业投影仪。
24.所述工业投影仪10安装在两个工业相机的中间位置，其无需做标定，只需保证工业投影仪投射出的结构光能被两个摄像机拍摄到即可。
25.判断目标物体是否进入投影区域的方法为：判断从所述第一工业相机和第二工业相机获取的图像中，目标物体进入投影区域的比例。若投影区域内标定物体像素低于10%，则判定目标物体没有进入投影区域；若投影区域内目标物体像素占投影区域像的10%及以上，则判断目标物体进入投影区域。输出第二控制信号至伺服控制模块调整复合机器人机械臂位姿，输出第三控制信号至投影模块，并减小所述复合机器人机械臂电机的控制增益，采用柔性控制方法，并执行步骤s3。
26.s3：所述投影模块根据接收到的第三控制信号，向投影区域投射带有彩条纹编码的结构光。本实施例中结构光的彩栅线采用一种彩条纹伪随机序列空域编码图案，其在对条纹位置编码时充分利用了条纹自身及其周边的彩信息，可实现单幅图像动态测量。彩编码图案中选用3原（红（255,0,0），绿（0,255,0），蓝（0,0,255））及其反（青（0,255,255），品红（255,0,255），黄（255,255,0））彩条纹构成伪随机序列，每个条纹宽度为一个栅线周期，且要求相邻彩不同，任意连续三个周期彩排列具有唯一性。为了编码方
便，设红为1，绿为2，蓝为3，青为4，品红为5，黄为6。通过随机数据生成器生成总长为123的彩条纹序列，序列中每个周期的宽度为8个像素，总长为984像素，能够覆盖足够的测量范围。在栅线图像中，每个余弦周期对应一种彩，其亮度在该彩对应的有效的rgb通道中变化。
27.s4：处理器输出第四控制信号至影像感测模块获取带有彩条纹编码的结构光的目标物体影像信息；获取带有结构光栅的目标物体图片；所述第一工业相机和第二工业相机在复合机器人机械臂的移动当中连续拍摄带有结构光的目标物体图片。
28.s5：将获得的带有结构光栅的目标物体图片进行处理，提取图像中的彩条纹编码。
29.s6：将所述编码进行解码，并通过映射矩阵计算出目标物体的三维信息。
30.s7：复合机器人机械臂根据三维信息对目标物体进行抓取。
31.在目标物体上投射出带有彩条纹编码的结构光，获取带有结构光栅的目标物体图片；将获得的带有结构光栅的目标物体图片进行处理，提取图像中的彩条纹编码；将所述编码进行解码，并通过映射矩阵计算出目标物体的三维信息从而引导机器人手臂运动，可以使复合机器人作业更加灵活，实现复杂工件的抓取和装配。
32.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
33.尽管本文较多地使用了复合机器人、结构光、影像感测模块、映射矩阵等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

技术特征：

1.一种复合机器人三维视觉伺服控制装置，其特征在于，包括：投影模块：固定于复合机器人机械臂末端，用以向投影区域投射带有彩条纹编码的结构光；影像感测模块:包括固定于复合机器人机械臂末端的至少两个工业相机，用以采集目标物体影像信息，标定目标物体位置；获取带有彩条纹编码的结构光的目标物体影像信息；并将上述采集信息传送给处理器；伺服控制模块：根据标定的目标物体位置调整复合机器人机械臂位置和角度，使目标物体居于投影区域内；处理器：输出第一控制信号到影像感测模块获取目标物体的标定信息，判定目标物体进入投影区域后输出第二控制信号至伺服控制模块调整复合机器人机械臂位姿，输出第三控制信号至投影模块向投影区域投射带有彩条纹编码的结构光；输出第四控制信号至影像感测模块获取带有彩条纹编码的结构光的目标物体影像信息；对目标物体影像信息上的彩条纹编码解码获取目标物体三维信息；控制复合机器人机械臂根据目标物体三维信息进行抓取动作。2.根据权利要求1所述的一种复合机器人三维视觉伺服控制装置，其特征在于，所述影像感测模块根据所述第一控制信号采集第一目标区域的目标物体影像区域，第一目标区域包括投影区域还包括投影区域以外的区域。3.根据权利要求1或2所述的一种复合机器人三维视觉伺服控制装置，其特征在于，所述处理器仅处理对应上述投影区域内的带有彩条纹编码的结构光的目标物体影像信息。4.根据权利要求3所述的一种复合机器人三维视觉伺服控制装置，其特征在于，所述带有彩条纹编码的结构光采用彩条纹伪随机序列空域编码图案。5.根据权利要求4所述的一种复合机器人三维视觉伺服控制装置，其特征在于，影像感测模块仅有两个工业相机，所述投影模块设置在所述影像感测模块的两个工业相机之间。6.一种复合机器人三维视觉伺服控制方法，其特征在于，应用于如上述权利要求1~5任一项所述的一种复合机器人三维视觉伺服控制装置，该方法包括：标定目标物体位置，影像感测模块根据所述第一控制信号采集的标物体影像信息，判断目标物体进入投影区域的比例，若投影区域内目标物体像素占投影区域像素第一百分比及以上，则标定为目标物体进入投影区域，若投影区域内标定物体像素低于第一百分比，则标定为目标物体没有进入投影区域。7.根据权利要求6所述的一种复合机器人三维视觉伺服控制方法，其特征在于，包括：启动复合机器人，驱动复合机器人运动到预定位置后，开启影像感测模块，对影像感测模块的工业相机进行参数标定。8.根据权利要求7所述的一种复合机器人三维视觉伺服控制方法，其特征在于，包括：启动影像感测模块后减小伺服控制模块对复合机器人机械臂的控制增益。9.根据权利要求8所述的一种复合机器人三维视觉伺服控制方法，其特征在于，包括对目标物体影像信息上的彩条纹编码解码，并通过映射矩阵计算目标物体三维信息。10.根据权利要求9所述的一种复合机器人三维视觉伺服控制方法，其特征在于，所述结构光由红、绿、蓝、青、品红及黄组成；其颜编码分别为红1、绿2、蓝3、青4、品红5及黄6。

技术总结

本发明公开了一种复合机器人三维视觉伺服控制装置及其控制方法，所述方法包括：当目标物体开始运动后，启动所述第一工业相机和第二工业相机；判断目标物体是否进入投影区域，如果是，则启动所述工业投影仪；所述工业投影仪在目标物体上投射出带有彩条纹编码的结构光；获取带有结构光栅的目标物体图片；将获得的带有结构光栅的目标物体图片进行处理，提取图像中的彩条纹编码；将所述编码进行解码，并通过映射矩阵计算出目标物体的三维信息；复合机器人手臂根据三维信息对目标物体进行抓取。采用该方法，由基于彩条纹的结构光的视觉来引导机器人手臂运动，可以使复合机器人作业更加灵活，实现复杂工件的抓取和装配。实现复杂工件的抓取和装配。实现复杂工件的抓取和装配。