一种基于视觉系统的机械臂多类型物品抓取方法、系统及装置与流程

阅读：评论：0

1.本发明涉及视觉系统应用技术领域，具体涉及一种基于视觉系统的机械臂多类型物品抓取方法、系统及装置。

背景技术：

2.随着科技的发展，很多行业对于自动化的需求越来越多，机械臂也越来越多的运用到了行业生产中，如汽车制造、货物转运、智能分拣、公共安全等领域。但是传统的工业机械臂只能按照事先规划好的运动轨迹和位置进行移动，不能获取外界信息，限制了使用范围。为了增加机械臂的灵活性和可用性，近些年来对视觉系统与机械臂的协作互动的研究快速发展，如机器人自适应视觉跟踪控制、通过当前图像与指定图像偏差以及机械臂运动之间的非线性关系提出的不依赖于摄像头标定的图像雅可比矩阵，进而控制机械臂的运动。
3.现阶段基于视觉系统的机械臂抓取，对于末端的设计都是单一性的，不能同时实现多种形态的物体同时处理，导致一条流水线上处理的必须为同一类型的物体。传统的机械臂抓取，都是执行一套固定运动轨迹和位置的方式，但随着工业生产的发展，单纯的抓取已经不能满足生产的需要，对于物体信息的处理并自动进行下一步操作是研究的重点方向。

技术实现要素：

4.本发明的技术任务是提供一种基于视觉系统的机械臂多类型物品抓取方法，能够保证抓取的准确性，提高流水线物体的抓取效率。
5.本发明解决其技术问题所采用的技术方案是：
6.一种基于视觉系统的机械臂多类型物品抓取方法，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
7.针对高清图像进行物体识别，获取物体信息；方便下一步的抓取移动处理；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪，确保运行的稳定性和准确性；抓取物体到指定位置，完成对多类型物体的抓取。
8.本方法使用高清摄像头与深度相机相结合，组成视觉处理系统，对高清摄像头与机械臂末端进行眼在手外的手眼标定，实现相机像素坐标系与机械臂空间坐标系的转换，使用深度相机进行辅助，判断物体距离，方便机械臂末端对物体进行更为准确的抓取和偏移检测。本方法通过视觉系统获取图像信息，进行物体识别，能准确识别多种待取物体，并针对多种物体设置了不同的末端处理方式，根据识别结果，采用不同的末端处理方式，增加
了复杂物体场景下的抓取效率；通过视觉系统获取物体视频信息，结合物体追踪算法，对待抓取物体进行追踪，保证抓取准确性，提高流水线物体抓取效率。
9.优选的，所述高清摄像机和深度相机均放置在机械臂外部，即眼在手外；
10.根据眼在手外的标定原理，对摄像机的图像坐标系与机械臂末端的空间坐标系进行标定，标定过程中机械臂末端坐标系和标定板保持不变，求解出图像坐标系与机械臂末端空间坐标系的转换关系；
11.深度相机的深度信息也与末端空间坐标系进行标定，确定深度信息与末端空间坐标系的转换关系，从而在处理图像信息时得到末端应该运动的位置坐标。
12.优选的，在物体经过高清摄像机的视野范围时，使用yolov3-tiny网络对图像进行物体识别。
13.在工业生产中，效率是生产中重要的一方面，yolov3-tiny是在yolov3的基础上去掉一些特征层，只保留2个独立的预测分支，提升了识别速度。本方法通过对物体进行识别，实现对多种物体在同一产线抓取，拓展了抓取过程的使用场景。
14.优选的，根据kcf算法对相应物体进行跟踪。
15.kcf是一种判别式跟踪方法，首先训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。kcf算法将矩阵的运算转化为向量的hadamad积，大大降低了运算量，能满足实时性的要求。
16.优选的，所述针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，
17.当视觉系统获取高清图像信息之后，通过坐标转换得到物体的实际位置，并通过深度相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离，从而准确获取到物体所在位置坐标。
18.进一步的，获取到物体的具体坐标信息后，转换为末端坐标系下的坐标，结合深度信息确定物体距离末端的距离以及流水线的运动速度，确定末端将要达到的具体位置，得到末端将要运动的具体位置之后，通过机械臂逆运动学算法求解机械臂的运动轨迹，根据末端类型和物体运动轨迹对物体进行抓取放置。
19.优选的，所述机械臂为六轴机械臂，所述逆运动学求解为tracik运动学求解器。tracik是一种基于数值解的运动学插件，求解效率高、规划结果的范围广，适用于本方法的六轴机械臂逆运动学求解。
20.进一步的，所述根据末端类型和物体运动轨迹对物体进行抓取放置，对多种物体抓取设计不同形态的末端抓取装置，根据物体识别的结果，程序判定使用哪种形态的末端抓取装置，在规划运动轨迹时会针对不同的末端进行规划，使用最合适抓取的末端装置；在末端装置对物体进行抓取之后，根据不同物体放置到不同的终点位置，完成物体的识别抓取过程。
21.本发明还要求保护一种基于视觉系统的机械臂多类型物品抓取系统，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
22.针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处
理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；
23.该系统实现上述的基于视觉系统的机械臂多类型物品抓取方法。
24.本发明还要求保护一种基于视觉系统的机械臂多类型物品抓取装置，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
25.针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；
26.该装置实现上述的基于视觉系统的机械臂多类型物品抓取方法。
27.本发明的一种基于视觉系统的机械臂多类型物品抓取方法、系统及装置与现有技术相比，具有以下有益效果：
28.本方法在视觉系统搭建时，使用了高清摄像头和深度相机相结合的方式，通过图像信息和深度信息的结合，对物体位置有精确判断，对抓取稳定性和效率有很大提升，提高了抓取系统的鲁棒性。
29.考虑到实际运用场景中对速度的要求，在算法设计方面都考虑到了实时性。物体识别时使用的yolov3-tiny算法以及物体追踪的kcf算法以及逆运动学求解插件的选择都具有实时性，进一步提升了抓取系统的使用效率，拓宽了系统的使用场景。
30.解决了传统机械臂不能感知外部环境，很难根据外部环境变化做出反应的问题，通过实时视觉系统，能够感知外界环境变化，对物体的运动状况和位置进行实时追逐，灵活处理各种情况，减少了误抓和漏抓的情况，提高了系统的可用性。
31.通过视觉系统，增加了物体识别功能，方便处理多类型物体同时在流水线的场景，解决了传统流水线抓取物体单一的问题，提高了生产效率，对于适用场景的拓展和优化有很大帮助。
32.根据实际情况，对多种物体设计多种末端装置类型，可以实现吸附、夹取等不同形式，针对不同物体适用针对性的末端装置，实现了抓取功能的多样性，提高了物体抓取的稳定性和生产效率。
附图说明
33.图1是本发明实施例提供的基于视觉系统的机械臂多类型物品抓取方法实现过程图。
具体实施方式
34.下面结合具体实施例对本发明作进一步说明。
35.通过视觉系统与机械臂的交互进行机械臂的抓取一直是人们研究的重点方向，根据相机的差异，机械臂视觉抓取方案可分为两种，一种是基于单目视觉抓取方案，直接利用单一相机获取平面图像直接进行抓取，这种方式比较容易设计，但是无法实现高精度抓取，
鲁棒性较差。另一种是利用高清相机和深度相机，获取高清图和深度图像，通过深度信息处理点云坐标，实现对物体的抓取，这种实现方式能实现更高精度的抓取，增加物体抓取的稳定性。
36.本发明实施例提供了一种基于视觉系统的机械臂多类型物品抓取方法，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
37.针对高清图像进行物体识别，获取物体信息；方便下一步的抓取移动处理；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪，确保运行的稳定性和准确性；抓取物体到指定位置，完成对多类型物体的抓取。
38.本方法使用高清摄像头与深度相机相结合，组成视觉处理系统，对高清摄像头与机械臂末端进行眼在手外的手眼标定，实现相机像素坐标系与机械臂空间坐标系的转换，使用深度相机进行辅助，判断物体距离，方便机械臂末端对物体进行更为准确的抓取和偏移检测。本方法通过视觉系统获取图像信息，进行物体识别，能准确识别多种待取物体，并针对多种物体设置了不同的末端处理方式，根据识别结果，采用不同的末端处理方式，增加了复杂物体场景下的抓取效率；通过视觉系统获取物体视频信息，结合物体追踪算法，对待抓取物体进行追踪，保证抓取准确性，提高流水线物体抓取效率。
39.本方法采用六轴机械臂，并针对多种类型的物体，设计多种形式的末端，对于物体识别到的物体类型，选取不同的末端处理模块。
40.本方法的具体实现过程如下：
41.1、搭建视觉系统并进行标定。
42.本方法通过高清摄像头与深度相机获取图像信息，组成视觉系统的数据来源，为了使用方便，本方法高清摄像头与深度相机都放置在机械臂外部，根据眼在手外的标定原理，对相机的图像坐标系与机械臂末端的空间坐标系进行标定，标定过程中机械臂末端坐标系和标定板保持不变，求解出图像坐标系与机械臂末端空间坐标系的转换关系。深度相机的深度信息也与末端空间坐标系进行标定，确定深度信息与末端空间坐标系的转换关系，从而在处理图像信息时得到末端应该运动的位置坐标。
43.2、获取图像信息进行物体识别。
44.本方法使用yolov3-tiny网络进行物体识别，在物体经过高清摄像头视野范围时，使用yolov3-tiny网络对图像进行物体识别。
45.在工业生产中，效率是生产中重要的一方面，yolov3-tiny是在yolov3的基础上去掉一些特征层，只保留2个独立的预测分支，提升了识别速度。本方法通过对物体进行识别，实现对多种物体在同一产线抓取，拓展了抓取过程的使用场景。
46.3、根据高清图像信息和深度信息确定物体位置。
47.经过步骤1的坐标标定，确定了图像坐标与末端空间坐标的转换关系，当视觉系统获取图像信息之后，通过坐标转换得到物体的实际位置，并通过深度相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离，从而准确获取到物体所在位置。
48.本方法是在流水线上对物体进行识别抓取的，为确保物体抓取的准确性，本方法
使用kcf算法对识别物体进行追踪。kcf是一种判别式跟踪方法，首先训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。kcf算法将矩阵的运算转化为向量的hadamad积，大大降低了运算量，能满足实时性的要求。
49.4、进行坐标转换确定机械臂末端到达位置并进行运动规划。
50.根据步骤3获取到物体的具体坐标信息后，转换为末端坐标系下的坐标，结合深度信息确定物体距离末端的距离以及流水线的运动速度，确定末端将要达到的具体位置，得到末端将要运动的具体位置之后，通过机械臂逆运动学算法求解六轴机械臂的运动轨迹。
51.本方法使用的逆运动学求解为tracik运动学求解器，tracik是一种基于数值解的运动学插件，求解效率高、规划结果的范围广，适用于本方法的六轴机械臂逆运动学求解。
52.5、根据末端类型和物体运动轨迹对物体进行抓取放置。
53.本方法针对多种物体抓取设计不同形态的末端抓取装置，根据步骤2物体识别的结果，程序判定使用哪种形态的末端抓取装置，在步骤4规划运动轨迹时会针对不同的末端进行规划，使用最合适抓取的末端装置。在末端装置对物体进行抓取之后，根据不同物体放置到不同的终点位置，完成物体的识别抓取过程。
54.本发明实施例还提供了一种基于视觉系统的机械臂多类型物品抓取系统，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
55.针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；
56.该系统实现上述实施例中所述的基于视觉系统的机械臂多类型物品抓取方法。
57.本系统由一个高清摄像机和一台深度相机组成视觉系统的硬件基础，通过摄像机和深度相机获取到的图像信息进行物体识别，确定物体具体位置，对物体进行跟踪，把位置信息和物体分类信息与机械臂进行交互，机械臂根据具体的末端位置进行运动轨迹的规划，并选用对应的末端装置进行抓取，放置到指定的位置。
58.将高清摄像头与深度相机相结合，共同提供视觉处理所需要的图像，便于图像信息的精确获取，深度相机提供的深度信息辅助处理高清相机获取到的图像，对二维图像的处理提升为对三维图像的处理，提高了精确性。
59.在传统机械臂抓取的过程中加入物体识别、物体追踪等算法，使其流水线上处理物体的可用性更高，提高生产效率。
60.所述高清摄像机和深度相机均放置在机械臂外部，即眼在手外；
61.根据眼在手外的标定原理，对摄像机的图像坐标系与机械臂末端的空间坐标系进行标定，标定过程中机械臂末端坐标系和标定板保持不变，求解出图像坐标系与机械臂末端空间坐标系的转换关系；
62.深度相机的深度信息也与末端空间坐标系进行标定，确定深度信息与末端空间坐标系的转换关系，从而在处理图像信息时得到末端应该运动的位置坐标。
63.其中，在物体经过高清摄像机的视野范围时，使用yolov3-tiny网络对图像进行物体识别；根据kcf算法对相应物体进行跟踪；所述机械臂为六轴机械臂，所述逆运动学求解为tracik运动学求解器。
64.所述针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，
65.当视觉系统获取高清图像信息之后，通过坐标转换得到物体的实际位置，并通过深度相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离，从而准确获取到物体所在位置坐标。
66.获取到物体的具体坐标信息后，转换为末端坐标系下的坐标，结合深度信息确定物体距离末端的距离以及流水线的运动速度，确定末端将要达到的具体位置，得到末端将要运动的具体位置之后，通过机械臂逆运动学算法求解机械臂的运动轨迹，根据末端类型和物体运动轨迹对物体进行抓取放置。
67.所述根据末端类型和物体运动轨迹对物体进行抓取放置，对多种物体抓取设计不同形态的末端抓取装置，根据物体识别的结果，程序判定使用哪种形态的末端抓取装置，在规划运动轨迹时会针对不同的末端进行规划，使用最合适抓取的末端装置；在末端装置对物体进行抓取之后，根据不同物体放置到不同的终点位置，完成物体的识别抓取过程。
68.针对于多种类型的物体，本系统设计了多种形式的末端，对于物体识别到的物体类型，选取不同的末端处理模块，极大丰富了抓取物体的种类，满足多样化的抓取需求。
69.本发明还要求保护一种基于视觉系统的机械臂多类型物品抓取装置，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；
70.针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；
71.该装置实现上述实施例所述的基于视觉系统的机械臂多类型物品抓取方法。
72.所述高清摄像机和深度相机均放置在机械臂外部，即眼在手外；
73.根据眼在手外的标定原理，对摄像机的图像坐标系与机械臂末端的空间坐标系进行标定，标定过程中机械臂末端坐标系和标定板保持不变，求解出图像坐标系与机械臂末端空间坐标系的转换关系；
74.深度相机的深度信息也与末端空间坐标系进行标定，确定深度信息与末端空间坐标系的转换关系，从而在处理图像信息时得到末端应该运动的位置坐标。
75.其中，在物体经过高清摄像机的视野范围时，使用yolov3-tiny网络对图像进行物体识别；根据kcf算法对相应物体进行跟踪；所述机械臂为六轴机械臂，所述逆运动学求解为tracik运动学求解器。
76.所述针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，
77.当视觉系统获取高清图像信息之后，通过坐标转换得到物体的实际位置，并通过深度相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离，从而准确获取到物体所在位置坐标。
78.获取到物体的具体坐标信息后，转换为末端坐标系下的坐标，结合深度信息确定物体距离末端的距离以及流水线的运动速度，确定末端将要达到的具体位置，得到末端将要运动的具体位置之后，通过机械臂逆运动学算法求解机械臂的运动轨迹，根据末端类型和物体运动轨迹对物体进行抓取放置。
79.所述根据末端类型和物体运动轨迹对物体进行抓取放置，对多种物体抓取设计不同形态的末端抓取装置，根据物体识别的结果，程序判定使用哪种形态的末端抓取装置，在规划运动轨迹时会针对不同的末端进行规划，使用最合适抓取的末端装置；在末端装置对物体进行抓取之后，根据不同物体放置到不同的终点位置，完成物体的识别抓取过程。
80.通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
81.除说明书所述的技术特征外，均为本专业技术人员的已知技术。

技术特征：

1.一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取。2.根据权利要求1所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，所述高清摄像机和深度相机均放置在机械臂外部，即眼在手外；根据眼在手外的标定原理，对摄像机的图像坐标系与机械臂末端的空间坐标系进行标定，标定过程中机械臂末端坐标系和标定板保持不变，求解出图像坐标系与机械臂末端空间坐标系的转换关系；深度相机的深度信息也与末端空间坐标系进行标定，确定深度信息与末端空间坐标系的转换关系，从而在处理图像信息时得到末端应该运动的位置坐标。3.根据权利要求1或2所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，在物体经过高清摄像机的视野范围时，使用yolov3-tiny网络对图像进行物体识别。4.根据权利要求1或2所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，根据kcf算法对相应物体进行跟踪。5.根据权利要求1所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，所述针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，当视觉系统获取高清图像信息之后，通过坐标转换得到物体的实际位置，并通过深度相机获取的深度信息进行坐标校正和准确获取物体距离机械臂末端的距离，从而准确获取到物体所在位置坐标。6.根据权利要求5所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，获取到物体的具体坐标信息后，转换为末端坐标系下的坐标，结合深度信息确定物体距离末端的距离以及流水线的运动速度，确定末端将要达到的具体位置，得到末端将要运动的具体位置之后，通过机械臂逆运动学算法求解机械臂的运动轨迹，根据末端类型和物体运动轨迹对物体进行抓取放置。7.根据权利要求6所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，所述机械臂为六轴机械臂，所述逆运动学求解为tracik运动学求解器。8.根据权利要求6所述的一种基于视觉系统的机械臂多类型物品抓取方法，其特征在于，所述根据末端类型和物体运动轨迹对物体进行抓取放置，对多种物体抓取设计不同形态的末端抓取装置，根据物体识别的结果，程序判定使用哪种形态的末端抓取装置，在规划运动轨迹时会针对不同的末端进行规划，使用最合适抓取的末端装置；在末端装置对物体进行抓取之后，根据不同物体放置到不同的终点位置，完成物体的识别抓取过程。9.一种基于视觉系统的机械臂多类型物品抓取系统，其特征在于，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位
置；针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；该系统实现权利要求1-8任一项所述的基于视觉系统的机械臂多类型物品抓取方法。10.一种基于视觉系统的机械臂多类型物品抓取装置，其特征在于，包括高清摄像机、深度相机和用于物品抓取的机械臂，通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取；该装置实现权利要求1-8任一项所述的基于视觉系统的机械臂多类型物品抓取方法。

技术总结

本发明公开了一种基于视觉系统的机械臂多类型物品抓取方法、系统及装置，属于视觉系统应用技术领域，该方法通过高清摄像机和深度相机获取高清图像和深度信息建立视觉系统，通过标定摄像机的图像坐标系与机械臂末端的空间坐标系，得到图像坐标系与空间坐标系的转换关系，同时标定深度信息与空间坐标系的转换关系，精准确定物体位置；针对高清图像进行物体识别，获取物体信息；针对物体识别的结果与视觉系统处理得到的物体准确坐标信息，定位到机械臂末端需要到达的位置，规划运动轨迹并选择相对应末端类型，对相应物体进行跟踪；抓取物体到指定位置，完成对多类型物体的抓取。本发明能够保证抓取的准确性，提高流水线物体的抓取效率。取效率。取效率。