3D相机点云配准的焊接工件初定位系统和方法

阅读：评论：0

3d相机点云配准的焊接工件初定位系统和方法
技术领域
1.本发明涉及机器人焊接技术领域，具体地，涉及一种3d相机点云配准的焊接工件初定位系统和方法。

背景技术：

2.近些年来，由于工业化和城市化进程的不断推进，对焊接生产效率提出了越来越多的要求，提高机器人焊接以及离线编程智能化程度的需求也在不断增加。
3.目前，国内外大部分机器人焊接过程都还延续着传统“示教-再现”型的焊接生产方式，为了保证其焊接过程的稳定，需要设计大量的工装夹具保证机器人基座和焊接工件之间具有相对确定的位置关系，而针对只进行简单固定焊接工件，目前还没有较好的初定位和焊接导引的方法。
4.在传统视觉导引的机器人智能化焊接过程中，由于缺少焊接工件深度相关信息，焊接系统无法自主获取工件位姿，需要工人手动操控机器人进行位置标定，或者使用工装夹具进行固定位置焊接。人为参与的初定位过程降低了焊接生产效率。因此为了推进机器人智能化焊接进程，以及提高焊接离线编程的智能化程度，首先要解决的问题就是如何实现工件的初定位自动化。

技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种3d相机点云配准的焊接工件初定位系统和方法。
6.第一方面，本技术实施提供一种3d相机点云配准的焊接工件初定位系统，包括：焊接机器人、机器人控制柜、焊、工控机、3d相机、相机支架、标定三通管；所述3d相机安装在所述相机支架上，并位于焊接区域的上方；所述标定三通管固定在所述焊上，且所述焊与所述焊接机器人的执行端活动连接；所述3d相机分别与所述机器人控制柜、所述工控机通信连接；所述机器人控制柜用于根据所述工控机的控制指令，控制所述焊接机器人执行焊接工作；其中，所述工控机用于：
7.控制所述焊接机器人运动到预设的手眼标定位置，确定所述3d相机与所述焊接机器人基座之间的手眼矩阵；
8.控制所述3d相机获取焊接场景的rgb(redgreenblue，三原)图像，并对所述rgb图像进行处理，判断所述rgb图像中是否存在焊接工件模型，若存在，则确定焊接工件模型对应的类别；
9.将所述3d相机拍摄获取的点云坐标转换到所述焊接机器人的基座标系下，通过点云配准确定焊接工件相对于所述焊接机器人的位姿。
10.可选地，所述相机支架包括：底座部分和支架部分，所述底座部分采用长度不小于350mm的正方形钢板，且所述底座部分通过螺栓与地面紧固连接；
11.所述支架部分采用中空的矩形钢管，且所述支架的总长度不小于3500mm；其中，所
述3d相机的支架主体通过可调节的螺栓安装在所述支架部分的横梁位置。
12.本实施例中，可以在底座部分上留有4个地脚螺栓孔，通过螺栓孔与地面固定，支架底座部分与支架部分焊接固定，并通过肋板加强稳定性。支架截面为正方形中空钢板，横梁通过螺栓固定在相机支架主体上，可以通过螺栓调节高度。
13.可选地，所述3d相机的工作高度位于1500mm～2500mm范围内，且在所述3d相机的工作高度下，保持视场不小于1500mm
×
1500mm。
14.本实施例中，3d相机工作高度(z方向)位于1500mm—2500mm，在其工作高度下的视场(x方向、y方向)不小于1500mm
×
1500mm。3d相机的工作精度要求为其获取点云中的点坐标相对误差小于1
‰
。
15.可选地，所述标定三通管通过转接板与连接器固定在所述焊上；
16.在焊接机器人的带动下，所述焊上的标定三通管道不断移动到预设位姿，并通过所述3d相机拍摄获取空间位姿，用以确定手眼标定矩阵。
17.可选地，所述预设位姿是通过最小化归一化旋转轴向量点积选取得到的；
18.所述手眼标定矩阵是通过对偶四元数，以及奇异值分解进行眼在手外的手眼矩阵求解得到的。
19.可选地，所述工控机中加载有手外手眼标定模块、yolo(可以一次性预测多个box位置和类别的卷积神经网络)目标检测模块、焊接工件初定位模块、模型测试模块、通讯模块，以及点云显示模块，其中：
20.所述手外手眼标定模块，用于根据标定三通管道在所述3d相机坐标系下的位姿，确定手眼标定位姿；
21.所述yolo目标检测模块，用于对焊接工件模型的位姿进行识别和检测，确定焊接工件模型的类别；
22.所述焊接工件初定位模块，用于执行焊接工件模型点云提取、焊接工件相机点云提取、焊接工件相机点云roi(region of interest，感兴趣区域)提取、焊接工件相机点云滤波、焊接工件模型点云降采样、焊接工件模型点云与焊接工件相机点云之间的粗配准、焊接工件模型点云与焊接工件相机点云之间的精配准，确定焊接场景下焊接工件的位姿。
23.本实施例中，yolo目标检测模块基于yolo v5，使用yolo v5m6预训练权重进行焊接工件检测模块的训练，针对大数量的焊接工件种类有很好的检测效果。训练过程中，针对训练集进行数据增强，包括对训练集图像进行翻转、旋转、灰度变换操作。同时针对同一工件的不同拜访姿态的数据进行采集，保证在任意姿态下可以进行有效的识别和检测。
24.本实施例中，焊接工件初定位模块使用的点云配准算法流程为焊接工件模型点云提取、焊接工件相机点云获取、焊接工件相机点云roi提取、焊接工件相机点云滤波、焊接工件点云降采样、焊接工件模型点云与焊接工件相机点云粗配准、焊接工件模型点云与焊接工件相机点云精配准。经过配准获得其在焊接场景下的位姿。
25.可选地，焊接工件模型点云提取采用基于工件模型表面积的随机采样以及降采样算法。
26.可选地，焊接工件模型点云与焊接工件相机点云之间的粗配准采用基于s4pcs的点云配准算法；
27.焊接工件模型点云与焊接工件相机点云之间的精配准采用粗配准算法获得的刚
性变换矩阵作为初始预测矩阵，并使用基于welsch’s function对云配准中的迭代最近点(iterative closest points，icp)目标函数进行优化的robust icp算法。
28.本实施例中，模型点云提取算法分析模型文件中的三角面个数，以及各个三角面的面积(mm2)，通过计算获得模型文件总表面积。之后根据模型文件总表面积确定采样个数。并通过降采样算法，优化所得模型点云质量。所述降采样算法为体素降采样算法。粗配准算法使用基于super 4point congruent set algorithm(s4pcs)的点云配准算法。精配准算法以上述粗配准算法获得的刚性变换矩阵为初始预测矩阵，并使用基于welsch’s function对iterative closest point(icp)目标函数进行优化的robust icp算法。
29.第二方面，本技术实施例提供一种3d相机点云配准的焊接工件初定位方法，其特征在于，应用于第一方面中任一项所述的3d相机点云配准的焊接工件初定位系统中，所述方法包括：
30.确定焊接机器人tcp(tool center point，工具坐标系标定)标定精度，以及所述焊接机器人与所述3d相机的手眼标定是否完成；
31.若焊接机器人tcp标定精度不大于预设值，或未完成手眼标定，则重新进行焊接机器人tcp标定，以及重新进行焊接机器人与3d相机的手眼标定；
32.导入焊接工件模型(例如：ply、obj、stl格式)，并提供文件路径；
33.根据所述3d相机的精度对导入的焊接工件模型进行采样，获取焊接工件模型点云；
34.通过所述3d相机获取焊接工件相机点云；
35.通过焊接工件模型点云和焊接工件相机点云的配准，确定焊接工件在空间中的位姿。
36.可选地，还包括：对焊接工件在空间中的位姿进行保存，用于在离线时进行位姿调用。
37.第三方面，本技术实施例提供一种3d相机点云配准的焊接工件初定位设备，包括：处理器和存储器，所述存储器中存储有可执行的程序指令，所述处理器调用所述存储器中的程序指令时，所述处理器用于：
38.执行如第二方面中任一项所述的3d相机点云配准的焊接工件初定位方法的步骤。
39.第四方面，本技术实施例提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现如第一方面中任一项所述的3d相机点云配准的焊接工件初定位方法的步骤。
40.与现有技术相比，本发明具有如下的有益效果：
41.1)本技术实施例提供的3d相机点云配准的焊接工件初定位系统和方法，给出了进行机器人与3d相机的手眼标定位姿选取的标准，使得手眼标定的精度得到提升，初定位方法的准确性和可靠性更高。此外，本技术还提出了使用yolo v5进行焊接工件模型识别的实现方式，实现快速准确的工件模型识别，提升了焊接初定位的自动化和智能化程度。
42.2)本技术实施例可以使用大视野3d相机，获取焊接工件残缺的表面点云信息，通过点云配准算法实现工件的快速定位，减少了人工定位的误差，提高了工件定位效率。
43.3)本技术实施例考虑到大视野3d相机属于精密视觉仪器，在实际工厂环境中容易受到人为触碰以及机器工作震动影响，导致手眼标定矩阵失效。设计了抗人为触碰以及震动的大视野3d相机支架。
44.4)本技术实施例使用基于对偶四元数和奇异值分解的求解手眼矩阵的计算方法。并在该计算方法的误差分析公式基础上提出了以最小化归一化旋转轴向量点积作为手眼标定位姿的选取规则，提高了眼在手外手眼标定的精度。
45.5)本技术实施例使用super 4pcs作为点云粗配准算法，robust icp作为点云精配准算法，该点云配准流程对于焊接场景中存在噪声以及缺失的点云有很好的配准精度和速度。
46.6)本技术实施例针对使用大视野3d相机进行焊接工件初定位的流程设计了相应的软件，软件针对整个大视野3d相机初定位流程设计，功能丰富，即使没有经过专业培训的人员也能在短时间学会软件的使用方法。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
48.图1为本技术实施例提供的一种3d相机点云配准的焊接工件初定位系统的结构示意图；
49.图2为本技术实施例提供的一种3d相机点云配准的焊接工件初定位系统的功能单元结构示意图；
50.图3为本技术实施例提供的三通管标定标志物模型的结构示意图；
51.图4为本技术实施例中眼在手外标定方法的标定空间位姿选取结果示意图；
52.图5为本技术实施例提供的一种3d相机点云配准的焊接工件初定位方法的流程图；
53.图6为本技术实施例提供的3d相机的焊接工件初定位软件界面示意图；
54.图7为本技术实施例提供的初定位软件的手眼标定、初定位、测试界面ui示意图；
55.图8为本技术实施例提供的焊接工件目标检测模块工件检测结果示意图；
56.图9(a)为本技术实施例提供的一种模型点云和相机点云初始的状态示意图；
57.图9(b)为本技术实施例提供的一种模型点云和相机点云完成滤波后的状态示意图；
58.图9(c)为本技术实施例提供的一种模型点云和相机点云完成降采样后的状态示意图；
59.图10(a)为本技术实施例提供的一种模型点云和相机点云完成粗配准的状态示意图；
60.图10(b)为本技术实施例提供的一种模型点云和相机点云完成精配准的状态示意图。
61.图中：1、工控机；2、3d视觉传感；3、手眼标定单元；4、焊接初定位软件；5、焊接机器人；6、机器人控制柜；7、焊接工件；21、3d相机；22、网线和电源；23、相机支架；31、三通管标志物；32、安装夹具；41、3d相机设置；42、机器人通讯；43、手眼标定；44、目标检测；45、工件
初定位；46、辅助及测试。
具体实施方式
62.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
63.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
64.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
65.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
66.本技术实施例提供的3d相机点云配准的焊接工件初定位系统，主要包括：焊接机器人本体、机器人控制电气柜、上位机、3d相机及其相机支架。其中焊接机器人是系统的执行机构，带动末端焊移动；机器人控制电气柜负责机器人的运动控制和电力供给；焊接初定位系统运行在上位机上，负责整个系统执行的流程控制；3d相机获取工件点云，通过与上位机的网络通讯将数据传递到初定位软件；相机支架负责控制3d相机的高度，以便拍摄到高质量的点云。
67.示例性的，通过将3d相机安装在相机支架上，支架的横梁垂悬在工件的上方的合适高度，使得工件保持在相机的最佳拍摄视野中，并进行3d相机和机器人的眼在手外手眼标定工序，而后通过上位机控制3d相机进行拍摄获取工件的点云图，进而通过初定位软件算法确定工件模型在实际空间中的位置，从而完成工件的初定位。
68.示例性的，初定位系统的视觉传感系统主要包括工业高精度大视野3d相机(相对精度在1
‰
)，以及相应的眼在手外相机安装固定机构，相机安装机构经过避震设计并通过地脚固定在工厂地面，同时可以避免相机受到微小扰动破坏手眼标定。
69.示例性的，手眼标定标志物为自主设计的三通管标志物，通过点云配准算法可以精确的获取该标志物在相机坐标系下的位姿，即cameratobject。
70.示例性的，使用对偶四元数以及奇异值分解(svd)进行眼在手外手眼矩阵的计算，并以最小化归一化旋转轴向量点积作为手眼标定位姿的选取规则，并根据手眼矩阵计算误差下降趋势确定手眼标定位姿总数为20个，同时根据机器人可达性和上述手眼标定位姿选取规则给出了20个位姿的推荐位置。手眼矩阵计算完毕之后得到相机在机器人基坐标系下的位姿。
71.示例性的，工控机包括和大视野3d相机和机器人的各种接口，大视野3d相机和工控机之间的网络通讯数据量较大，工控机需配有千兆网口，大视野3d相机连接到该网口；同时工控机通过网线连接工业机器人控制柜，通过焊接初定位软件实现对工业机器人的运动控制。
72.示例性的，焊接初定位软件包括机器人通讯模块、相机控制模块、眼在手外手眼标定模块、焊接工件目标检测模块、焊接初定位模块以及cad模型转换模块。主要使用三维点云相关滤波降采样算法对大视野3d相机采集的点云进行处理，处理完毕之后通过点云配准算法获得焊接工件在相机坐标系下的位姿，通过手眼矩阵将焊接工件位姿传递给机器人。
73.图1为本技术实施例提供的一种3d相机点云配准的焊接工件初定位系统的结构示意图，如图1所示，本实施例中的系统可以包括：焊接机器人、机器人控制柜、焊、工控机、3d相机、相机支架、标定三通管，3d相机安装在相机支架上，并位于焊接区域的上方；标定三通管固定在焊上，且焊与焊接机器人的执行端活动连接；3d相机分别与机器人控制柜、工控机通信连接；机器人控制柜用于根据工控机的控制指令，控制焊接机器人执行焊接工作；其中，工控机用于：控制焊接机器人运动到预设的手眼标定位置，确定3d相机与焊接机器人基座之间的手眼矩阵；控制3d相机获取焊接场景的rgb图像，并对rgb图像进行处理，判断rgb图像中是否存在焊接工件模型，若存在，则确定焊接工件模型对应的类别；将3d相机拍摄获取的点云坐标转换到焊接机器人的基座标系下，通过点云配准确定焊接工件相对于焊接机器人的位姿。
74.图2为本技术实施例提供的一种3d相机点云配准的焊接工件初定位系统的功能单元结构示意图，如图2所示，
75.其各个功能单元包括工控机、3d视觉传感系统、手眼标定单元、焊接初定位软件、焊接机器人、机器人控制柜、待焊接工件。工控机分别与3d视觉传感系统和焊接机器人相连，并安装了独立编写的配套焊接初定位软件。3d视觉传感系统包括3d相机、网线和电源以及相机的安装支架；手眼标定单元包括三通管标定标志物以及将其安装固定到tcp末端的安装夹具；焊接初定位软件包括3d相机设计模块、机器人通讯模块、手眼标定模块、焊接工件目标检测模块、工件初定位模块以及辅助及测试模块。机器人控制柜控制焊接机器人进行运动，焊接工件位于3d视觉传感系统的视野范围内。
76.具体的，大视野3d相机通过相机支架进行安装，安装需要保证焊接工作台基本位于3d相机的视野之内，相机可以获得工件表面点云，将3d相机安装在支架上后，支架通过地脚螺栓固定在地面，保证3d相机不会因为人为触碰或者机器运动产生晃动。3d相机安装位置确定完毕之后进行与焊接机器人的手眼标定，手眼标定位姿经过特殊选取，保证手眼标定的精度
77.基于tcp/ip协议，通过焊接初定位软件使得工控机向工业焊接机器人的控制柜相应的ip地址和端口发送工作指令，工业焊接机器人提前内置好的机器人程序会监听该端口，当有工作指令时，会读取相应的工作指令并且解析进而控制机器人，任务成功执行后会向工控机做出反馈。避免了频繁使用示教盒来控制机器人，并且可以较快读取机器人坐标。
78.示例性的，基于3d相机附带的sdk，通过焊接初定位软件的3d相机设置模块使得工控机调节3d相机的曝光时间、采像频率、增益值等参数，并且可以控制采集点云图像的起始和终止。
79.示例性的，三通管相机标定标志物通过转接板与连接器和焊固定。固定后，不断移动到预设位姿。如图4所示，位姿选取基于最小化归一化旋转轴向量点积准则。本实施例中的归一化旋转轴向量点积理论上为零，归一化旋转轴向量相互垂直，并且各个位姿之间存在相互移动，实际操作过程中考虑到机器人可达性，归一化旋转轴向量点积仍然较小。同时综合考虑手眼标定精度以及手眼标定耗时的影响，最终确定手眼标定位姿为总数为20个。通过大视野3d相机拍摄获取三通管标志物点云。使用点云配准算法，将从三通管标志物cad模型中提取的点云作为源点云，将源点云置于坐标原点，三通管中单出口方向与x轴平行，双出口方向与y轴平行，并且只提取三通管的一半点云作为源点云用于配准，点云全部位于z轴正方向的空间内；大视野3d相机获得的三通管标志物点云作为目标点云。配准结果即是三通管标志物在大视野3d相机坐标系下的位姿，同时记录此位姿下的机器人六自由度坐标。将20组标定位姿和机器人六自由度坐标输入初定位软件中进行计算获得手眼标定矩阵。
80.图5为本技术实施例提供的一种3d相机点云配准的焊接工件初定位方法的流程图，如图5所示，程序初始化阶段涉及标定参数以及配准参数的读取、大视野3d相机和机器人硬件的扫描，确保相机和机器人都与上位机有正确的通讯。需要注意的是，进入主程序之后首先确定手眼标定矩阵是否在本地有保存，如果没有保存或者相机和机器人之间的相对位置改变，则需要按照上述流程进行手眼标定，否则需要跳过手眼标定步骤。
81.针对使用大视野3d相机进行焊接工件初定位的流程设计了相应的软件。图6为本技术实施例提供的3d相机的焊接工件初定位软件界面示意图，图7为本技术实施例提供的初定位软件的手眼标定、初定位、测试界面ui示意图。如图6所示，包括：相机操作控件、具体功能控件、点云显示控件和日志控件。如图7所示，包括：手眼标定控件、初定位控件、辅助及测试控件。软件针对整个大视野3d相机初定位流程设计，功能丰富，即使没有经过专业培训的人员也能在短时间学会软件的使用方法。
82.示例性的，初定位流程开始后，首先要将工件模型在工控机中的路径传递给本发明初定位软件。针对这一流程设计了焊接工件目标检测模块，可以通过大视野3d相机自带的rgb图像获得焊接场景的rgb图，并通过yolo目标检测算法获得图像中包含的工件具体种类。图8为本技术实施例提供的焊接工件目标检测模块工件检测结果示意图，如图8所示，展示了使用本焊接工件检测模块的检测结果，准确检测出了焊接工件的类型，初定位软件可以加载正确的工件模型。
83.示例性的，初定位软件根据相机精度以及焊接高度进行模型点云的采集，获得完整的工件模型点云图。而后通过大视野3d相机采集焊接场景点云图，通过移除大地平面，点云聚簇提取获取焊接工件相机原始点云图。典型焊接场景的模型点云和工件相机原始点云如图9(a)所示。
84.示例性的，点云粗配准和点云精配准过程需要质量良好的点云。在图9(b)中，展示了对焊接场景的模型点云和工件相机原始点云进行半径滤波之后得到的点云图，相比原始图像来说相机点云中的噪点数量降低，较少了粗配准算法运行过程中无效点对被选取的次数。在图9(c)中，展示了对焊接场景的模型点云和工件相机滤波点云进行体素降采样后得到的点云图，与滤波点云相比极大降低了点云的总数量，同时较为完整的保存了点云几何特性，减少点云粗配准的时间。
85.在图10(a)中，展示了典型场景下使用本技术实施例的粗配准方法s4pcs进行模型点云和相机点云配准得到的粗配准结果。图10(b)中，展示了典型场景下，以本技术实施例的粗配准结果矩阵作为初始预测矩阵，使用本发明的精配准方法robust icp进行模型点云和相机点云配准得到的精配准结果图。
86.进一步地，精配准之后获得工件在大视野3d相机坐标系下的位姿，通过眼在手外手眼矩阵将该位姿转换到机器人基座标系下，实现焊接工件位姿的确定。在本发明的指导下，焊接初定位流程复杂程度得到极大的降低，同时减少了人工的干预，提高了焊接离线编程的智能化和自动化程度。
87.进一步地，应用图1所示的3d相机点云配准的焊接工件初定位系统来进焊接工件的初定位包括如下步骤：
88.步骤s1：相机支架的安装和调试。
89.本实施例中，由于使用投射器的大视野3d相机重量通常在2kg并且体积大，为此在设计支架时，进行了防震设置。具体地，可以将相机支架通过地脚固定在地面，从而不易受外在人员触碰或者机器工作震动影响。
90.步骤s2、手眼标定标志物的设置。
91.本实施例中，使用三通管作为大视野3d相机的眼在手外标定标志物。大视野3d相机无法使用传统标定板的方式进行手眼标定，需要使用空间标志物。针对这一特性，以及相机的视野范围，使用具有明显空间集合特征的三通管作为标定标志物。
92.步骤s3、确定标志物位姿。
93.本实施例中，手眼矩阵计算需要获得标志物在相机坐标系下的位姿，为此使用点云配准算法，将从cad模型中提取的点云作为源点云，将源点云置于坐标原点。三通管中单出口方向与x轴平行，双出口方向与y轴平行，并且只提取三通管的一半点云作为源点云用于配准，点云全部位于z轴正方向的空间内；大视野3d相机获得的三通管标志物点云作为目标点云。配准结果即是三通管标志物在大视野3d相机坐标系下的位姿。
94.步骤s4、计算手眼矩阵。
95.本实施例中，使用基于对偶四元数和奇异值分解的求解ax＝xb手眼矩阵的计算方法。并在该计算方法的误差分析公式基础上提出了以最小化归一化旋转轴向量点积作为手眼标定位姿的选取规则，同时根据手眼标定位姿个数对手眼标定精度影响图结合工程实践中机器人的可达性和标定效率等因素，确定了手眼标定位姿的最终个数。
96.步骤s5、获取相机点云图像。
97.本实施例中，通过统一接口对不同品牌相机进行管理，相机模块具有高可拓展性，并且归纳总结大视野3d相机关键参数，设计参数调节界面，便于获得高质量的大视野3d相机点云图像。
98.步骤s6、点云预处理。
99.本实施例中，大视野3d相机获取场景原始点云较为杂乱，包含无用大地平面，工件表面点云以及噪声点云，需要先对获取的点云图像进行处理。首先通过ransac平面拟合算法剔除大地平面，移除大量来自地面的无效点云信息，之后通过点云滤波算法对依旧充满噪声的工件表面点云进行滤波处理。
100.在一种可选的实施方式中，使用的点云滤波算法包括半径滤波算法和统计滤波算
法：半径滤波基于kd树进行空间距离计算，算法过滤的逻辑是如果某个点，其空间为半径r球体内其他点的数量小于n，则该点将被移除。半径滤波算法主要针对离噪点进行过滤，将点云输入半径滤波计算器中，输出点云的无效离点被剔除。统计滤波算法对每个点的邻域进行统计分析，统计每个点到所有临近点的距离高斯分布，并基于该分布的进行统计性的点云过滤。该方法主要使用在剔除离点之后对于点云表面的边缘翘起点云的过滤，进一步提高3d相机获取到的点云的质量。
101.步骤s7、焊接工件目标检测。
102.本实施例中，使用基于yolo v5的目标检测网络，使用yolo v5m6预训练权重进行焊接工件检测模块的训练，使用数据增强丰富焊接模型数据集中的采集到的图片数量。提高，同时针对焊接工件的不同摆放形状采集图片，对于不同的焊接工件姿态都能进行快速准确的识别。在初定位软件中建立目标检测结果与模型的多对一对应，目标检测完成之后，初定位软件即可加载模型文件。
103.步骤s8、点云配准。
104.本实施例中，大视野3d相机获得的点云经过算法预处理后，得到焊接工件在3d相机视野内的表面点云，该焊接工件表面部分点云作为点云配准算法的目标点云，从该工件的cad模型提取的点云作为点云配准算法源点云。点云配准算法分两步进行，首先是粗配准，而后是精配准。
105.在一种可选的实施方式中，粗配准算法使用super 4point congruent set algorithm(super 4pcs算法)，super 4pcs算法基于随机抽样一致算法，在源点云和目标点云的选取上利用四点两两构成相交线存在比例关系，进行对应点选取，同时在选取的过程中移除了错误对应，提高了计算时间。使用s4pcs算法作为粗配准方法，计算时间较短，粗配准的准确度高。精配准算法使用robust icp算法，robust icp算法在传统迭代最近点算法(icp)的基础上，使用welsch’s function对传统icp基于最近点距离的目标函数进行优化，同时降低了icp算法陷入局部最优的概率。结合使用super 4pcs以及robust icp算法，得到了较为准确的点云配准效果，提高了工件定位的精度和速度。
106.本技术实施例还提供一种3d相机点云配准的焊接工件初定位设备可以包括：处理器和存储器。
107.存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)，如静态随机存取存储器(英文：static random-access memory，缩写：sram)，双倍数据率同步动态随机存取存储器(英文：double data rate synchronous dynamic random access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
108.上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
109.处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
110.具体可以参见前面方法实施例中的相关描述。
111.处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
112.本实施例的3d相机点云配准的焊接工件初定位设备可以执行上述方法中的技术方案，其具体实现过程和技术原理参见上述方法中的相关描述，此处不再赘述。
113.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
114.此外，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
115.以上是本发明的核心思想，为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
116.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
117.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

技术特征：

1.一种3d相机点云配准的焊接工件初定位系统，其特征在于，包括：焊接机器人、机器人控制柜、焊、工控机、3d相机、相机支架、标定三通管；所述3d相机安装在所述相机支架上，并位于焊接区域的上方；所述标定三通管固定在所述焊上，且所述焊与所述焊接机器人的执行端活动连接；所述3d相机分别与所述机器人控制柜、所述工控机通信连接；所述机器人控制柜用于根据所述工控机的控制指令，控制所述焊接机器人执行焊接工作；其中，所述工控机用于：控制所述焊接机器人运动到预设的手眼标定位置，确定所述3d相机与所述焊接机器人基座之间的手眼矩阵；控制所述3d相机获取焊接场景的rgb图像，并对所述rgb图像进行处理，判断所述rgb图像中是否存在焊接工件模型，若存在，则确定焊接工件模型对应的类别；将所述3d相机拍摄获取的点云坐标转换到所述焊接机器人的基座标系下，通过点云配准确定焊接工件相对于所述焊接机器人的位姿。2.根据权利要求1所述的3d相机点云配准的焊接工件初定位系统，其特征在于，所述相机支架包括：底座部分和支架部分，所述底座部分采用长度不小于350mm的正方形钢板，且所述底座部分通过螺栓与地面紧固连接；所述支架部分采用中空的矩形钢管，且所述支架的总长度不小于3500mm；其中，所述3d相机的支架主体通过可调节的螺栓安装在所述支架部分的横梁位置。3.根据权利要求1所述的3d相机点云配准的焊接工件初定位系统，其特征在于，所述3d相机的工作高度位于1500mm～2500mm范围内，且在所述3d相机的工作高度下，保持视场不小于1500mm
×
1500mm。4.根据权利要求1所述的3d相机点云配准的焊接工件初定位系统，其特征在于，所述标定三通管通过转接板与连接器固定在所述焊上；在焊接机器人的带动下，所述焊上的标定三通管道不断移动到预设位姿，并通过所述3d相机拍摄获取空间位姿，用以确定手眼标定矩阵。5.根据权利要求4所述的3d相机点云配准的焊接工件初定位系统，其特征在于，所述预设位姿是通过最小化归一化旋转轴向量点积选取得到的；所述手眼标定矩阵是通过对偶四元数，以及奇异值分解进行眼在手外的手眼矩阵求解得到的。6.根据权利要求1-5中任一项所述的3d相机点云配准的焊接工件初定位系统，其特征在于，所述工控机中加载有手外手眼标定模块、yolo目标检测模块、焊接工件初定位模块、模型测试模块、通讯模块，以及点云显示模块，其中：所述手外手眼标定模块，用于根据标定三通管道在所述3d相机坐标系下的位姿，确定手眼标定位姿；所述yolo目标检测模块，用于对焊接工件模型的位姿进行识别和检测，确定焊接工件模型的类别；所述焊接工件初定位模块，用于执行焊接工件模型点云提取、焊接工件相机点云提取、焊接工件相机点云roi提取、焊接工件相机点云滤波、焊接工件模型点云降采样、焊接工件模型点云与焊接工件相机点云之间的粗配准、焊接工件模型点云与焊接工件相机点云之间的精配准，确定焊接场景下焊接工件的位姿。
7.根据权利要求6所述的3d相机点云配准的焊接工件初定位系统，其特征在于，焊接工件模型点云提取采用基于工件模型表面积的随机采样以及降采样算法。8.根据权利要求6所述的3d相机点云配准的焊接工件初定位系统，其特征在于，焊接工件模型点云与焊接工件相机点云之间的粗配准采用基于s4pcs的点云配准算法；焊接工件模型点云与焊接工件相机点云之间的精配准采用粗配准算法获得的刚性变换矩阵作为初始预测矩阵，并使用基于welsch’s function对icp目标函数进行优化的robust icp算法。9.一种3d相机点云配准的焊接工件初定位方法，其特征在于，应用于权利要求1-8中任一项所述的3d相机点云配准的焊接工件初定位系统中，所述方法包括：确定焊接机器人tcp标定精度，以及所述焊接机器人与所述3d相机的手眼标定是否完成；若焊接机器人tcp标定精度不大于预设值，或未完成手眼标定，则重新进行焊接机器人tcp标定，以及重新进行焊接机器人与3d相机的手眼标定；导入焊接工件模型，并提供文件路径；根据所述3d相机的精度对导入的焊接工件模型进行采样，获取焊接工件模型点云；通过所述3d相机获取焊接工件相机点云；通过焊接工件模型点云和焊接工件相机点云的配准，确定焊接工件在空间中的位姿。10.权利要求9所述的3d相机点云配准的焊接工件初定位方法，其特征在于，还包括：对焊接工件在空间中的位姿进行保存，用于在离线时进行位姿调用。

技术总结

本发明提供了一种3D相机点云配准的焊接工件初定位系统和方法，包括：焊接机器人、机器人控制柜、焊、工控机、3D相机、相机支架、标定三通管；3D相机安装在相机支架上，并位于焊接区域的上方；标定三通管固定在焊上；3D相机分别与机器人控制柜、工控机通信连接；工控机控制焊接机器人运动到预设的手眼标定位置，以确定3D相机与焊接机器人基座之间的手眼矩阵；控制3D相机获取焊接场景图像，并对图像进行处理，以确定焊接工件模型对应的类别；将3D相机拍摄获取的点云坐标转换到焊接机器人的基座标系下，通过点云配准确定焊接工件相对于焊接机器人的位姿。从而能够使得手眼标定的精度得到提升，初定位方法的准确性和可靠性更高。初定位方法的准确性和可靠性更高。初定位方法的准确性和可靠性更高。