张青
【摘 要】机器人作为智能制造最具代表性的装备,在宝钢连铸机上已经实施.连铸机浇铸机器人在进行大包滑动水口油缸安装、大包介质管线连接和大包长水口更换等作业时,工件和机器人相对位置姿态会发生改变,而双目视觉定位系统可以引导机器人重新定位.介绍了双目视觉定位系统的基本原理,以及如何利用HALcon机器视觉软件开发宝钢连铸机浇铸机器人双目视觉定位系统.实践表明,双目视觉定位系统可有效计算出大包坐包和回转过程中的偏移,实现机器人精确定位. 【期刊名称】《宝钢技术》
【年(卷),期】2019(000)001
双腔减压【总页数】6页(P58-63)
【关键词】HALcon软件;连铸机浇铸机器人;双目视觉
引线器
【作 者】张青
【作者单位】宝钢工程技术集团有限公司,上海201999
【正文语种】中 文
【中图分类】TP242.2
在钢厂连铸车间,大包滑动水口油缸安装、介质管线连接,长水口更换、清洗、烧氧,中间包加覆盖剂,测温,取样、定氢、定氧等都属于危险、肮脏、重负荷重复性劳动岗位。借助机器人技术可以实现装备的智能化和无人化,提高生产自动化水平和作业效率,降低劳动强度。2017年末,普锐特公司为宝钢股份炼钢厂宽厚板连铸机增加了1套机器人(KUKA C4系统)浇铸系统,实现了上述功能,其中机器人双目视觉定位子系统是关键技术环节。
1 大包滑动水口机构的定位需求
通常,机器人通过示教只能对固定位置姿态的工件进行抓放,当工件和机器人相对位置姿态发生改变后就无法完成相应的动作,此时必须由其他定位系统引导机器人重新定位才能继续工
作。连铸机大包滑动水口机构安装在大包底部,大包的坐包和回转会造成其相对机器人位置姿态并非固定不变,所以在机器人进行大包滑动水口油缸安装、大包介质管线连接和大包长水口更换等工作时需要1套对大包滑动水口机构定位的解决方案,以实现对机器人动作的引导。
宝钢股份炼钢厂宽厚板连铸机使用的机器人定位引导装置系统是在HALcon软件平台上开发的双目视觉系统。HALcon软件是德国MVtec公司的图像处理软件,是世界公认的具有最佳效能的机器视觉软件,其提供了大量的图像处理算子,可极大地降低机器人视觉系统开发难度。
2 机器人双目视觉定位原理
通讯加密
库卡(KUKA)机器人的基坐标系是根据世界坐标系在机器人周围的某一个位置上创建的坐标系,其目的是使机器人的运动以及编程设定的位置均以该坐标系为参照,当该参考点在世界坐标系中发生位置姿态偏移时,只要对基坐标进行修正就可让机器人到目标物。一般工件支座和抽屉的边缘、货盘或机器的外缘均可作为基坐标系的合理参照点[1]。
机器人通过三点法(原点、X轴正方形点、XY平面Y正值点)可建立机器人基坐标系(图1),以FRAME数据结构存储。当基坐标移动后,只要知道新旧基坐标的变化关系,就可通过变换空间几何计算获得新的基坐标系。在KUKA C4KRL中通过“:”算符实现计算。
BASE_Calculate=
BASE_Calibration :FRAME_Change
(1)
式中:BASE_Calibration为三点法标定的基坐标系;FRAME_Change为相机检测到基坐标的变化量;BASE_Calculate为新的修正后的基坐标系。
图1 机器人的基坐标 Fig.1 The base of robot
KUKA的FRAME数据类型为欧拉角表示法:(X,Y,Z,a,b,c),其中X,Y,Z为坐标值,a,b,c为旋转角度。坐标系转换过程为:先平移坐标原点至(X,Y,Z),接着绕Z轴旋转a角度,然后绕Y轴旋转b角度,最后绕X轴旋转c角度。
2.2 齐次变换矩阵
在三维中一般用齐次变换矩阵(图2)来描述坐标系之间的位置姿态变化,其与机器人的FRAME数据类型(欧拉角表示法)等价,在HALcon软件中主要使用齐次变换矩阵进行描述和计算。酮康唑香波
图2 齐次变换矩阵Fig.2 Homogeneous transformation matrix
齐次变换矩阵用于求解运动坐标系{A}中的固定点P在固定参考坐标系{B}中的位置对于给定的坐标系{A}、{B}、{C},已知{B}相对{A}的描述相对{B}的描述则{C}相对{A}的描
2.3 双目视觉原理(极几何)
对于双目视觉系统,即有两个摄像机,定义两个摄像机的光学中心点为C、C′,在三维空间中存在一个场景点X,这个点与两个摄像机光学中心点共同构成的平面就是极平面π(epipolar plane),每个摄像机都有一个图像平面,分别为Image1和Image2,CX交Image1于x点,C′X交Image2于x′点,而CC′连线分别交两个图像平面于e和e′,这两个点称为极点,CC′称为基线。极平面与图像平面相交于两条极线l和l′,这两条极线的关系是对应的,而x、e、x′、e′分别位于l
和l′上,如图3所示。
图3 极几何原理Fig.3 The principle of epipolar
随着三维场景点的移动,极平面将绕着基线转动,这些极平面共同构成一个极平面束,与图像平面交汇成的极线族分别都交于两个极点e和e′[3-4]。
通过对相机的参数标定可知C相对于C′的位置姿态关系(即齐次变换矩阵),假如知道X投射在图像平面Image1上的投射点x的位置和X投射在图像平面Image2上的投射点x′的位置,就能计算只要确定标定板上3个点的位置,利用三点法就可求得相机光学原点坐标系{C}相对于目标板坐标系{P}的齐次变换矩对矩阵求逆在标定和测量时分别求矩阵相乘(等价于KUKA算符“:”)求出当前目标板坐标系{Px}相对于目标板标定时的坐标系{P0}的齐次变换矩阵,转换成FRAME格式,即为FRAME_Change。
3 宝钢连铸机浇铸机器人双目视觉定位系统
3.1 系统构成
宝钢连铸机浇铸机器人视觉系统组成如图4所示:带基准定位板的滑板机构(每套机构的基准定位板与滑板机构相对位置保持一致),1套照明系统,2套带保护罩的CCD相机+镜头,1台双目视觉计算的计算机,1台KUKA C4机器人。CCD相机与计算机通过POE千兆以太网相连,支持GigE Vision 2.0协议,实现对图像的采集。计算机与KUKA C4系统使用PROFINET协议连接,实现计算结果传输到机器人系统。
图4 机器人双目视觉系统组成Fig.4 Composition of the robot binocular vision system
3.2 双目视觉系统测量程序
3.2.1 相机标定
双目视觉的基本任务是从摄像机获取的图像信息出发计算三维空间中物体的几何信息。空间物体表面某点的三维几何位置与其在图像中的对应点之间的相互关系是由相机成像的几何模型(极几何)决定的,这些几何参数包括相机本身参数和两个相机间的相互位置关系。
在HALcon软件中使用HALcon标定板标定(图5),标定板的制作算子如下:
gen_caltab(::XNum,YNum,
MarkDist,DiameterRatio,
CalTabDescrFile,CalTabPSFile:)打地鼠游戏机
(2)
式中:XNum为每行黑标志圆点的数量;YNum为每列黑标志圆点的数量;MarkDist为两个就近黑圆点中心之间的距离;DiameterRatio为黑圆点半径与圆点中心距离的比值;CalTabDescrFile为标定板描述文件的文件路径(.descr);CalTabPSFile为标定板图像文件的文件路径(.ps)。
图5 HALcon标定板 Fig.5 HALcon calibration plate
根据标定板图像文件制作好标定板后就可以对相机进行标定,流程如下:
(1)初始化相机参数算子(StartCamPar:)。
StartCamPar:=(focus,kappa,
Sx,Sy,Cx,Cy,imagewidth,
imageheight,cameraparam)
(3)
式中:focus为焦距;kappa为畸变系数(泰勒级数的第一项,初值为0);Sx为x方向象元间的距离;Sy为y方向象元间的距离;Cx为图片x方向光心坐标(初值为imagewidth/2);Cy为图片y方向光心坐标(初值为imageheight/2);Imagewidth为图片宽度方向像素;Imageheight为图片高度方向像素;cameraparam为初始化后的相机参数结构变量。
