基于HALCON的板料成形网格应变的测量
项辉宇;刘倩倩;韩宝安;李鹤
【摘 要】计算机视觉在网格应变测量领域的应用已成为研究热点,本实验是基于先进的图像处理软件HALCON,利用双目立体视觉原理,对印制有圆形网格的板料应变测量.首先采用印制有圆形标志点的平面标准标定板,对摄像机进行标定,获得摄像机的内外参数.采用基于NCC的匹配方法对左右图像特征点进行匹配,利用视差原理获得匹配点的三维坐标,对印制有圆形网格的板料进行三维重建.然后根据圆形网格变形后的椭圆长短轴的长度变化,计算得到真实应变,用OpenGL语言将应变可视化. 【期刊名称】《机电产品开发与创新》
【年(卷),期】2014(027)003
【总页数】4页(P125-128)
【关键词】标定;立体匹配;三维重建;HALCON;应变可视化
【作 者】项辉宇;刘倩倩;韩宝安;李鹤
【作者单位】北京工商大学材料与机械工程学院,北京100037;北京工商大学材料与机械工程学院,北京100037;北京工商大学材料与机械工程学院,北京100037;北京工商大学材料与机械工程学院,北京100037
水塔水位控制
【正文语种】中 文
【中图分类】TP39
传统接触式的应变测量方法已无法完成对大挠度塑形变形的应变测量，工具显微镜法[1]是板料成形的传统应变测量方法，其采用圆形阵列网格，通过工具显微镜直接读取变形后的椭圆的长短轴长度，并与初始圆网格的直径进行比较，从而获得单个圆形区域的应变值，对手工操作的依赖性较大，效率和精度较低，难以解决复杂板件的应变测量。采用HALCON进行非接触式的快速精确的应变测量方法已在各领域都得到广泛的应用。HALCON拥有一套图像处理库，由一千多个独立的函数以及底层的数据管理核心构成。包含了滤波，彩以及几何、数学转换，形态学计算分析，校正，分类辨识，形状搜寻及影
像计算等功能，基于HALCON强大的计算分析能力，应用范围几乎没有限制，涵盖从医学，遥感探测，监控，到工业上的各类自动化检测[2]。本实验利用强大的HALCON的算子和算法实现对板料成形网格应变的测量。玻璃磨边
双目立体视觉标定的流程如图1所示。为了进行摄像机标定，必须在世界坐标系中已知足够多空间点的三维坐标，到这些点在图像坐标系中的坐标，并建立对应关系，通常将容易提取特征的目标物或标志放置在一个已知位置上。本实验中使用的是（60×60）mm平面标准标定板。
利用算子open_frameg-rabber()打开和配置选定的图像获取设备，利用算子grab_image()实时采集图像。通过while循环，利用get_mposition()算子，实现鼠标左键点击图像窗口时进行图像采集并保存。为了简化复杂的非线性问题，需要给定摄像机的初始参数，摄像机参数包括焦距、畸变、像元大小、图像中心点坐标以及图像大小。本实验中使用的摄像机参数为Start-Paramater=[0.016,0,5.2x10-6,5.2x10-6,640,512,1280,1024]。然后将抓取的图像利用算子find_caltab ()提取标定板内部区域。到标定对象上的内部区域之后利用算子find_marks_and_pose()从图像中提取2D标定标志，并计算摄像机外部参数的初始值，
该算子使用亚像素边缘提取方法来提取标志点的边缘如图2所示。确定了标志点与它们在图像中投影之间的对应关系后，利用算子binocular_calibration()根据上述过程可以计算出双目立体视觉系统中摄像机的内部参数以及两个摄像机之间的位置关系，结果如图3所示。
为使摄像机参数更加准确，需要有足够多的标定图像，因为摄像机参数之间存在不容忽视的相关性，这些参数只能通过多次无关测量进行求解。标定板在标定图像中最好能够覆盖整个视野，这样可以使计算得到的畸变k更加准确。如果标定板可以覆盖较大的深度范围，所得到的摄像机参数会更准确，可以通过将标定板绕其x轴和y轴旋转一定角度，或者将标定板放置在与摄像机不同距离的位置上，以增大标定板覆盖的深度范围[3]。
2.1 立体匹配
进行立体重构主要的一步就是得到图像中每个点的视差，一般是指第一幅图像的所有点，求视差的过程可以看做模板匹配问题。图像的匹配就是要出同一目标在左右成像面上的特征对应关系，根据二者视差恢复图像的深度信息[4,5]。一般情况下基于灰度值的匹配方法是立体匹配中最快的方法。最简单的计算相似度量[6]的方法是SAD （sum of absolute gray value differences）和SSD（Sum of squared gray value differences），对于立体问
题来讲，可使用如下等式表示：
这两种相似度量方法的运算速度非常快，不过这两种方法受光照变化影响比较大，而由于两个摄像机视角不同，加之被测对象本身等原因，光照变化在立体重建中经常出现，因此在一些应用中必须使用归一化互相关方法（NCC）计算相似度量，在解决立体匹配时，可以使用下式表示：
式中，mi和si（i=1,2）分别表示第一幅和第二图图像中窗口部分的均差和标准差。使用归一化互相关方法可以保证线性的光照变化不会导致互相关系数发生变化。
2.2 匹配过程
在HALCON中调用相关算子进行匹配并得到视差图，匹配过程流程图如图4所示。视觉智能识别系统
摄像机标定完成后，在摄像机相对位置以及各项内部参数均未发生改变的情况下，获取变形后的板料的左右两幅图像。为简化匹配过程需要对图像进行校正，实现两幅图像处在同一平面，根据极线约束原理，对于左图像中一点，其在右图像中的匹配点肯定位于与该点在左图像相同的行上，这样匹配的过程中只需在与已知点的相同行上进行搜索即可。利用
标定得到的摄像机内外参数对图像进行变换，使得变换后的图像共轭极线共线，并平行于图像的水平轴。算子gen_binocular_rectification_map()用于创建校正后图像对所在的图像平面，而map_image()将测量图像投影到刚创建的图像平面，对板料图像进行校正后的图像如图5所示，此时左右图像中对应匹配点位于相同的行上，匹配结果如图6所示。
废塑料炼油
HALCON中算子binocular_disparity()利用相关一致性技术，计算校正后的两幅图像之间像素级精度的对应关系，输出结果为视差图和匹配分值图，如图7所示。两幅图像均是参考第一幅校正图几何，即第一幅校正图像中点的视差就是视差图中位置处的灰度值。在视差图中匹配失败的区域以白显示，而在匹配分值图中则以黑显示。
3.1 三维重建过程
整个三维重建过程如图8所示。在HALCON中算子draw_rectangle2()定义区域并利用算子reduce_domain ()来创建感兴趣区域ROI。利用算子edges_sub_pix()对ROI进行亚像素精度边缘提取，配合使用算子select_contours_xld()和select_shape_xld()，对提取的边缘进行选择，由于印制的网格有一定的宽度，因此每个圆形网格均会有内边缘和外边缘。
本实验中使用自编的算子sort_contours_xld_by_line ()，实现按线段或直线对提取的椭圆轮廓进行排序。在HALCON中，先按照轮廓排列顺序，从中选出一个，然后用算子fit_ellipse_contour_xld()进行椭圆拟合，得到拟合后椭圆的各项参数包括中心坐标、长短轴方向、长短轴长度以及长短轴终点坐标，将内外轮廓对应的这些参数按照排列顺序进行平均运算，得到真实位置椭圆的各项参数，再利用算子gen_ellipse_contour_xld()生成椭圆。
3.2 三维坐标转换
双目立体模型在经过校正后变成了双目平视模型，空间点在两图像中的投影 （称为共轭点）的图像坐标分别可表示为：
矩阵切换
共轭点在两图像上的位置差称为视差d，即：iomv
其中焦距f和基线b均为校正后的图像参数，为已知，而视差d由算子binocular_disparity()求得，这样空间点的三维重建将大大简化。
算子disparity_to_point_3d()以校正后的摄像机参数、图像坐标和视差值为输入参数，将图像坐标转换为校正立体系统下的三维坐标（Xc，Yc，Zc）。
