作者：卢 军，王贤锋，后德家
来源：《湖北农业科学》 2012年第21期
卢 军，王贤锋，后德家
（华中农业大学理学院，武汉 ４３００７０）
摘要：概述了近年来国内外水果采摘机器人视觉系统的特点并进行了分析和归类，分析了不同视觉系统和方法的主要特征、所使用的传感器、检测水果的图像处理技术策略、检测效果以及系统的优点和局限性，并对研究的现状进行了综述。经分析发现大多数视觉系统是通过电荷耦合器件（ＣＣＤ）摄像机来获取图像，利用颜和纹理分析作为特征，由各种分类器进行水果的检测，通过多相机或者距离传感器来进行空间定位和尺度测量。指出了水果采摘机器人视觉系统存在的问题和有待改进的方面，并初步提出了一些设想和建议。 关键词：水果；采摘机器人；机器人视觉；空间定位；颜和纹理分析
中图分类号：ＴＰ２４２．６＋２减压蒸馏
文献标识码：Ａ
文章编号：0439－８114（２０12）21－4705-04
水果种植业的迅速发展提升了果园机械的市场需求。采摘作业所用劳动力占整个生产过程所用劳动力的３３％～５０％，采摘作业比较复杂，季节性很强，若使用人工采摘，不仅效率低、劳动量大，而且容易造成果实的损伤，直接影响到水果的品质。使用采摘机器人不仅提高了采摘效率，而且降低了损伤率，节省了人工成本，提高了果农的经济效益，因此，提高采摘作业机械化程度具有重要意义。随着农业从业者的减少及老龄化趋势的不断加大，采摘机器人的开发利用具有巨大的经济效益和广阔的市场前景，符合社会发展的需求。
任何一种水果采摘机器人的正常工作均依赖于对作业对象的正确识别，因而要实现水果采摘机器人对水果的收获，关键是要从果树中识别出水果并确定水果的准确空间位置，以便为机械手的运动提供参数，完成水果的采摘。因此，视觉系统性能的好坏会直接影响到水果采摘效果。视觉系统的性能应从精度和速度两方面来评价。影响视觉系统精度和速度的因素较多，比如不稳定的光照、风、水果和树叶的相互遮盖、水果自身生长程度不一等等。目前仅依靠机器视觉识别水果的方法还未能达到商业化程度，要尽快改进算法、降低使用成本、缩短采摘时间、提高机器识别率和采摘效率［１］。
１ 水果识别研究进展
１．１ 非绿水果识别研究进展
国内外在机器人采摘领域已进行了不少研究，视觉系统的采摘对象主要集中于颜和背景差距较大、形状规则的水果，如接近红的苹果、柑橘、番茄等［２］，由于目标与背景颜的差距大，通过不同的颜特征可以较好地实现对图像的分割，将水果从复杂的背景中提取出来。形状规则的则可通过提取其边缘特征，通过模式识别等方法将水果从复杂的背景图像中提取出来。也有部分工作将颜特征和形状特征予以整合，从而提高识别的精度和效率。为了克服光照不均匀的现象，部分研究增加频闪光来改善照明条件，或者采用近红外光、超声成像的方式来获取图像。另外，也有将多类图像进行整合，采用图像融合技术来实现水果检测的研究［３］。
对于树上的非绿水果，主要提取颜特征、结合使用纹理特征和形状特征进行检测是多数采摘机器人视觉系统所采用的技术手段。蔡健荣等［４］利用彩摄像机将获取到的ＲＧＢ彩图像转换到ＨＩＳ颜空间，并将调和饱和度结合产生融合图像，利用大津（Ｏｔｓｕ）算法自动获取分割阈值，提取目标区域；然后利用提取的区域形态特征进一步分割图像，去除颜类似的枯叶和其他背景，提取成熟水果区域。徐惠荣等［５］建立了利用柑橘、树叶、树枝在Ｒ-Ｂ 颜指标上的差异进行树上柑橘识别的颜模型，并利用动态阈值法，根据图像特征动态产生阈值Ｔ，将柑橘从背景中分割出来，试验结果表明在顺光和逆光条件下识别率均较高。古辉等［６］提出一种结合多种颜特征和纹理特征进行分割的方法，能有效解决果蔬目标和背景颜差异较小时的果蔬对象识别问题；同时，
提出一种新理念解决果实被部分遮挡时中心点和采摘点确定问题，且利用几何校正方法有效定位了叠加的多个果蔬，试验结果表明该算法效果良好。蔡健荣等［７］采用２Ｒ－Ｇ－Ｂ差分量，通过Ｏｓｔｕ自适应阈值算法进行图像分割，利用形态运算消除随机噪音，并对分割区域进行标记，利用区域面积和区域最小外接矩形长宽比参数进一步去除背景区域；对于多果重叠问题，利用Ｔ＝Ｓｑｒｔ（Ｓ×Ｉ） 形成新的图像提取边界，再结合形态学运算实现分割；最后利用优化的圆形霍夫变换提取目标图像的形心坐标及半径，恢复遮挡果形；经验证，有９５％的果实能被正确识别。郭峰等［８］利用基于ＯＨＴＡ颜空间的图像分割方法从背景中分割草莓，通过计算二值化草莓分割块的惯性主轴来判断草莓的姿态，并根据草莓的成熟度实现了果实的选择性采摘；试验证明该方法的平均判别速度为１ ｓ/个，果柄误判率为７％，在采摘过程中仅对５％的果实造成损伤。姜莉等［９］研究了自然光照条件下成熟石榴的识别，利用同态滤波进行图像增强，将图像从ＲＧＢ空间转换到ＨＩＳ空间，并将调和饱和度融合，有效去除暗背景和灰背景，利用区域面积并结合形态学特征去除噪音实现区域分割，最后利用优化后的霍夫变换提取形心和半径，恢复遮挡果形。盛泽坯布网
同时，也有一部分工作通过采用较复杂的图像处理技术和模式识别方法，达到了不错的检测效果。蔡健荣等［１0］采用遗传算法得到描述柑橘形状的最佳拟合椭圆参数，因任意椭圆都可以用５个变量描述，对这些变量进行二进制编码使之形成初始的基因码，在给定的图形匹配率公式的作用下进行遗传运算可以得到全局最优解，通过对变量添加一些约束条件，提高遗传算法收敛速度，试验结果表
明该算法相对传统的圆形霍夫变换算法减少了空间需求和时间消耗，且利用椭圆来描述柑橘外形更接近真实情况。实验室废液桶
１．２ 绿水果识别研究进展
近几年，对于树上绿水果的检测逐渐成为国内外农业机械领域的一个研究热点，通过采用许多新的图像处理方法和手段获得了树上绿水果识别定位研究的成果。树上绿水果的检测技术对于成熟绿水果的自动收获、水果产量的前期估计和销售策略的制定等方面具有重要意义。
固化闪电之源 由于果树的树叶颜为绿，所以将绿的水果从树冠中分割识别出来比识别非绿水果难度要大得多，绿水果在分割识别时颜将不能作为一个主要特征，所以得寻求其他能够有效区分水果与树叶及背景的技术手段和检测算法，近几年围绕绿水果的识别也派生出了一系列的工作。
司永胜等［１1］以８×８像素的正方形区域为分割单位，选择颜差Ｒ－Ｂ作为颜特征，选择灰度均值、标准偏差和熵作为纹理特征，形成特征向量空间，采用间隙统计法确定苹果图像的最佳聚类数。将特征向量空间和最佳聚类数作为输入，运用均值聚类对树上绿苹果图像进行聚类和分割。试验结果表明该算法能有效处理光照且果实识别的正确率达到８１％。Ｆｅｒｈａｔ等［１2］利用颜、环形Ｇａｂｏｒ滤波器提取的纹理特征以及特征果（类似于“特征脸”）组合成的特征向量，通过在３个不同尺度上滑动３个子窗口从而在整幅图像中寻绿柑橘。每个子窗口分类３次并利用多数
滤油机滤布投票的方式确定最终的分类结果，试验结果表明在验证集上有７５．３０％的真实水果被正确检出。Ｒａｐｈａｅｌ等［１3］通过４个步骤实现了从彩图像中估计绿苹果数量的算法，首先利用颜和平滑度来检测每个像素属于苹果的概率，然后将高概率且连通的区域定义为种子区域，接着将种子区域的边界分割为很多小段的弧，最后将这些弧组合起来并与理想的苹果模型进行比较，从而获得最终的检测结果。在两个验证集上的试验均表明该算法的识别率达到８５％以上。
Ｈｉｒｏｓｈｉ等［１4］通过高光谱成像及图像处理算法的方式实现了树上绿柑橘的识别。利用波长在３６９～１ ０４２ ｎｍ的高光谱相机对不同品种的绿水果成像，基于线性判别函数实现了高光谱图像的分割，通过空间域处理分割图像，检测出绿的柑橘。水果检测试验表明在测试集上８０％～８９％的水果被成功检出，但是对于被遮挡和高对比度的水果检测存在困难。Ｗａｃｈｓ等［１5］利用近红外热成像和视觉成像融合的方式，利用低层和高层视觉特征分别作用于两类图像模式，并采用互信息最大化的方式来优化参数，采用自适应投票的方式实现了决策级的图像融合，最终实现树上绿苹果的识别，其融合后的识别精度约为７５％。
２ 水果空间定位机制研究进展
采摘机器人的视觉系统不仅仅要能够从背景中检测出树上的水果，而且要能够对视场中的水果进行空间定位，从而指导自身的末端执行器件完成水果采摘作业。树上水果通常采用双目相机和多目相机，
通过多视几何方法和立体匹配技术进行空间定位；也有一些工作通过结合相机和其他距离传感技术来进行空间定位。
Ａｌｅｓｓｉｏ等［１6］利用装在两个机械手臂上的４个相机同时获取４幅图像，并分别对左右手臂上的两台相机获取的两幅图像进行立体匹配以获得惟一的中心，然后将二维坐标映射到三维空间。对于左右手臂获得的目标，通过立体匹配技术和动态优化技术分配由哪个手臂实现采摘，并且在采摘过程中不断对目标位置进行修正。周俊等［17］利用双目视觉相机获取图像，利用霍夫变化检测出果实目标，并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型，从而获得目标质心的空间位置坐标，同时还在机械手上添加了单目摄像机以实现小尺度的精确伺服定位。Ｒａｋｕｎ等［18］通过整合物体颜、纹理以及三维形状信息来识别水果，利用多视几何方法来进行空间定位，较好地处理了光照不均匀、部分遮挡以及相似背景等问题，最终实现了估计图像中的水果数量、半径以及产量等目标。
在采用新的传感技术手段及图像融合技术进行识别和定位方面，也派生出一些新的工作。Ｊｉｍｅｎｅｚ等［19］利用红外激光测距仪获得树上球形水果的深度图像和反射图像，再整合这两种图像获得边界像素、顶部像素、凸区域和反射区域等４个原始特征，然后通过圆形霍夫变化算法获得球形水果的空间位置、半径和反射率等参数，该算法应用到柑橘采摘机器人上获得了较好的效果。Ｂｕｌａｎｏｎ等［２0］采用结合机器视觉系统和激光距离传感器的方式定位水果，其中用机器视觉系统识
别苹果，用激光距离传感器来测量距离，田间试验结果显示末端执行器能够在７．１ ｓ的时间内采摘单果，采摘成功率达到９０％。
３ 存在的问题与展望
３．１ 水果生长条件的不确定性
水果采摘机器人的作业对象是具有生命的离散个体，不同种类的水果具有不同的形状和颜，而同一类水果具有不同的品种，且同一品种的水果在不同的生长环境（光照、营养、水分等）条件下，个体的形状或颜也会有所差异。另外，水果在不同的成熟阶段，本身的形状、颜、纹理等外观特征也可能发生较大变化。而且水果在树上的位置是不确定的，果实的生长是随着时间和空间而变化的，这就要求水果采摘机器人能适应种类、品种和生长条件的变化，能处理形状和颜上的细微差异。车顶横杆
３．２ 环境条件的不确定性
水果采摘机器人的工作条件在不断发生变化，工作时的天气条件可能时时改变，一天中的不同时辰也会导致光照度发生很大变化。自然光照度变化和阴影等都会给图像获取和图像分析带来困难，影响识别的正确率。这就要求水果采摘机器人不仅要具有与生物体柔性相对应的处理功能，而且还要能够顺应变化无常的自然环境，在视觉、知识推理和判断等方面具有相当高的智能。
３．３ 遮挡情况的不确定性
遮挡是影响水果采摘机器人能否正常有效工作的一个重要因素。在有光源直射的地方，由于不同物体的遮挡可能导致在工作视场内有明显的阴影，这就明显影响识别的速度和效果。另外，采用可见光相机在理论上只能检测视场范围内能够看到的水果，而无法检测到完全被遮挡、隐藏在树冠内部的水果。同时，视场内的水果可能部分被树干、树叶或者其他水果遮挡，也给有效地检测和识别带来了较大的困难。水果采摘机器人必须能够快速、高效地处理以上不同的遮挡情况，准确地对树上水果进行定位。
