一种基于视触结合的精准定位番茄采摘设备及方法

阅读：评论：0

1.本发明属于番茄采摘机械人领域，尤其涉及一种基于视触结合的精准定位番茄采摘设备及方法。

背景技术：

2.当前，我国农业采摘机器人的研究技术水平还不高，传统番茄采摘技术生产成本高、操作复杂且效率低。很多现有的采摘机器人采用视觉识别定位采摘，不仅解决不了识别时番茄遮挡带来的问题，而且无法定位精准的番茄采摘点，采摘的番茄果实由于果柄过长后期还需要人工对采摘后的番茄进行二次修剪。

技术实现要素：

3.针对上述技术问题，本发明提供一种基于视触结合的精准定位番茄采摘设备及方法，相比于传统的采摘机器人，在视觉识别的基础上对番茄果实采用番茄果柄触觉传感器进行进一步触觉识别，精准定位番茄果柄的茎梗处进行采摘。操作简单且采摘精度高，节省了人力并保证了番茄果实的完整。
4.本发明通过控制器对深度相机采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实直径，番茄果柄触觉传感器先通过番茄软硬度分析识别番茄果实成熟度再对番茄果柄进行三维重建。控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现对番茄等果实的有效采摘，结构简单紧凑、工作平稳且采摘效率高。
5.本发明是通过以下技术手段实现上述技术目的的。
6.一种基于视触结合的精准定位番茄采摘设备，包括番茄采摘机器人、深度相机、番茄果柄触觉传感器和控制器；
7.所述深度相机安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩图像和深度信息，并传递给控制器；
8.所述番茄果柄触觉传感器安装在番茄采摘机器人的末端执行器上，用于获取4d光场数据图像并传递给控制器；
9.所述控制器分别与番茄采摘机器人、深度相机和番茄果柄触觉传感器连接；
10.所述控制器根据番茄的彩图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4d光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。
11.上述方案中，所述控制器对深度相机采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4d光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位
置为最佳采摘点。
12.上述方案中，所述番茄果柄触觉传感器包括透明壳体、光源、散斑喷涂装置、光场相机和指尖凝胶；
13.所述末端执行器的两侧分别设有透明壳体，透明壳体内设有光源、和光场相机，透明壳体用于与番茄接触的一侧设有指尖凝胶；散斑喷涂装置设在透明壳体上且位于指尖凝胶四周，用于向指尖凝胶喷涂散斑；
14.所述光源用于给光场相机提供光照，光场相机用于拍摄指尖凝胶的4d光场数据图像并传递给控制器。
15.进一步的，所述控制器包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；
16.所述番茄识别模块用于对深度相机采集的番茄彩图像进行图像处理，识别番茄果实；
17.所述番茄定位检测模块用于将图像处理后的彩图像结合深度相机采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；
18.所述番茄表面应力测量模块用于控制番茄果柄触觉传感器的散斑喷涂装置对指尖凝胶喷洒均匀黑散斑并用光场相机拍下指尖凝胶变形前的4d光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机拍摄变形后的指尖凝胶的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶上散斑低分辨率大景深的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
19.所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器的光场相机获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；
20.所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。
21.上述方案中，所述散斑喷涂装置包括内置的散斑喷涂液储存腔体，腔体的出口设有喷管，喷管设有阀门，所述阀门与控制器连接。
22.一种根据所述的基于视触结合的精准定位番茄采摘设备的控制方法，包括以下步骤：
23.番茄识别：深度相机采集末端执行器前方番茄的彩图像，并传递给控制器，控制器对深度相机采集的番茄彩图像进行图像处理，识别番茄果实；
24.番茄定位检测：控制器将图像处理后的彩图像结合深度相机采集的深度信息计算得到番茄中心的空间三维坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；
25.番茄成熟度识别：控制器控制番茄果柄触觉传感器的散斑喷涂装置对指尖凝胶喷洒均匀的黑散斑并用光场相机拍下指尖凝胶变形前的4d光场数据，末端执行器在目标番
茄上施加预设的力后，再通过光场相机拍摄变形后的指尖凝胶的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶上散斑低分辨率大景深的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
26.番茄茎部三维重建：当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器的光场相机获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；
27.采摘点判定：控制器根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置即为最佳采摘点，驱动末端执行器进行采摘。
28.上述方案中，所述番茄定位检测步骤中的图像处理包括以下步骤：
29.使用高斯滤波器平滑盖住的彩图像，将rgb颜空间转换为hsv颜空间，提取红区域；填充、缩小或扩大红区域，消除圆检测中的误报；采用canny方法进行轮廓检测，利用轮廓图像上的圆形霍夫变换检测红区域图像中的圆形；利用检测圆外切方形中红像素的比例来判断检测区域；在彩图像上绘制识别圆的图像，输出识别圆的二维中心坐标和半径信息。
30.上述方案中，所述番茄定位检测的步骤具体为：
31.所述控制器根据深度相机获取的深度信息，得到识别圆的中心坐标处的深度，通过将rgb传感器的视角映射到深度传感器的视角，从深度信息中计算出部分坐标，深度和空间坐标将在坐标上进行位移，位移量等于从识别圆的圆心到该圆心的半径，根据番茄中心的空间坐标和位移量等于半径的空间坐标计算出实际半径，判断番茄的半径是否在预设值范围内，如果在预设值范围内判断检测到的圆是番茄，在彩图像中画圆，输出番茄中心的空间三维坐标。
32.上述方案中，所述番茄成熟度识别步骤中使用ic-gn亚像素搜索算法计算得到三维位移量即变形值，采用逐点局部最小二乘拟合计算应变场。
33.上述方案中，所述三维重建步骤中控制器通过4d光场数据使用基于相移的亚像素多视角立体匹配算法实现光场的深度估计以进行番茄茎部的三维图像重建。
34.与现有技术相比，本发明的有益效果是：本发明在视觉识别的基础上采用触觉定位技术，通过控制器对深度相机采集的番茄彩图像和深度图像进行图像处理，识别番茄果实，并计算得到番茄中心的空间三维坐标和番茄果实半径，控制器根据得到4d光场数据图像判断番茄是否成熟，区别于基于视觉的番茄成熟度颜判别，通过散斑判断番茄软硬度从而得到番茄是否成熟的结果更准确。控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现了番茄梗部采摘，减小了采摘时对番茄破坏的风险，保证了采摘后番茄的美观度，解决了视觉识别定位时番茄遮挡所带来的问题，减少采摘的番茄果实由于果柄过长后期还需要人工对采摘后的番茄进行二次修剪的工序，结构简单紧凑、操作简单，工作平稳且采摘精准高效。
35.注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须
具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
36.图1是本发明一实施方式的设备立体结构图。
37.图2是本发明一实施方式的末端执行器张开时的细节结构图。
38.图3是本发明一实施方式的番茄果实检测图像处理流程图。
39.图4是本发明一实施方式的番茄果实定位检测流程图。
40.图5是本发明一实施方式的番茄表面应力测量系统流程图。
41.图6是本发明—实施方式的番茄果柄茎梗处细节示意图。
42.图中：1-大臂、2-中臂、3-小臂、4-深度相机、5-番茄果柄触觉传感器、6-果袋安装架、7-照明系统、8-散斑喷涂装置、9-光场相机、10-指尖凝胶、11-片，12-番茄果柄茎梗处；13、透明壳体。
具体实施方式
43.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
44.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
45.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
46.图1所示为所述基于视触结合的精准定位番茄采摘设备的一种较佳实施方式，所述基于视触结合的精准定位番茄采摘设备，包括番茄采摘机器人、深度相机4、番茄果柄触觉传感器5和控制器。
47.所述深度相机4安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩图像，并传递给控制器；
48.所述深度相机4安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩图像和深度信息，并传递给控制器；
49.所述番茄果柄触觉传感器5安装在番茄采摘机器人的末端执行器上，用于获取4d
光场数据图像并传递给控制器；
50.所述控制器分别与番茄采摘机器人、深度相机4和番茄果柄触觉传感器5连接；
51.所述控制器根据番茄的彩图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4d光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。
52.根据本实施例，优选的，所述控制器对深度相机4采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4d光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点。
53.根据本实施例，优选的，所述番茄采摘机器人包括底座、可活动机械臂、末端执行器及果袋安装架6，可活动机械臂的转动关节转动安装在底座上，末端执行器转动关节安装在机械臂的末端，果袋安装架6安装在末端执行器的正下方。
54.根据本实施例，优选的，所述机械臂是包括依次连接的大臂1、中臂2与小臂3，与机械臂连接的底座内包含第一驱动机构，第一驱动机构用于控制大臂1的回转运动；在大臂1与中臂2、中臂2与小臂3连接的关节中分别内置第二驱动机构，控制相对转动关节的转动；在小臂3与末端执行器之间的底座内置第三驱动机构以控制末端执行器的回转运。
55.根据本实施例，优选的，深度相机4的规格如下：rgb框架分辨率为1920*1080、深度输出分辨率为1024*768、理想深度区间为0.25m-9m、使用环境为室内。
56.根据本实施例，优选的，所述番茄果柄触觉传感器5包括透明壳体13、光源7、散斑喷涂装置8、光场相机9和指尖凝胶10；所述末端执行器的两侧分别设有透明壳体13，透明壳体13内设有光源7、和光场相机9，透明壳体13用于与番茄接触的一侧设有指尖凝胶10；散斑喷涂装置8设在透明壳体13上且位于指尖凝胶10四周，用于向指尖凝胶10喷涂散斑；所述光源7用于给光场相机9提供光照，光场相机9用于拍摄指尖凝胶10的4d光场数据图像并传递给控制器。
57.所述番茄触觉传感器5分两次抓取番茄，第一次抓取番茄果实，利用控制器的番茄表面应力测量模块判断番茄果实的软硬度，区别于基于视觉的番茄成熟度颜判别，通过散斑判断番茄成熟度的方法减少了基于颜判断的误差，因此结果更准确。第二次抓取番茄果柄处，利用光场相机9实现三维重建并精准定位果柄茎梗处12，实现番茄果实精准采摘。采用光场相机9可以先拍照再聚焦，可以记录下所有方向光束的数据，可以“聚焦”图片中的任何深度，后期在控制器上自行对焦，获得更清晰的画面效果；并且光场相机9只需一次拍照取像，就可得到3d影像和3d深度资讯图且光照影响较小，后期在控制器上就可以得到彩的3d立体形貌。
58.根据本实施例，优选的，所述控制器至少包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；
59.所述番茄识别模块用于对深度相机4采集的番茄彩图像进行图像处理，识别番茄果实；
60.所述番茄定位检测模块用于将图像处理后的彩图像结合深度相机4采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的
位置；
61.所述番茄表面应力测量模块用于控制番茄果柄触觉传感器5的散斑喷涂装置8对指尖凝胶10喷洒均匀黑散斑并用光场相机9拍下指尖凝胶10变形前的4d光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机9拍摄变形后的指尖凝胶10的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶10上散斑低分辨率大景深的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
62.所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器5的光场相机9获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；
63.所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。
64.一种根据所述的基于视触结合的精准定位番茄采摘设备的控制方法，包括以下步骤：
65.番茄识别：深度相机4采集末端执行器前方番茄的彩图像，并传递给控制器，控制器对深度相机4采集的番茄彩图像进行图像处理，识别番茄果实；
66.番茄定位检测：控制器将图像处理后的彩图像结合深度相机4采集的深度信息计算得到番茄中心的空间三维坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；
67.番茄成熟度识别：控制器控制番茄果柄触觉传感器5的散斑喷涂装置8对指尖凝胶10喷洒均匀的黑散斑并用光场相机9拍下指尖凝胶10变形前的4d光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机9拍摄变形后的指尖凝胶10的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶10上散斑低分辨率大景深的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；
68.番茄茎部三维重建：当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器5的光场相机9获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；
69.采摘点判定：控制器根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置即为最佳采摘点，驱动末端执行器进行采摘。
70.结合图3所示，根据本实施例，优选的，所述番茄定位检测步骤中的图像处理中：所述深度相机4采集末端执行器前方番茄的彩图像，并传递给控制器；使用高斯滤波器平滑盖住的彩图像，将rgb颜空间转换为hsv颜空间，提取红区域；填充、侵蚀、扩展红区域，消除圆检测中的误报；采用canny方法进行轮廓检测，利用轮廓图像上的圆形霍夫变换检测红区域图像中的圆形；利用检测圆外切方形中红像素的比例来判断检测区域；
在彩图像上绘制识别圆的图像，输出识别圆的中心坐标和半径信息，具体的，包括步骤如下：
71.1、为了减少噪声以提取红区域，使用高斯滤波器平滑盖住的彩图像，实现降噪；
72.2、将rgb颜空间转换为hsv颜空间，提取红区域；
73.3、为了消除圆检测中的误报，填充红区域、侵蚀红区域、扩展红区域；
74.4、为了检测红区域图像中的圆，采用canny方法提取轮廓，利用轮廓图像上的圆形霍夫变换检测圆形；
75.5、定义一个外界框，计算正方形内红像素，为了去除误报，利用检测圆外切方形中红像素的比例来判断检测区域，计算红像素的比例，并与红像素比例阈值比较，优选的，在本实施例中，红像素比例大于或等于50％的区域被判定为番茄区域；
76.6、在阈值内的进行画圆，在彩图像上绘制识别圆的图像，输出识别圆的中心点坐标和半径信息，然后输出识别图像，在阈值外的直接输出识别图像。
77.结合图4，根据本实施例，优选的，所述番茄定位检测的步骤具体为：
78.所述控制器根据深度相机4获取的深度信息，得到识别圆的中心坐标处的深度，通过将rgb传感器的视角映射到深度传感器的视角，从深度信息中计算出部分坐标，深度和空间坐标将在坐标上进行位移，位移量等于从识别圆的圆心到该圆心的半径，根据番茄中心的空间坐标和位移量等于半径的空间坐标计算出实际半径，判断番茄的半径是否在预设值范围内，如果在预设值范围内判断检测到的圆是番茄，在彩图像中画圆，输出番茄中心的空间三维坐标，具体的包括如下步骤：
79.番茄的检测根据识别出的圆和深度相机4获取的深度信息，计算出番茄圆心的空间坐标，从而获得番茄在机器人坐标上的位置，具体流程如下：
80.1、控制器根据深度相机4获取的深度信息，得到识别圆的中心坐标处的深度，通过将rgb传感器的视角映射到深度传感器的视角，从深度信息中计算融合关键点坐标；
81.2、以同样的方式，深度和空间坐标将在坐标上进行位移，位移量等于从识别圆的圆心到该圆心的半径，实际直径是根据番茄中心的空间坐标和位移量等于半径的空间坐标计算出来的；
82.3、为了去除检测到的假阳性番茄，判断番茄的直径是否在预设范围内，优选的，预设范围取30-100毫米；
83.4、如果番茄的直径在预设范围内，则判断检测到的圆是番茄，在彩图像中画红圆，输出番茄中心的空间坐标；如果番茄的直径在预设范围外，则判断检测到的是假阳性番茄，则在彩图像中画白圆。
84.根据本实施例，优选的，所述番茄成熟度识别步骤中使用ic-gn亚像素搜索算法计算得到精准的三维位移量即变形值，采用逐点局部最小二乘拟合计算应变场，具体包括以下步骤：
85.1、利用光场相机9获取4d光场数据，使用散斑喷涂装置8对指尖凝胶10喷洒均匀的黑散斑并用光场相机9在番茄触觉传感器底端拍下指尖凝胶10变形前的相机图片，末端执行器在番茄上施加预设的力后，优选的，预设的力为5n，用光场相机9记录变形后的4d光场数据，并根据获取的变形后的4d光场数据合成低分辨率大景深的二维rgb图像和相机的
深度图像。优选的，散斑为高对比度、不重复且尺寸大小合适的散斑，可以调节散斑大小以适应光场相机9的分辨率而不降低精度。
86.2、使用ic-gn亚像素搜索算法得到更精确的位移值。
87.3、用逐点局部最小二乘拟合计算应变场。
88.4、阈值判断番茄果实软硬度以此确定番茄是否成熟。
89.所述番茄果柄触觉传感器5体积小，易附于采摘机器人的末端执行器上，以获得接触表面3d形貌的高分辨率触觉图像进行精准采摘点的判定。
90.结合图5所示，番茄表面应力测量的数据采集具体为：
91.在变形前的图片上选取一参考点p0(x0,y0)，该点的灰度值为f(x0,y0)，在变形后的图片上选取一参考点p1(x1,y1)，该点的灰度值为g(x1,y1)。
92.在变形前图片中以p0(x0,y0)为中心，(2m+1,2m+1)大小的正方形区域为参考子区域，而变形后图片中需有以p1(x1,y1)为中心的变形区域，且两区域之间的相关性最大，则认为p0和p1为对应的匹配点。相关函数是描述变形前区域和变形后区域相关性大小的函数，其数学公式为：
[0093][0094]
式中：f——被测模型变形前参考图像子区的灰度值；g——被测模型变形后目标图像子区的灰度值；分别为子区域像素在变形前后的灰度平均值。
[0095]
采用一阶形函数模型，参考子区域中某点q(x,y)与变形后子区域中对应点q1(x1,y1)之间存在一定的函数关系，形函数为：
[0096][0097]
式中：δx和δy为点(x,y)到p0(x0,y0)的距离；u和v为参考子区域中心点在x和y方向上的位移；u
x
，uy和v
x
，vy为子区域的位移梯度。
[0098]
以此可以求出变形后图像搜索区域中所有目标子区中心点在x、y方向上的位移和位移梯度的值，就可以得到模型表面的三维位移量即变形值。
[0099]
通过ic-gn亚像素搜索算法获取精准位移值方法具体为：
[0100]
将相关函数模型改写为：
[0101][0102]
式中：f(x)和g(x)
‑‑
变形前和变形后图像在x＝(x,y,1)
t
坐标处的灰度值，和
‑‑
变形前子区域和变形后子区域的灰度均值，ζ＝(dx,dy,1)
t
‑‑
子区域内像素点相对于中心点的局部坐标，
[0103]
为形函数的变形参数变量，
[0104]
为形函数变形参数的变化量，
[0105]
w(ζ；p)
‑‑
一阶形函数，w(ζ；δp)为一阶形函数的迭代增量，具体形式为：
[0106][0107]
对形函数模型用ic-gn法进行更新：w(ζ；p
(k+1)
)＝w(ζ；p
(k)
)
·
w(ζ；δp)-1
[0108]
使用高斯-牛顿法对公式进行优化得到w(ζ；δp)，并将其进行一阶泰勒展开得到：
[0109][0110]
式中：为变形后子区域的图像梯度，为形函数的jacobian矩阵。在相关函数取得极值时，可以推导出：
uc)，其中k表示深度/视差层的单位像素，δx会随着任意视角与中心视角之间距离的增大而线性增加。同理，可以构造出第二个匹配代价量sgd，其基本形式如下所示：
[0126][0127]
其中的diff
x
表示子孔径图像在x方向上的梯度；β(u)控制着两个方向代价量的权重，它由任意视角与中心视角之间的相对距离表示：
[0128][0129]
至此，代价函数构建完毕。随后对于该代价函数利用边缘保持滤波器进行损失聚合，得到优化后的代价量。随后构建一个迭代优化模型对深度图进行优化。
[0130]
在得到深度图后将其输入open3d库恢复出番茄果实茎梗处的的三维点云。
[0131]
精准采摘点的判定：通过4d光场数据实现三维重建，对得到的番茄果实茎部进行阈值分析，测量果实茎部半径变化，确定半径明显增大的梗的具体位置即为最佳采摘点，驱动片11进行采摘，具体包括以下步骤：
[0132]
通过所述番茄果柄触觉传感器5的光场相机9采集番茄果柄的4d光场数据图像；识别4d光场数据图像果实茎部的半径大小；确定半径明显增大的梗的部位为采摘点，控制器驱动末端执行器的片11对茎梗处进行剪切；末端执行器松开，果实垂直掉入正下方的果袋安装架6中。
[0133]
本发明在视觉识别的基础上采用触觉定位技术，通过控制器对深度相机4采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现了番茄梗部采摘，减小了采摘时对番茄破坏的风险，保证了采摘后番茄的美观度，解决了视觉识别定位时番茄遮挡所带来的问题，减少采摘的番茄果实由于果柄过长后期还需要人工对采摘后的番茄进行二次修剪的工序，结构简单紧凑、操作简单，工作平稳且采摘精准高效。
[0134]
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

技术特征：

1.一种基于视触结合的精准定位番茄采摘设备，其特征在于，包括番茄采摘机器人、深度相机(4)、番茄果柄触觉传感器(5)和控制器；所述深度相机(4)安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩图像和深度信息，并传递给控制器；所述番茄果柄触觉传感器(5)安装在番茄采摘机器人的末端执行器上，用于获取4d光场数据图像并传递给控制器；所述控制器分别与番茄采摘机器人、深度相机(4)和番茄果柄触觉传感器(5)连接；所述控制器根据番茄的彩图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4d光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。2.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器对深度相机(4)采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4d光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点。3.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述番茄果柄触觉传感器(5)包括透明壳体(13)、光源(7)、散斑喷涂装置(8)、光场相机(9)和指尖凝胶(10)；所述末端执行器的两侧分别设有透明壳体(13)，透明壳体(13)内设有光源(7)、和光场相机(9)，透明壳体(13)用于与番茄接触的一侧设有指尖凝胶(10)；散斑喷涂装置(8)设在透明壳体(13)上且位于指尖凝胶(10)四周，用于向指尖凝胶(10)喷涂散斑；所述光源(7)用于给光场相机(9)提供光照，光场相机(9)用于拍摄指尖凝胶(10)的4d光场数据图像并传递给控制器。4.根据权利要求3所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；所述番茄识别模块用于对深度相机(4)采集的番茄彩图像进行图像处理，识别番茄果实；所述番茄定位检测模块用于将图像处理后的彩图像结合深度相机(4)采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；所述番茄表面应力测量模块用于控制番茄果柄触觉传感器(5)的散斑喷涂装置(8)对指尖凝胶(10)喷洒均匀黑散斑并用光场相机(9)拍下指尖凝胶(10)变形前的4d光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机(9)拍摄变形后的指尖凝胶(10)的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶(10)上散斑的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄
果柄触觉传感器(5)的光场相机(9)获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。5.根据权利要求3所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述散斑喷涂装置(8)包括内置的散斑喷涂液储存腔体，腔体的出口设有喷管，喷管设有阀门，所述阀门与控制器连接。6.一种根据权利要求1-5任意一项所述的基于视触结合的精准定位番茄采摘设备的控制方法，其特征在于，包括以下步骤：番茄识别：深度相机(4)采集末端执行器前方番茄的彩图像，并传递给控制器，控制器对深度相机(4)采集的番茄彩图像进行图像处理，识别番茄果实；番茄定位检测：控制器将图像处理后的彩图像结合深度相机(4)采集的深度信息计算得到番茄中心的空间三维坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；番茄成熟度识别：控制器控制番茄果柄触觉传感器(5)的散斑喷涂装置(8)对指尖凝胶(10)喷洒均匀的黑散斑并用光场相机(9)拍下指尖凝胶(10)变形前的4d光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机(9)拍摄变形后的指尖凝胶(10)的4d光场数据，并根据获取的变形后的4d光场数据合成指尖凝胶(10)上散斑的二维rgb图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；番茄茎部三维重建：当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器(5)的光场相机(9)获取番茄果柄的4d光场数据图像，并传递给控制器，控制器通过4d光场数据重建番茄茎部的三维图像；采摘点判定：控制器根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置即为最佳采摘点，驱动末端执行器进行采摘。7.根据权利要求6所述的基于视触结合的精准定位番茄采摘设备的控制方法，其特征在于，所述番茄定位检测步骤中的图像处理包括以下步骤：使用高斯滤波器平滑盖住的彩图像，将rgb颜空间转换为hsv颜空间，提取红区域；填充、缩小或扩大红区域，消除圆检测中的误报；采用canny方法进行轮廓检测，利用轮廓图像上的圆形霍夫变换检测红区域图像中的圆形；利用检测圆外切方形中红像素的比例来判断检测区域；在彩图像上绘制识别圆的图像，输出识别圆的二维中心坐标和半径信息。8.根据权利要求6所述的基于视触结合的精准定位番茄采摘设备的控制方法，其特征在于，所述番茄定位检测的步骤具体为：所述控制器根据深度相机(4)获取的深度信息，得到识别圆的中心坐标处的深度，通过将rgb传感器的视角映射到深度传感器的视角，从深度信息中计算出部分坐标，深度和空间
坐标将在坐标上进行位移，位移量等于从识别圆的圆心到该圆心的半径，根据番茄中心的空间坐标和位移量等于半径的空间坐标计算出实际半径，判断番茄的半径是否在预设值范围内，如果在预设值范围内判断检测到的圆是番茄，在彩图像中画圆，输出番茄中心的空间三维坐标。9.根据权利要求6所述的基于视触结合的精准定位番茄采摘设备的控制方法，其特征在于，所述番茄成熟度识别步骤中使用ic-gn亚像素搜索算法计算得到三维位移量即变形值，采用逐点局部最小二乘拟合计算应变场。10.根据权利要求6所述的基于视触结合的精准定位番茄采摘设备的控制方法，其特征在于，所述三维重建步骤中控制器通过4d光场数据使用基于相移的亚像素多视角立体匹配算法实现光场的深度估计以进行番茄茎部的三维图像重建。

技术总结

本发明提供一种基于视触结合的精准定位番茄采摘设备及方法，该系统包括番茄采摘机器人、深度相机、番茄果柄触觉传感器和控制器；通过控制器对深度相机采集的番茄彩图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实直径，番茄果柄触觉传感器先通过番茄软硬度分析识别番茄果实成熟度再对番茄果柄进行三维重建。控制器根据得到的番茄茎部三维图像识别番茄果实茎部的半径大小信息，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘，实现对番茄等果实的有效采摘，结构简单紧凑、工作平稳且采摘效率高。工作平稳且采摘效率高。工作平稳且采摘效率高。