一种杂乱环境机器人6自由度抓取姿态生成方法与流程

阅读：评论：0

1.本发明属于机器人抓取与操作技术领域，尤其涉及一种杂乱环境机器人6自由度抓取姿态生成方法。

背景技术：

2.机器人抓取技术在机器人领域被研究了几十年，因是机器人与其他物体交互的最基本形式，是进行更复杂任务(如操作)的基石。以前的机器人抓取目标物体要求已知并且单一，环境简单无干扰(单一颜背景且无障碍物)近年来随着深度学习技术的发展和计算机运算能力的增强，对机器人能执行的任务提出更高的要求。现阶段的机器人抓取技术正朝着处理更复杂的任务方向发展，要机器人能够适性抓取杂乱摆放的任意未见过的物体。
3.为了简化任务，很多研究选择寻3或4自由度的抓取姿态构型[1,2]，即限制抓取姿态垂直于桌面，将抓取姿态的构型表示为或。这种方法常用的数据集为康奈尔抓取数据集，对场景中的物体标注矩形抓取框表示抓取姿态。一般将rgb图像作为神经网络的输入信息，输出带有方向的抓取姿态矩形框。一般将这个问题变成了回归问题，类似于目标检测的评价方法，将预测的矩形框与标签矩形框的交并比(iou)作为评价准则。这种抓取方式由于自由度少，往往会在杂乱的场景中遇到困难，因为随意堆积的物体需要额外的手部自由度来抓物体(从垂直方向无法抓取)。此外矩形表示的抓取构型往往具有一定的主观性，使用交并比作为评价准则不能够反应真正的抓取构型优劣。
[0004]
另外常用的方法是基于采样的gpd[3,4]6自由度抓取姿态检测方法，该方法直接对工作空间杂乱环境中点云场景进行抓取姿态检测。需要经历如下步骤：1.对点云场景随机选点，为了保证能够检测到足够多的候选抓取姿态一般要采样几千个点；2.在采样的点处建立坐标系；3.基于一定的抓取姿态搜索规则进行抓取姿态检测，获得抓取姿态候选集合；4.根据力封闭原则或gws对抓取候选集合中的抓取姿态进行评价。
[0005]
抓取姿态要求：机器人夹爪不与点云发生碰撞，且夹爪闭合区域至少包含一个点云中的点。
[0006]
坐标系建立：对于每个采样点根据特征向量建立坐标系。
[0007][0008]
其中表示在点q处的单位法向量，br(p)表示在p点处的半径为r的区域的点云。
[0009]
搜索规则：进行两个维度的抓取姿态搜索，沿着建立的坐标系的y轴和绕着坐标系的z轴分别进行抓取姿态的平移和旋转，对于满足要求的抓取姿态作为候选添加到候选集合中。
[0010]
这种方法的采样与搜索是非常的耗时的，一般需要几秒时间才能完成，对于只能获取单一视角场景信息的时候，难以保证搜索到的夹爪不与点云发生碰撞，因此往往需要多个视角获得的场景信息进行三维重建来保证搜索到的抓取姿态符合要求。

技术实现要素：

[0011]
本发明目的在于提供一种杂乱环境机器人6自由度抓取姿态生成方法,以解决上述的技术问题。
[0012]
为解决上述技术问题，本发明的一种杂乱环境机器人6自由度抓取姿态生成方法的具体技术方案如下：
[0013]
一种杂乱环境机器人6自由度抓取姿态生成方法，包括如下步骤：
[0014]
s1：训练数据集生成；
[0015]
s2：神经网络训练；
[0016]
s3：预测结果转换到抓取姿态齐次矩阵。
[0017]
进一步地，所述s1包括如下具体步骤：
[0018]
使用仿真环境对合成的物体进行抓取姿态采样，仿真场景包含一张桌子，桌面上随机散落放置1至12个物体，在重力作用下静态稳定；使用对映采样，在物体网格表面采样任意一点设为平行夹爪的第一个接触点，在该点与点处的法向量可以获得圆锥体，在圆锥内采样一条线，该线于物体网格的交点为第二个接触点，随后根据在两接触点中间的中心点与直线做均匀旋转采样，去除与夹爪发生碰撞的姿态和与夹爪手指之间的空间没有交集的姿态，重复以上步骤直到获得足够多的抓取姿态候选，在仿真环境下对获得的候选姿态评估，对在每个候选姿态下的夹爪闭合手指直到达到力的阈值或者手指完全闭合了，最后执行一个晃动动作:夹爪首先沿着其接近方向上下移动，然后围绕与手指移动关节轴平行的直线旋转，通过测试物体是否仍然与两个手指接触来记录抓取成功，获得抓取姿态集合g＝{g1…gn
}，g＝(q,a,θ,d)。
[0019]
进一步地，所述s2包括如下具体步骤：
[0020]
s21：数据预处理：
[0021]
对s1生成的数据集进行抓取姿态映射：数据集中物体都是网格，从单一视角获取桌面网格场景点云对于每个点标注是否时抓取成功的指向点其中qj∈p是物体网格的成功抓取姿态的指向点，r是最大半径，p
+
＝{pi|si＝1}表示指向点的集合，
[0022]
s22：构建神经网络结构：
[0023]
基于pointnet++网络结构构建u形神经网络；该网络的输入是从单一视角场景中随机选取的20000个点，输出是对2048个点预测的抓取姿态即g＝(q,a,θ,d)，网络包含四个预测头，通过一维卷积实现，分别预测每个点的输出：是否是成功抓取的指向点指向点处的接近向量抓取方向向量的转角和手抓原点与指向点的偏移量
[0024]
s23：几何损失计算与数据训练：
[0025]
对每个点进行是否是抓取成功的指向点预测，使用二值2交叉熵损失函数，反向传播误差最大的k个点的误差l
bce,k
，在夹爪上方选取5个3d点来表示夹爪姿态，将这些点根据真实值和预测值进行旋转平移坐标变换计算几何损失：
[0026][0027]
只对预测是成功抓取指向点的抓取姿态进行误差反向传播：
[0028][0029]
总体误差为l＝αl
bce,k
+βlg；
[0030]
使用adam优化器进行参数优化，点云坐标被转化到相机坐标系下，在训练过程中加入数据增强算法给点云添加高斯噪声使算法更具有鲁棒性。
[0031]
进一步地，所述s3包括如下具体步骤：
[0032]
根据旋转平移定义将预测输出结果g＝(q,a,θ,d)转变为齐次矩阵:
[0033]
g＝(rg,tg)∈se(3)；rg＝[b c a]；tg＝-da，
[0034]
其中c＝a
×
b，rg,tg分别是夹爪的旋转矩阵与平移向量，d是指向点q到夹爪坐标原点o的偏移距离，q为场景点云中的一个(x，y，z)三维点，向量b是平行夹爪手指的运动方向，方向只需要人为指定即可，因夹爪本质上是一种对称结构，指定的方向只要最终符合右手坐标系即可，向量a是夹爪接近方向，向量b利用桌面法向量表示，当桌面法向量n与a不平行时，n与a可以构建一个平面，该平面的法向量为l，则b与l之间存在向量夹角θ，b被表示为当n与a平行时，定义夹角θ为桌面坐标系x轴与b之间的夹角，
[0035]
进一步地，所述向量a是预测的结果，只需要进行向量积计算，若平行则有1-abs(n
·
a)《ε，ε是一个小量，取1e-6。
[0036]
本发明的一种杂乱环境机器人6自由度抓取姿态生成方法具有以下优点：本发明是一种端到端的6自由度抓取姿态生成方法，即输入场景点云直接输出场景中每个物体的多样密集的成功的抓取姿态。姿态的多样性可以保证机器人在考虑避障与运动学约束时仍能更够满足抓取。具体执行时选择网络预测的指向点概率最大的且机器人有运动学解的抓取姿态执行。本发明不需要长时间的采样过程与抓取姿态评估过程，相比于3-4自由度的抓取姿态更具有通用性。本发明提出的新的抓取姿态表示方法只需要预测gi＝(qi,ai,θi,di)四个量，且不需要向量间正交约束，更有利于神经网络的学习。
附图说明
[0037]
图1：桌面法向量与夹爪接近向量不平行时的桌面坐标系示意图；
[0038]
图2：桌面法向量与夹爪接近向量平行时的桌面坐标系示意图；
[0039]
图3：夹爪上5个几何点位置示意图；
[0040]
图4：数据集场景示例，在桌子上随机摆放静态稳定多个物体示意图。
具体实施方式
[0041]
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种杂乱环境机器人6自由度抓取姿态生成方法做进一步详细的描述。
[0042]
本发明提出一种新的抓取姿态表示方法：指向点抓取姿态表示g＝(q,a,θ,d)，各
个符号具体表示含义如下：
[0043]
将夹爪的接近向量作为夹爪坐标系的zg轴，可以观察到一个成功的抓取姿态zg轴像一个指针一样总会指向物体，因此可以在物体上可以到这个指向点，反过来讲看不到指向点的抓取姿态通常不会是一个高质量的抓取姿态。因此可以将成功抓取的抓取姿态映射到他们各自的指向点q，即将抓取姿态g＝(q,a,θ,d)表示为旋转平移的齐次矩阵形式：
[0044]
g＝(rg,tg)∈se(3)；rg＝[b c a]；tg＝-da，
[0045]
其中c＝a
×
b，rg,tg分别是夹爪的旋转矩阵与平移向量，d是指向点q(q实际为场景点云中的一个点，是x，y，z三维坐标点)到夹爪坐标原点o的偏移距离，向量b是平行夹爪手指的运动方向(方向只需要人为指定即可，因为夹爪本质上是一种对称结构，指定的方向只要最终符合右手坐标系即可)，向量a是夹爪接近方向。对于学习类算法直接对向量进行预测共需要6个量，且还需要添加a,b之间的正交约束，不利于学习。本发明提出向量b新的表示方法，利用桌面法向量表示。当桌面法向量n与a不平行时(单位向量a是预测的结果，只需要进行向量积计算，若平行则有1-abs(n
·
a)《ε，ε是一个小量一般可取1e-6)，n与a可以构建一个平面，该平面的法向量为l(法向量通过平面算法拟合很容易得到，因为假定的前提是物体在水平桌面上，也可以预先指定桌面坐标系如图1，2所示，法向量方向只要最终符合右手坐标系方向任意指定)，则b与l之间存在向量夹角θ，b可以被表示为当n与a平行时，定义夹角θ为桌面坐标系x轴与b之间的夹角，
[0046]
本发明的一种杂乱环境机器人6自由度抓取姿态生成方法，包括如下步骤：
[0047]
s1：训练数据集生成；
[0048]
由于难以获取大规模的真实物体的抓取姿态，本发明使用仿真环境对合成的物体进行抓取姿态采样。如图4所示，仿真场景包含一张桌子，桌面上随机散落放置1至12个物体，在重力作用下静态稳定。使用对映采样，在物体网格表面采样任意一点设为平行夹爪的第一个接触点，在该点与点处的法向量可以获得圆锥体。在圆锥内采样一条线，该线于物体网格的交点为第二个接触点。随后根据在两接触点中间的中心点与直线做均匀旋转采样，去除与夹爪发生碰撞的姿态和与夹爪手指之间的空间没有交集的姿态。重复以上步骤直到获得足够多的抓取姿态候选。在仿真环境下对获得的候选姿态评估，对在每个候选姿态下的夹爪闭合手指直到达到力的阈值或者手指完全闭合了。最后执行一个晃动动作:夹爪首先沿着其接近方向上下移动，然后围绕与手指移动关节轴平行的直线旋转。通过测试物体是否仍然与两个手指接触来记录抓取成功，获得抓取姿态集合g＝{g1…gn
}，g＝(q,a,θ,d)。
[0049]
s2：神经网络训练；
[0050]
s21：数据预处理：
[0051]
对以上生成的数据集进行抓取姿态映射：数据集中物体都是网格，从单一视角获取桌面网格场景点云对于每个点标注是否时抓取成功的指向点其中qj∈p是物体网格的成功抓取姿态的指向点，r是
最大半径，p
+
＝{pi|si＝1}表示指向点的集合，＝1}表示指向点的集合，
[0052]
s22：构建神经网络结构：
[0053]
本发明是一种深度学习方法，需要神经网络处理点云数据，pointnet++网络结构是现阶段最为优秀的提取点云特征的网络结构之一，因此本发明基于pointnet++网络结构构建u形神经网络。该网络的输入是从单一视角场景中随机选取的20000个点，输出是对2048个点预测的抓取姿态即g＝(q,a,θ,d)。网络包含四个预测头，通过一维卷积实现，分别预测每个点的输出：是否是成功抓取的指向点指向点处的接近向量抓取方向向量的转角和手抓原点与指向点的偏移量
[0054]
s23：几何损失计算与数据训练：
[0055]
对每个点进行是否是抓取成功的指向点预测，使用二值2交叉熵损失函数，反向传播误差最大的k个点的误差l
bce,k
。如图3所示，在夹爪上方选取5个3d点来表示夹爪姿态，将这些点根据真实值和预测值进行旋转平移坐标变换计算几何损失：
[0056][0057]
只对预测是成功抓取指向点的抓取姿态进行误差反向传播：
[0058][0059]
总体误差为l＝αl
bce,k
+βlg。
[0060]
具体的本发明使用adam优化器进行参数优化，点云坐标被转化到相机坐标系下，在训练过程中加入数据增强算法给点云添加高斯噪声使算法更具有鲁棒性，这样在迁移到真实传感器的点云数据场景将有更好的性能。
[0061]
s3：预测结果转换到抓取姿态齐次矩阵；
[0062]
根据旋转平移定义将预测输出结果g＝(q,a,θ,d)转变为齐次矩阵:
[0063]
g＝(rg,tg)∈se(3)；rg＝[b c a]；tg＝-da。
[0064]
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。

技术特征：

1.一种杂乱环境机器人6自由度抓取姿态生成方法，其特征在于，包括如下步骤：s1：训练数据集生成；s2：神经网络训练；s3：预测结果转换到抓取姿态齐次矩阵。2.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法，其特征在于，所述s1包括如下具体步骤：使用仿真环境对合成的物体进行抓取姿态采样，仿真场景包含一张桌子，桌面上随机散落放置1至12个物体，在重力作用下静态稳定；使用对映采样，在物体网格表面采样任意一点设为平行夹爪的第一个接触点，在该点与点处的法向量可以获得圆锥体，在圆锥内采样一条线，该线于物体网格的交点为第二个接触点，随后根据在两接触点中间的中心点与直线做均匀旋转采样，去除与夹爪发生碰撞的姿态和与夹爪手指之间的空间没有交集的姿态，重复以上步骤直到获得足够多的抓取姿态候选，在仿真环境下对获得的候选姿态评估，对在每个候选姿态下的夹爪闭合手指直到达到力的阈值或者手指完全闭合了，最后执行一个晃动动作:夹爪首先沿着其接近方向上下移动，然后围绕与手指移动关节轴平行的直线旋转，通过测试物体是否仍然与两个手指接触来记录抓取成功，获得抓取姿态集合g＝{g1…
g
n
}，g＝(q,a,θ,d)。3.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法，其特征在于，所述s2包括如下具体步骤：s21：数据预处理：对s1生成的数据集进行抓取姿态映射：数据集中物体都是网格，从单一视角获取桌面网格场景点云对于每个点标注是否时抓取成功的指向点其中q
j
∈p是物体网格的成功抓取姿态的指向点，r是最大半径，p
+
＝{p
i
|s
i
＝1}表示指向点的集合，s22：构建神经网络结构：基于pointnet++网络结构构建u形神经网络；该网络的输入是从单一视角场景中随机选取的20000个点，输出是对2048个点预测的抓取姿态即g＝(q,a,θ,d)，网络包含四个预测头，通过一维卷积实现，分别预测每个点的输出：是否是成功抓取的指向点指向点处的接近向量抓取方向向量的转角和手抓原点与指向点的偏移量s23：几何损失计算与数据训练：对每个点进行是否是抓取成功的指向点预测，使用二值2交叉熵损失函数，反向传播误差最大的k个点的误差l
bce,k
，在夹爪上方选取5个3d点来表示夹爪姿态，将这些点根据真实值和预测值进行旋转平移坐标变换计算几何损失：只对预测是成功抓取指向点的抓取姿态进行误差反向传播：
总体误差为l＝αl
bce,k
+βl
g
；使用adam优化器进行参数优化，点云坐标被转化到相机坐标系下，在训练过程中加入数据增强算法给点云添加高斯噪声使算法更具有鲁棒性。4.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法，其特征在于，所述s3包括如下具体步骤：根据旋转平移定义将预测输出结果g＝(q,a,θ,d)转变为齐次矩阵:g＝(r
g
,t
g
)∈se(3)；r
g
＝[b c a]；t
g
＝-da，其中c＝a
×
b，r
g
,t
g
分别是夹爪的旋转矩阵与平移向量，d是指向点q到夹爪坐标原点o的偏移距离，q为场景点云中的一个(x，y，z)三维点，向量b是平行夹爪手指的运动方向，方向只需要人为指定即可，因夹爪本质上是一种对称结构，指定的方向只要最终符合右手坐标系即可，向量a是夹爪接近方向，向量b利用桌面法向量表示，当桌面法向量n与a不平行时，n与a可以构建一个平面，该平面的法向量为l，则b与l之间存在向量夹角θ，b被表示为当n与a平行时，定义夹角θ为桌面坐标系x轴与b之间的夹角，5.根据权利要求4所述的杂乱环境机器人6自由度抓取姿态生成方法，其特征在于，所述向量a是预测的结果，只需要进行向量积计算，若平行则有1-abs(n
·
a)<ε，ε是一个小量，取1e-6。

技术总结

本发明属于机器人抓取与操作技术领域，公开了一种杂乱环境机器人6自由度抓取姿态生成方法，包括S1：训练数据集生成；S2：神经网络训练；S3：预测结果转换到抓取姿态齐次矩阵。本发明是一种端到端的6自由度抓取姿态生成方法，即输入场景点云直接输出场景中每个物体的多样密集的成功的抓取姿态。姿态的多样性可以保证机器人在考虑避障与运动学约束时仍能更够满足抓取；具体执行时选择网络预测的指向点概率最大的且机器人有运动学解的抓取姿态执行；不需要长时间的采样过程与抓取姿态评估过程，相比于3-4自由度的抓取姿态更具有通用性；提出的新的抓取姿态表示方法只需要预测g