物体信息识别方法、路径规划方法、装置、终端和机器人与流程

阅读：评论：0

1.本技术涉及信息识别技术领域，特别是涉及一种物体信息识别方法、路径规划方法、装置、终端和机器人。

背景技术：

2.随着信息识别技术的发展，需要识别物体信息的场景十分之多，例如扫地机等清洁类产品在清扫的过程中需要识别出障碍物的物体信息，从而进行避障处理。
3.在相关技术中，主要是通过深度传感器对待识别物体一圈的深度信息进行测量，则根据物体的一圈深度信息来确定物体的物体信息。
4.然而，测量待识别物体的一圈深度信息所需要的时间比较长，导致物体信息识别的效率较低。

技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高物体信息识别效率的物体信息识别方法、路径规划方法、装置、终端和机器人。
6.第一方面，本技术提供了一种物体信息识别方法，包括：
7.获取对预设区域进行图像采集得到的二维图像和深度信息；
8.根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
9.根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。
10.在其中一个实施例中，所述物体信息包括体积尺寸、物体姿态和所述目标物体在所述预设区域中的位置信息，所述根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，包括：
11.获取所述目标物体的目标物体类别；
12.根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息。
13.在其中一个实施例中，所述获取所述目标物体的目标物体类别，包括：
14.将所述目标像素信息输入至训练完成的物体类别识别模型中，以获得所述物体类别识别模型输出的物体类别和置信度，所述置信度用于指示所述物体类别识别模型输出的物体类别的可信程度；
15.若所述置信度高于预设置信度，则将所述物体类别识别模型输出的物体类别作为所述目标物体的目标物体类别。
16.在其中一个实施例中，所述根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和
位置信息，包括：
17.根据所述目标物体类别、所述目标像素信息和所述目标深度信息生成第一目标三维特征描述子；
18.将所述第一目标三维特征描述子输入至训练完成的物体特征提取模型中，以获得所述物体特征提取模型输出的所述目标物体的形心位置以及所述第一目标三维特征描述子与所述目标物体的形心位置之间的第一目标相对位置关系，所述物体特征提取模型是通过将第一三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第一三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第一三维特征描述子是根据物体类别、像素信息和深度信息生成的；
19.根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸；
20.根据所述目标物体的形心位置确定所述目标物体的位置信息；
21.根据所述第一目标相对位置关系确定所述目标物体的物体姿态。。
22.在其中一个实施例中，所述根据所述目标三维特征描述子以及目标相对位置关系识别出所述目标物体的体积尺寸、物体姿态和位置信息，包括：
23.根据所述第一目标三维特征描述子在全局坐标系的匹配结果确定所述目标物体的体积尺寸，所述全局坐标系为所述预设区域的坐标系。
24.在其中一个实施例中，所述根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息，包括：
25.根据所述目标物体类别，从数据库查所述目标物体类别对应的目标体积尺寸，并将所述目标体积尺寸作为所述目标物体的体积尺寸，所述数据库包括不同物体类别分别对应的体积尺寸；
26.根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息。
27.在其中一个实施例中，所述根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息，包括：
28.根据所述目标像素信息和所述目标深度信息生成第二目标三维特征描述子；
29.将所述第二目标三维特征描述子输入至所述目标物体类别对应的训练完成的姿态识别模型中，以获得所述姿态识别模型输出的所述目标物体的形心位置以及所述第二目标三维特征描述子与所述目标物体的形心位置之间的第二目标相对位置关系，所述姿态识别模型是针对各物体类型，通过将第二三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第二三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第二三维特征描述子是根据像素信息和深度信息生成的；
30.根据所述目标物体的形心位置确定所述目标物体的位置信息；
31.根据所述第二目标相对位置关系确定所述目标物体的物体姿态。
32.在其中一个实施例中，所述根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息，包括：
33.根据所述深度信息确定所述二维图像的前景和背景之间的分割位置；
34.获取所述目标物体在所述二维图像中的图像位置信息；
35.根据所述分割位置以及所述图像位置信息进行分割处理，以获得所述目标深度信息和所述目标像素信息。
36.第二方面，本技术提供了一种路径规划方法，包括：
37.获取对预设区域进行图像采集得到的二维图像和深度信息；
38.根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
39.根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；
40.根据所述物体信息规划机器人的行进路径。
41.第三方面，本技术提供了一种物体信息识别装置，包括：
42.获取模块，用于获取对预设区域进行图像采集得到的二维图像和深度信息；
43.分割处理模块，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
44.信息识别模块，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。
45.第四方面，本技术提供了一种路径规划装置，包括：
46.获取模块，用于获取对预设区域进行图像采集得到的二维图像和深度信息；
47.分割处理模块，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
48.信息识别模块，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；
49.路径规划模块，用于根据所述物体信息规划机器人的行进路径。
50.第五方面，本技术提供了一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
51.第六方面，本技术提供了一种机器人，包括：
52.第一图像采集装置，用于对预设区域进行图像采集，以得到二维图像；
53.第二图像采集装置，用于对预设区域进行图像采集，以得到深度信息；
54.处理器，用于实现上述的方法的步骤。
55.第七方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
56.第八方面，本技术提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
57.上述的物体信息识别方法、路径规划方法、装置、终端和机器人，通过获取对预设区域进行图像采集得到的二维图像和深度信息；根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；由于通过预设区域的二维图像和深度信息，即可获得位于预设区域的目标物体的物体信息，不需要测量物体的一圈深度信息也能获得物体的物体信息，实现了提高物体信息识别效率的技术效果。
附图说明
58.图1为本技术实施例提供的一种物体信息识别方法的应用环境示意图；
59.图2为本技术实施例提供的另一种物体信息识别方法的应用环境示意图；
60.图3为本技术实施例提供的一种物体信息识别方法的流程示意图；
61.图4为本技术实施例提供的一种根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别的细化流程图；
62.图5为本技术实施例提供的一种根据所述二维图像和所述深度信息进行分割处理的细化流程图；
63.图6为本技术实施例提供的一种物体信息识别方法的流程示意图；
64.图7为本技术实施例提供的一种物体信息识别装置的结构示意图；
65.图8为本技术实施例提供的一种路径规划装置的结构示意图；
66.图9为本技术实施例提供的一种终端的内部结构图。
具体实施方式
67.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
68.参考图1，图1为本技术实施例提供的一种物体信息识别方法的应用环境示意图。如图1所示，本实施例的终端包括第一图像采集装置110和第二图像采集装置120。
69.在本实施例中，第一图像采集装置110用于对预设区域进行图像采集，以得到二维图像。第二图像采集装置120用于对预设区域进行图像采集，以得到深度信息。终端的处理器根据二维图像和深度信息进行物体信息识别。
70.可选的，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备和服务器，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集来实现。
71.可选的，第一图像采集装置110可以包括但不限于图像采集二维图像的常规摄像头等，本实施例不作限制。第二图像采集装置120可以包括但不限于可以图像采集得到深度信息的tof(飞行时间，time of flight)摄像头和深度传感器等，本实施例不作限制。一般的，深度传感器包括主动式深度传感器和被动式深度传感器。主动式深度传感器：通过主动
发出能量(包括但不限于电磁波、微波等)进行距离深度信息探测的传感器。被动式深度传感器：通过接收外界反射或者发出的能量(电磁信号等)进行距离深度信息探测的传感器。
72.示例性的，在本实施例中，用户想得知某个预设区域的某个物体的物体信息，可以通过终端对该预设区域进行图像采集得到二维图像和深度信息。此时根据二维图像和深度信息可以对该物体的物体信息进行识别。
73.需要说明的是，终端也可以不需要设置有第一图像采集装置110和第二图像采集装置120，此时通过其它图像采集装置对预设区域图像采集得到二维图像和深度信息，则终端根据二维图像和深度信息进行物体信息识别即可。
74.参考图2，图2为本技术实施例提供的另一种物体信息识别方法的应用环境示意图。如图2所示，本实施例的机器人包括第一图像采集装置210和第二图像采集装置220。
75.在本实施例中，机器人包括但不限于扫地机器人、货物搬运机器人等，本实施例不作限制。
76.示例性的，第一图像采集装置210和第二图像采集装置220用于图像采集机器人的行进方向的预设区域，从而得到机器人前方的二维图像和深度信息，则可以根据二维图像和深度信息确定行进方向上的障碍物的物体信息，从而进行避障处理。
77.可以理解的是，本技术实施例提供的物体信息识别方法，可以应用于包括但不限于上述几种场景中。
78.参考图3，图3为本技术实施例提供的一种物体信息识别方法的流程示意图。本实施例以该方法应用于图1中的终端或图2中的机器人为例进行说明。在一个实施例中，如图3所示，物体信息识别方法包括：
79.步骤310、获取对预设区域进行图像采集得到的二维图像和深度信息。
80.其中，预设区域是指第一图像采集装置和第二图像采集装置可以进行图像采集的区域。一般的，二维图像是指不包含深度信息的平面图像。二维即左右、上下四个方向，不存在前后。在一张纸上的内容就可以看做成是二维。深度信息用于表示第二图像采集装置与预设区域的各位置的远近。具体的，可以通过tof摄像头获取预设区域的深度信息。
81.步骤320、根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息。
82.在本实施例中，目标物体可以是根据用户从二维图像中选择物体作为目标物体，也可以是将二维图像拍到的预设区域中的物体的任一个作为目标物体，本实施例不作限制。可选的，目标物体可以是人，也可以是物，本实施例将人和物统称为物体。例如，在图1的应用环境中，假设预设区域设置有一张桌子和一个球，拍到的二维图像包括桌子和球，若用户选择桌子，则识别桌子的物体信息；若用户选择球，则识别球的物体信息；也可以是分别将桌子和球作为目标物体，分别识别出桌子的物体信息和球的物体信息。又例如，在图2的应用环境中，由于机器人需要移动，因此需要进行避障处理，则可以将二维图像拍到的预设区域中的物体的任一个作为目标物体，目标深度信息是指目标物体对应的深度信息。具体的，由于获取的是预设区域的深度信息，而一般的，物体不会占据了整个预设区域，因此需要获取目标物体对应的目标深度信息。目标像素信息是指目标物体在二维图像中的像素信息。具体的，目标像素信息可以包括但不限于目标物体占据的像素点数量、占据的像素面
积、占据的像素面积在图像中的位置和各占据的像素点的rgb(颜系统)值中的一项或多项等。
83.分割处理是指为了获得目标物体对应的目标深度信息和目标像素信息而执行的处理。具体的，分割处理可以是分割出物体在预设区域中的区域位置，从而将根据区域位置确定目标物体对应的目标像素信息和目标深度信息。可选的，分割处理可以通过的经典算法、现代ai相关的算法等算法来进行分割。经典算法主要包括阈值分割、区域生长、分水岭、边缘检测、小波变换、遗传算法；现代ai相关的模型主要有mask rcnn、setnet、pspnetd、fcn、unet、segnet等。
84.步骤330、根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息。
85.其中，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。需要说明的是，若需要确定二维空间的物体信息，则占据信息可以是面积。若需要确定三维空间的物体信息，则占据信息可以包括但不限于但不限于目标物体的体积尺寸、物体姿态和目标物体在预设区域中的位置信息中的至少一项，本实施例不作限制。
86.本实施例的技术方案，由于通过预设区域的二维图像和深度信息，即可获得位于预设区域的目标物体的物体信息，不需要测量物体的一圈深度信息也能获得物体的物体信息，实现了提高物体信息识别效率的技术效果。
87.需要说明的是，本实施例中，可以是获取以单一角度对预设区域进行图像采集得到的二维图像和深度信息。
88.参考图4，图4为本技术实施例提供的一种根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别的细化流程图。在一个实施例中，所述物体信息包括体积尺寸、物体姿态和位置信息，如图4所示，所述根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，包括：
89.步骤410、获取所述目标物体的目标物体类别。
90.其中，目标物体类别是指目标物体所属的类别；例如可以是桌子、椅子、球等，根据目标物体实际所述的类别确定。
91.步骤420、根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息。
92.其中，体积尺寸是指目标物体的形状参数。具体的，体积尺寸可以反映出目标物体的轮廓、形状、尺寸大小等。物体姿态用于表示目标物体是如何放置的，例如目标物体的朝向。位置信息用于表示目标物体在预设区域中的具体位置。
93.在本实施例中，根据目标物体类别、目标像素信息和目标深度信息对目标物体进行信息识别，以获得目标物体的体积尺寸、物体姿态和位置信息，由于通过多个参数来获得目标物体的体积尺寸、物体姿态和位置信息，则得到的体积尺寸、物体姿态和位置信息也就更准确。
94.在一个可能的实施方式中，获取所述目标物体的目标物体类别，包括：
95.将所述目标像素信息输入至训练完成的物体类别识别模型中，以获得所述物体类别识别模型输出的物体类别和置信度，所述置信度用于指示所述物体类别识别模型输出的物体类别的可信程度；
96.若所述置信度高于预设置信度，则将所述物体类别识别模型输出的物体类别作为所述目标物体的目标物体类别。
97.其中，物体识别模型可以通过将像素信息作为物体类别识别模型的输入，物体类别作为输出物体类别识别模型的输出进行训练，从而得到训练完成的物体类别识别模型。可选的，物体类别识别模型包括但不限于yolo系列模型、ssd系列模型、resnet、mobildenet系列模型等。预设置信度可以根据需要设置，例如设置为80％。在本实施例中，可选的，若置信度低于预设置信度，则重新获取目标像素信息，并将新的目标像素信息输入至物体类别识别模型中，直至置信度高于预设置信度。
98.本实施例的技术方案，通过物体类别识别模型来识别目标物体类别，并且在置信度高于预设置信度，才将物体类别识别模型输出的物体类别作为目标物体的目标物体类别，即提高了目标物体类别获取的简易性，还提高了获得的目标物体类别的准确性。
99.在一个可能的实施方式中，根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息，包括：
100.根据所述目标物体类别、所述目标像素信息和所述目标深度信息生成第一目标三维特征描述子；
101.将所述第一目标三维特征描述子输入至训练完成的物体特征提取模型中，以获得所述物体特征提取模型输出的所述目标物体的形心位置以及所述第一目标三维特征描述子与所述目标物体的形心位置之间的第一目标相对位置关系，所述物体特征提取模型是通过将第一三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第一三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第一三维特征描述子是根据物体类别、像素信息和深度信息生成的；
102.根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸；
103.根据所述目标物体的形心位置确定所述目标物体的位置信息；
104.根据所述第一目标相对位置关系确定所述目标物体的物体姿态。
105.其中，第一目标三维特征描述子是根据目标物体类别、目标像素信息和目标深度信息生成的。具体的，第一目标三维特征描述子包括目标物体类别、目标像素信息和目标深度信息。物体特征提取模型包括但不限于卷积神经网络、残差神经网络、径向基神经网络和霍普菲尔网络中的一个或多个的组成。三维特征描述子经常用来表示物体三维感知数据的关键特征，三维特征描述子包括局部特征描述子和全局特征描述子。三维特征描述子编码的信息主要包含两大类，一类信息涉及局部表面的形状信息，包括点的空间分布信息和几何属性。另一类则同时包含了局部曲面的颜信息和形状信息。质心是针对实物体而言的，而形心是针对抽象几何体而言的，对于密度均匀的实物体，质心和形心重合。在本实施例中，形心为目标物体的几何中心。形心位置是指形心在预设区域中的位置。可选的，形心位置可以以坐标的方式表示。
106.在本实施例中，通过物体特征提取模型来获取目标物体的形心位置以及第一目标三维特征描述子与目标物体的形心位置之间的第一目标相对位置关系，进而根据第一目标三维特征描述子确定目标物体的体积尺寸，根据目标物体的形心位置确定目标物体的位置信息，以及根据第一目标相对位置关系确定目标物体的物体姿态。
107.具体的，由于用来表示物体三维感知数据的关键特征，因此根据第一目标三维特征描述子可以确定目标物体的体积尺寸。可选的，可以将目标物体的形心位置确定目标物体的位置信息。可选的，第一目标相对位置关系即目标物体的物体姿态。
108.需要说明的是，也可以是训练可以直接输出体积尺寸、物体姿态和位置信息的模型，本实施例不作限制。
109.在一个可能的实施方式中，根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸，包括：
110.根据所述第一目标三维特征描述子在全局坐标系的匹配结果确定所述目标物体的体积尺寸，所述全局坐标系为所述预设区域的坐标系。
111.在本实施例中，第一目标三维特征描述子包括目标物体的关键点的空间分布信息，则根据关键点的空间分布信息在全局坐标系的匹配结果，可以确定关键点的坐标，从而根据坐标确定目标物体的体积尺寸。其中，关键点可以是能够反映出目标物体的尺寸体积的点，例如对于桌子来说，关键点为桌子中的各条边的交点，本实施例不作限制。在本实施例中，可以将目标相对位置关系看做是目标物体的物体姿态。
112.在一个可能的实施方式中，根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息，包括：
113.根据所述目标物体类别，从数据库查所述目标物体类别对应的目标体积尺寸，并将所述目标体积尺寸作为所述目标物体的体积尺寸，所述数据库包括不同物体类别分别对应的体积尺寸；
114.根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息。
115.在本实施例中，将从数据库查到的目标物体类别对应的目标体积尺寸作为目标物体的体积尺寸，不需要通过训练模型也能确定体积尺寸，减少了确定体积尺寸所需要的算力。在通过数据库查到目标物体的体积尺寸后，根据目标像素信息和目标深度信息来确定出目标物体的物体姿态。
116.在一个可能的实施方式中，根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息，包括：
117.根据所述目标像素信息和所述目标深度信息生成第二目标三维特征描述子；
118.将所述第二目标三维特征描述子输入至所述目标物体类别对应的训练完成的姿态识别模型中，以获得所述姿态识别模型输出的所述目标物体的形心位置以及所述第二目标三维特征描述子与所述目标物体的形心位置之间的第二目标相对位置关系，所述姿态识别模型是针对各物体类型，通过将第二三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第二三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第二三维特征描述子是根据像素信息和深度信息生成的；
119.根据所述目标物体的形心位置确定所述目标物体的位置信息；
120.根据所述第二目标相对位置关系确定所述目标物体的物体姿态。
121.在本实施例中，对于各物体类型，均分别训练一个对应的姿态识别模型，则在确定
出目标物体类别后，获取目标物体类别对应的训练完成的姿态识别模型，从而确定出目标物体的物体姿态和位置信息。其中，第二目标三维特征描述子是根据目标像素信息和目标深度信息生成的。具体的，可以是第二目标三维特征描述子包括目标像素信息和目标深度信息。
122.具体的，本实施例通过目标物体类别对应的姿态识别模型来获取目标物体的形心位置以及所述第二目标三维特征描述子与所述目标物体的形心位置之间的第二目标相对位置关系，从而根据形心位置确定目标物体的位置信息，以及根据第二目标相对位置关系来确定物体姿态。
123.上述实施例都是通过目标深度信息和目标像素信息来进行物体信息识别，以下实施例在上述任一实施例的基础上，对于如何获得目标深度信息和目标像素信息进行说明。
124.在示例的一些情形中，可以通过二维图像或者深度信息来进行分割处理，以获得目标像素信息和目标深度信息，但仅通过二维图像或者深度信息来进行分割处理，可能会存在分割不够准确的情况，导致获得的目标深度信息和目标像素信息没这么准确，进而导致物体信息识别不够准确。
125.参考图5，图5为本技术实施例提供的一种根据所述二维图像和所述深度信息进行分割处理的细化流程图。在一个实施例中，如图5所示，根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息，包括：
126.步骤510、根据所述深度信息确定所述二维图像的前景和背景之间的分割位置。
127.其中，前景是指在靠近第二图像采集装置的人或物。背景是指远离第二图像采集装置的人或物。在本实施例中，前景和背景之间的分割位置可以认为是目标物体的所在位置。
128.步骤520、获取所述目标物体在所述二维图像中的图像位置信息。
129.在本实施例中，可以通过获取二维图像的各像素的像素信息，将像素信息相匹配的一整块连通区域作为目标物体的图像，进而根据该一整块连通区域的所在位置作为目标物体的图像位置信息。例如，桌子基本是同一颜的，则可以将rgb值比较接近的一整块连通区域作为桌子的图像，进而确定桌子的图像位置信息。
130.步骤530、根据所述分割位置以及所述图像位置信息进行分割处理，以获得所述目标深度信息和所述目标像素信息。
131.在本实施例中，结合分割位置以及图像位置信息可以准确地确定出目标物体在预设区域中的位置，进而准确地获得目标深度信息和目标像素信息。
132.本实施例的技术方案，根据深度信息和二维图像来进行分割处理，可以提高获得的目标深度信息和目标像素信息的准确性。
133.参考图6，图6为本技术实施例提供的一种物体信息识别方法的流程示意图。本实施例以该方法应用于图1中的终端或图2中的机器人为例进行说明。在一个实施例中，如图6所示，路径规划方法包括：
134.步骤610、获取对预设区域进行图像采集得到的二维图像和深度信息。
135.步骤620、根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信
息。
136.步骤630、根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。
137.步骤640、根据所述物体信息规划机器人的行进路径。
138.在本实施例中，根据物体信息规划机器人的行进路径，从而使得机器人在移动的过程中避开目标物体，从而实现避障。
139.本实施例的技术方案，由于通过预设区域的二维图像和深度信息，即可获得位于预设区域的目标物体的物体信息，不需要测量物体的一圈深度信息也能获得物体的物体信息，实现了提高物体信息识别效率，因此相应的路径规划的效率也得以提高，清扫效率也因此得以提高。
140.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
141.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的物体信息识别方法的物体信息识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物体信息识别装置实施例中的具体限定可以参见上文中对于物体信息识别方法的限定，在此不再赘述。
142.参考图7，图7为本技术实施例提供的一种物体信息识别装置的结构示意图。在一个实施例中，如图7所示，物体信息识别装置包括获取模块710、分割处理模块720和信息识别模块730，其中：
143.获取模块710，用于获取对预设区域进行图像采集得到的二维图像和深度信息；
144.分割处理模块720，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
145.信息识别模块730，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。
146.在一个实施例中，所述物体信息包括体积尺寸、物体姿态和所述目标物体在所述预设区域中的位置信息，信息识别模块730包括：
147.获取单元，用于获取所述目标物体的目标物体类别；
148.信息识别单元，用于根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息。
149.在一个实施例中，获取单元具体用于将所述目标像素信息输入至训练完成的物体
类别识别模型中，以获得所述物体类别识别模型输出的物体类别和置信度，所述置信度用于指示所述物体类别识别模型输出的物体类别的可信程度；
150.若所述置信度高于预设置信度，则将所述物体类别识别模型输出的物体类别作为所述目标物体的目标物体类别。
151.在一个实施例中，信息识别单元包括：
152.第一信息识别子单元，用于根据所述目标物体类别、所述目标像素信息和所述目标深度信息生成第一目标三维特征描述子；将所述第一目标三维特征描述子输入至训练完成的物体特征提取模型中，以获得所述物体特征提取模型输出的所述目标物体的形心位置以及所述第一目标三维特征描述子与所述目标物体的形心位置之间的第一目标相对位置关系，所述物体特征提取模型是通过将第一三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第一三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第一三维特征描述子是根据物体类别、像素信息和深度信息生成的；根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸；根据所述目标物体的形心位置确定所述目标物体的位置信息；根据所述第一目标相对位置关系确定所述目标物体的物体姿态。
153.在一个实施例中，第一信息识别子单元具体用于根据所述第一目标三维特征描述子在全局坐标系的匹配结果确定所述目标物体的体积尺寸，所述全局坐标系为所述预设区域的坐标系。
154.在一个实施例中，信息识别单元包括：
155.第二信息识别子单元，用于根据所述目标物体类别，从数据库查所述目标物体类别对应的目标体积尺寸，并将所述目标体积尺寸作为所述目标物体的体积尺寸，所述数据库包括不同物体类别分别对应的体积尺寸；
156.根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息。
157.在一个实施例中，第二信息识别子单元具体用于根据所述目标像素信息和所述目标深度信息生成第二目标三维特征描述子；将所述第二目标三维特征描述子输入至所述目标物体类别对应的训练完成的姿态识别模型中，以获得所述姿态识别模型输出的所述目标物体的形心位置以及所述第二目标三维特征描述子与所述目标物体的形心位置之间的第二目标相对位置关系，所述姿态识别模型是针对各物体类型，通过将第二三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第二三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第二三维特征描述子是根据像素信息和深度信息生成的；根据所述目标物体的形心位置确定所述目标物体的位置信息；根据所述第二目标相对位置关系确定所述目标物体的物体姿态。
158.在一个实施例中，分割处理模块720具体用于根据所述深度信息确定所述二维图像的前景和背景之间的分割位置；
159.获取所述目标物体在所述二维图像中的图像位置信息；
160.根据所述分割位置以及所述图像位置信息进行分割处理，以获得所述目标深度信息和所述目标像素信息。
161.上述物体信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实
现。上述各模块可以硬件形式内嵌于或独立于终端中的处理器中，也可以以软件形式存储于终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
162.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的路径规划方法的路径规划装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个路径规划装置实施例中的具体限定可以参见上文中对于路径规划方法的限定，在此不再赘述。
163.参考图8，图8为本技术实施例提供的一种路径规划装置的结构示意图。在一个实施例中，如图8所示，物体信息识别装置包括获取模块810、分割处理模块820、信息识别模块830和路径规划模块840，其中：
164.获取模块810，用于获取对预设区域进行图像采集得到的二维图像和深度信息；
165.分割处理模块820，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
166.信息识别模块830，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；
167.路径规划模块840，用于根据所述物体信息规划机器人的行进路径。
168.上述路径规划装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端中的处理器中，也可以以软件形式存储于终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
169.参考图9，图9为本技术实施例提供的一种终端的内部结构图。在一个实施例中，如图9所示，该终端包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种物体信息识别方法以及路径规划方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
170.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
171.在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
172.在一个实施例中，提供了一种机器人，包括第一图像采集装置、第二图像采集装置和处理器，其中，处理器用于实现上述各方法实施例中的步骤。
173.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
174.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
175.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
176.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
177.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：

1.一种物体信息识别方法，其特征在于，包括：获取对预设区域进行图像采集得到的二维图像和深度信息；根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。2.根据权利要求1所述的方法，其特征在于，所述物体信息包括体积尺寸、物体姿态和所述目标物体在所述预设区域中的位置信息，所述根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，包括：获取所述目标物体的目标物体类别；根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息。3.根据权利要求2所述的方法，其特征在于，所述获取所述目标物体的目标物体类别，包括：将所述目标像素信息输入至训练完成的物体类别识别模型中，以获得所述物体类别识别模型输出的物体类别和置信度，所述置信度用于指示所述物体类别识别模型输出的物体类别的可信程度；若所述置信度高于预设置信度，则将所述物体类别识别模型输出的物体类别作为所述目标物体的目标物体类别。4.根据权利要求2所述的方法，其特征在于，所述根据所述目标物体类别、所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息，包括：根据所述目标物体类别、所述目标像素信息和所述目标深度信息生成第一目标三维特征描述子；将所述第一目标三维特征描述子输入至训练完成的物体特征提取模型中，以获得所述物体特征提取模型输出的所述目标物体的形心位置以及所述第一目标三维特征描述子与所述目标物体的形心位置之间的第一目标相对位置关系，所述物体特征提取模型是通过将第一三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第一三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第一三维特征描述子是根据物体类别、像素信息和深度信息生成的；根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸；根据所述目标物体的形心位置确定所述目标物体的位置信息；根据所述第一目标相对位置关系确定所述目标物体的物体姿态。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一目标三维特征描述子确定所述目标物体的体积尺寸，包括：根据所述第一目标三维特征描述子在全局坐标系的匹配结果确定所述目标物体的体积尺寸，所述全局坐标系为所述预设区域的坐标系。6.根据权利要求2所述的方法，其特征在于，所述根据所述目标物体类别、所述目标像
素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的体积尺寸、物体姿态和位置信息，包括：根据所述目标物体类别，从数据库查所述目标物体类别对应的目标体积尺寸，并将所述目标体积尺寸作为所述目标物体的体积尺寸，所述数据库包括不同物体类别分别对应的体积尺寸；根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标像素信息和所述目标深度信息确定所述目标物体的物体姿态和位置信息，包括：根据所述目标像素信息和所述目标深度信息生成第二目标三维特征描述子；将所述第二目标三维特征描述子输入至所述目标物体类别对应的训练完成的姿态识别模型中，以获得所述姿态识别模型输出的所述目标物体的形心位置以及所述第二目标三维特征描述子与所述目标物体的形心位置之间的第二目标相对位置关系，所述姿态识别模型是针对各物体类型，通过将第二三维特征描述子作为神经网络模型的输入，将物体的形心位置以及第二三维特征描述子与物体的形心位置之间的相对位置关系作为所述神经网络模型的输出进行训练得到的，所述第二三维特征描述子是根据像素信息和深度信息生成的；根据所述目标物体的形心位置确定所述目标物体的位置信息；根据所述第二目标相对位置关系确定所述目标物体的物体姿态。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息，包括：根据所述深度信息确定所述二维图像的前景和背景之间的分割位置；获取所述目标物体在所述二维图像中的图像位置信息；根据所述分割位置以及所述图像位置信息进行分割处理，以获得所述目标深度信息和所述目标像素信息。9.一种路径规划方法，其特征在于，包括：获取对预设区域进行图像采集得到的二维图像和深度信息；根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；根据所述物体信息规划机器人的行进路径。10.一种物体信息识别装置，其特征在于，包括：获取模块，用于获取对预设区域进行图像采集得到的二维图像和深度信息；分割处理模块，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；
信息识别模块，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。11.一种路径规划装置，其特征在于，包括：获取模块，用于获取对预设区域进行图像采集得到的二维图像和深度信息；分割处理模块，用于根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；信息识别模块，用于根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间；路径规划模块，用于根据所述物体信息规划机器人的行进路径。12.一种终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。13.一种机器人，其特征在于，包括：第一图像采集装置，用于对预设区域进行图像采集，以得到二维图像；第二图像采集装置，用于对预设区域进行图像采集，以得到深度信息；处理器，用于实现权利要求1至9中任一项所述的方法的步骤。14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

技术总结

本申请涉及一种物体信息识别方法、路径规划方法、装置、终端和机器人。所述方法包括：获取对预设区域进行图像采集得到的二维图像和深度信息；根据所述二维图像和所述深度信息进行分割处理，以获得位于所述预设区域的目标物体对应的目标深度信息以及所述目标物体在所述二维图像中的目标像素信息；根据所述目标像素信息和所述目标深度信息对所述目标物体进行信息识别，以获得所述目标物体的物体信息，所述物体信息用于指示所述目标物体在所述预设区域中占据的空间。采用本方法能够提高物体信息识别效率。信息识别效率。信息识别效率。