1.本发明涉及检测方法以及检测系统。
背景技术：
2.以往，已知有使用红外线方式的测距传感器来取得检测
区域的三维形状的技术。
3.例如，在专利文献1中记载了如下方法：通过
深度传感器取得地面的三维坐标点数据，基于所取得的多个点数据，例如通过使用最小二乘法来估计表示地面的平面。
4.专利文献1：国际公开2020-013021号公报
5.在现有文献1中，设想了能够通过深度传感器准确地取得地面的三维坐标的情况，但例如在使用基于红外线方式的测距传感器的情况下，根据地面的反射特性，有可能无法以充分的精度取得地面的三维坐标值。
技术实现要素：
6.本公开的一个方式是基于红外线方式的测距传感器检测第一区域的三维形状的检测方法，所述第一区域包含比所述第一区域小的第二区域，检测方法包括如下处理：基于测距传感器的测定值，取得所述第二区域的至少2点的三维坐标值；基于所述至少2点的三维坐标值，计算包含所述第二区域的平面的位置；以及将所述平面的位置决定为所述第一区域的三维形状。
7.本公开的另一方式是一种检测系统，其具备红外线方式的测距传感器和信息处理装置，检测第一区域的三维形状，其中，所述第一区域包含比所述第一区域小的第二区域，所述信息处理装置执行如下处理：基于所述测距传感器的测定值，取得所述第二区域的至少2点的三维坐标值；基于所述至少2点的三维坐标值，计算包含所述第二区域的平面的位置；以及将所述平面的位置决定为所述第一区域的三维形状。
附图说明
8.图1是表示第一实施方式的检测系统的结构的一例的图。
9.图2是表示深度照相机与rgb照相机的照相机坐标的对应关系的图。
10.图3是表示个人计算机的结构的一例的图。
11.图4是表示第一区域的三维形状的检测方法的一例的图。
12.图5是表示包含第一
物体的三维形状的检测方法的一例的图。
13.图6是表示包含第一物体和第二物体的三维形状的检测方法的一个例子的图。
14.图7是表示第一物体和第二物体的检测方法的一例的图。
15.图8是表示个人计算机的处理的一例的流程图。
16.图9是表示个人计算机的处理的一例的流程图。
17.图10是表示第二实施方式的个人计算机的结构的一例的图。
18.图11是表示个人计算机的处理的一例的流程图。
19.标号说明
20.1：检测系统；10：检测装置；11：深度照相机；12：rgb照相机；13：红外线投影仪；20：个人计算机(信息处理装置)；21：控制部；21a：处理器；211：坐标取得部；212：平面计算部；213：形状决定部；214：比率判定部；215：告知部；216：位置确定部；221：第一取得部；222：第二取得部；223：第一检测部；224：第三取得部；225、226：第二检测部；21b：存储器；23：显示机构；231：显示面板；24：声音输出机构；241：扬声器；25：接口机构；26：操作机构；30：投影仪；ar1：第一区域；ar2：第二区域；b：亮度；bj1：第一物体；bj11：长方体；bj12：壁；bj2：第二物体；cp：rgb
图像；dp：深度图像；dp1：第一深度图像；dp2：第二深度图像；dp3：第三深度图像；fl：地面；jl1：第一距离信息；jl2：第二距离信息；jl3：第三距离信息；l1：第一长度；l2：第二长度；mk：标记；pgm：控制程序；pl：平面；rf：反射体；rt：比率；th：阈值。
具体实施方式
21.以下，参照附图对本实施方式进行说明。需要说明的是，本实施方式包括参照图1～图9进行说明的第一实施方式和参照图10及图11进行说明的第二实施方式。
22.图1是表示第一实施方式的检测系统1的结构的一例的图。
23.检测系统1具备检测装置10、个人计算机20以及投影仪30。
24.个人计算机20以能够通信的方式与检测装置10和投影仪30分别连接。
25.个人计算机20例如通过usb(universal serial bus：通用串行总线)线缆以能够通信的方式与检测装置10连接。另外，个人计算机20通过hdmi(注册商标)(high-definition multimedia interface：高清多媒体接口)线缆以能够通信的方式与投影仪30连接。
26.检测装置10具备红外线方式的测距传感器。在本实施方式中，检测装置10由rgb-d(depth：深度)照相机构成。如图2所示，检测装置10具备深度照相机11、rgb照相机12及红外线投影仪13。
27.红外线投影仪13向被摄体照射红外线。
28.深度照相机11通过计测红外线投影仪13所照射的红外线的反射光，以所谓的tof(time of flight：飞行时间)方式取得将深度值(z坐标)与深度照相机11的坐标(ud，vd)建立了对应的深度图像dp。x轴与ud轴平行，y轴与vd轴平行。x轴、y轴以及z轴相互正交。
29.rgb照相机12取得被摄体的rgb图像cp。
30.参照图2对深度图像dp、ud轴、vd轴以及rgb图像cp进行说明。
31.红外线投影仪13及深度照相机11对应于“红外线方式的测距传感器”的一例。
32.深度图像dp对应于“测距传感器的测定值”的一例。
33.在本实施方式中，对“红外线方式的测距传感器”由rgb-d照相机的红外线投影仪13以及深度照相机11构成的情况进行说明，但并不限定于此。
[0034]“红外线方式的测距传感器”也可以由包含2台ir(infrared：红外)照相机的立体视觉构成。此外，在立体视觉中，需要在2个拍摄图像上将对应的位置的坐标建立对应。然而，难以在拍摄图像上准确地确定对应的点位置，计测精度有可能变得不稳定。因此，将特定标记配置于地面fl等，确定2个拍摄图像间的对应位置即可。作为特定标记，可以优选使用回归性反射材料。
[0035]
另外，“红外线方式的测距传感器”也可以由具备ir照相机和ir投影仪的结构化光构成。
[0036]
个人计算机20从检测装置10取得深度图像dp。另外，个人计算机20基于深度图像dp来检测第一区域ar1的三维形状。
[0037]
视角θ1表示与第一区域ar1对应的深度照相机11的视野。中心线lc1表示深度照相机11的视野的中心。中心线lc1与z轴平行。
[0038]
个人计算机20对应于“信息处理装置”的一例。
[0039]
投影仪30根据来自个人计算机20的指示，将图像光投射到地面fl，在地面fl的投射区域arp形成投射图像。投射角θp表示投影仪30朝向地面fl的投射区域arp投射图像光的扩散角。
[0040]
投射区域arp包含于第一区域ar1。中心线lc2表示投影仪30投射的投射光的中心。
[0041]
如图1所示，以中心线lc2与地面fl的交点的位置例如与中心线lc1与地面fl的交点的位置一致的方式配置检测装置10以及投影仪30。
[0042]
图2是表示深度照相机11与rgb照相机12的照相机坐标的对应关系的图。
[0043]
检测装置10、即rgb-d照相机能够取得由rgb照相机12取得的rgb图像cp、由深度照相机11取得的深度图像dp、以及三维的xyz坐标，生成具有带颜信息的六维数据(r、g、b、x、y、z)的点数据、即点云数据。
[0044]
rgb照相机12和深度照相机11是不同的设备，因此这些照相机的坐标系通常不一致。因此，为了生成带颜信息的点云数据，需要rgb照相机12的rgb图像cp与深度照相机11的深度图像dp之间的像素坐标系的对应关系。
[0045]
像素坐标系的对应关系例如在市售产品的sdk(software development kit)、外部库中准备有默认值，能够使用api(application programming interface)来取得。
[0046]
例如，如图2所示，通过输入深度图像dp的一点(ud，vd)和对应的深度值(z坐标)，得到rgb图像cp中的对应点(uc，vc)。ud轴例如与深度图像dp的长边方向平行。vd轴例如与深度图像dp的短边方向平行。uc轴例如与rgb图像cp的长边方向平行。vc轴例如与rgb图像cp的短边方向平行。
[0047]
在使用一体地组装有rgb照相机12和深度照相机11的市售的rgb-d照相机单体的情况下，不用另外进行外部参数的校准等作业，通过使用制造商侧准备的默认值，能够进行rgb图像cp与深度图像dp之间的像素坐标系的对应。
[0048]
图3是表示个人计算机20的结构的一例的图。
[0049]
个人计算机20具备控制部21、显示机构23、声音输出机构24以及接口机构25。另外，控制部21以能够通信的方式与操作机构26连接。
[0050]
显示机构23具备按照控制部21的控制来显示各种图像的显示面板231。显示面板231例如包括lcd(liquid crystal display：液晶显示器)。显示面板231构成为矩形状。
[0051]
声音输出机构24具备按照控制部21的控制输出各种声音的扬声器241。
[0052]
接口机构25是与包含检测装置10和投影仪30的外部装置执行数据通信的通信接口，例如是与hdmi(注册商标)标准和usb标准对应的有线通信接口。接口机构25例如是具有连接器和接口电路的接口基板，与安装有控制部21的处理器21a等的主基板连接。或者，构成接口机构25的连接器以及接口电路安装于控制部21的主基板。
[0053]
操作机构26接受来自用户的操作，生成操作信号，将操作信号输出到控制部21。操作机构26例如具备键盘和鼠标。
[0054]
控制部21具备处理器21a和存储器21b，控制个人计算机20的各部。
[0055]
存储器21b是非易失性地存储处理器21a执行的程序、数据的存储装置。存储器21b由磁性存储装置、闪存rom(read only memory：只读存储器)等半导体存储元件、或者其他种类的非易失性存储装置构成。
[0056]
此外，存储器21b也可以包括构成处理器21a的工作区的ram(random access memory：随机存取存储器)。存储器21b存储由控制部21处理的数据、处理器21a执行的控制程序pgm。
[0057]
处理器21a可以由单一的处理器构成，也可以是多个处理器作为处理器21a发挥功能的结构。处理器21a执行控制程序来控制个人计算机20的各部。
[0058]
控制部21具备坐标取得部211、平面计算部212、形状决定部213、比率判定部214、告知部215、位置确定部216、第一取得部221、第二取得部222、第一检测部223、第三取得部224以及第二检测部225。具体而言，控制部21的处理器21a通过执行存储于存储器21b的控制程序pgm，作为坐标取得部211、平面计算部212、形状决定部213、比率判定部214、告知部215、位置确定部216、第一取得部221、第二取得部222、第一检测部223、第三取得部224以及第二检测部225发挥功能。
[0059]
以下，参照图3和图4～图7，对控制部21的结构进行说明。
[0060]
图4是表示第一区域ar1的三维形状的检测方法的一例的图。
[0061]
如图4所示，第一区域ar1包含比第一区域ar1小的第二区域ar2。第二区域ar2是由用户设置有反射红外线的反射体rf的区域。
[0062]
反射体rf是反射红外线的物体，例如是白布。
[0063]
在本实施方式中，对反射体rf为白布的情况进行说明，但并不限定于此。反射体rf只要是反射红外光的物体即可。反射体rf例如也可以是在薄板状的物体的表面涂敷反射红外光的涂料。
[0064]
另外，在第二区域ar2配置有确定第二区域ar2的标记mk。标记mk例如由特定的颜形成。标记mk例如由红形成。
[0065]
位置确定部216从rgb照相机12取得rgb图像cp，在rgb图像cp中确定与第二区域ar2对应的位置。位置确定部216通过在rgb图像cp中检测红的标记mk，来确定与第二区域ar2对应的位置。
[0066]
rgb图像cp对应于“拍摄图像”的一例。
[0067]
另外，位置确定部216也可以通过经由操作机构26受理在深度图像dp中指定与第二区域ar2对应的测定值的操作，来确定与第二区域ar2对应的位置。例如，位置确定部216也可以基于由用户进行的指定与第二区域ar2的四角对应的深度图像dp的位置的操作，在深度图像dp中确定与第二区域ar2对应的位置。
[0068]
另外，在深度图像dp中，在位置确定部216经由操作机构26受理用户指定与第二区域ar2对应的测定值的操作的情况下，也可以不在第二区域ar2配置确定第二区域ar2的标记mk。
[0069]
深度图像dp对应于“测距传感器对第一区域的测定值”的一例。
[0070]
在本实施方式中，第二区域ar2形成为矩形状，标记mk由第一标记mk1、第二标记mk2、第三标记mk3以及第四标记mk4构成。第一标记mk1～第四标记mk4分别配置于第二区域ar2的四角。
[0071]
如图4所示，表示第一区域ar1的x轴方向的长度的第一长度l1比表示第二区域ar2的x轴方向的长度的第二长度l2长。另外，表示第一区域ar1的y轴方向的宽度的第一宽度w1比表示第二区域ar2的y轴方向的宽度的第二宽度w2长。
[0072]
坐标取得部211基于深度图像dp，取得第二区域ar2的2点的三维坐标值。
[0073]
在本实施方式中，例如，取得第二区域ar2的配置有第一标记mk1的角部即第一角部cn1和第二区域ar2的配置有第二标记mk2的角部即第二角部cn2的三维坐标值。
[0074]
深度图像dp对应于“测距传感器的测定值”的一例。
[0075]
在本实施方式中，对标记mk配置于第二区域ar2的四角的情况进行说明，但并不限定于此。标记mk在rgb图像cp中以能够确定第二区域ar2的方式配置即可。例如，标记mk也可以配置于第二区域ar2的中央。
[0076]
平面计算部212基于第二区域ar2的2点的三维坐标值，计算包含第二区域ar2的平面pl的位置。
[0077]
平面pl由以下的式(1)规定。
[0078]
z＝((z2-z1)/(y2-y1))
×yꢀꢀꢀ
(1)
[0079]
在此，(x1，y1，z1)表示第一角部cn1的(x，y，z)坐标值，(x2，y2，z2)表示第二角部cn2的(x，y，z)坐标值。
[0080]
在深度照相机11的xd轴与x轴平行、深度照相机11的yd轴与y轴平行的情况下，由式(1)规定的平面pl与包含第二区域ar2的平面一致。换言之，在深度照相机11相对于中心线lc1配置成适当的旋转角度的情况下，平面pl由式(1)规定。
[0081]
形状决定部213将平面pl的位置决定为第一区域ar1的三维形状。
[0082]
此外，在本实施方式中，对基于第二区域ar2的2点的三维坐标值来计算包含第二区域ar2的平面pl的位置的情况进行说明，但并不限定于此。平面计算部212基于第二区域ar2的至少2点的三维坐标值，计算包含第二区域ar2的平面pl的位置即可。
[0083]
例如，平面计算部212也可以基于第二区域ar2的3个点的三维坐标值，计算包含第二区域ar2的平面pl的位置。
[0084]
在该情况下，平面pl由以下的式(2)规定。
[0085][0086]
在此，(x3，y3，z3)表示第三角部cn3的(x，y，z)坐标值。
[0087]
在本实施方式中，对(x1，y1，z1)、(x2，y2，z2)以及(x3，y3，z3)分别表示第一角部cn1、第二角部cn2以及第三角部cn3的(x，y，z)坐标值的情况进行了说明，但并不限定于此。
[0088]
在由式(1)规定平面pl的情况下，(x1，y1，z1)以及(x2，y2，z2)存在于第二区域ar2
内，使用(x，y，z)坐标值分别不同的任意2点的(x，y，z)坐标值即可。
[0089]
在由式(2)规定平面pl的情况下，(x1，y1，z1)、(x2，y2，z2)以及(x3，y3，z3)存在于第二区域ar2内，使用(x，y，z)坐标值分别不同的任意3点的(x，y，z)坐标值即可。
[0090]
另外，例如，平面计算部212也可以基于第二区域ar2的4点以上的三维坐标值，计算包含第二区域ar2的平面pl的位置。在该情况下，能够通过最小二乘法等来计算平面pl的位置。
[0091]
这样，形状决定部213将平面pl的位置决定为第一区域ar1的三维形状，因此能够通过简单的处理来决定准确的第一区域ar1的三维形状。
[0092]
另外，平面计算部212用于基于第二区域ar2的2点的三维坐标值，计算包含第二区域ar2的平面pl的位置，因此能够通过简单的处理来计算平面pl的位置。
[0093]
比率判定部214判定第二区域ar2的尺寸相对于第一区域ar1的尺寸的比率rt是否为阈值th以下。
[0094]
例如，在平面计算部212基于第二区域ar2的第一角部cn1以及第二角部cn2的三维坐标值来计算包含第二区域ar2的平面pl的位置的情况下，第一区域ar1的尺寸例如是第一长度l1，第二区域ar2的尺寸例如是第二长度l2。第一长度l1是第一区域ar1的x轴方向的长度。第二长度l2是第二区域ar2的x轴方向的长度。
[0095]
在该情况下，比率rt通过下式(3)求出。
[0096]
rt＝l2/l1
ꢀꢀꢀ
(3)
[0097]
在该情况下，阈值th例如为0.2。
[0098]
另外，例如，在平面计算部212基于第二区域ar2的第一角部cn1、第二角部cn2以及第三角部cn3的三维坐标值来计算包含第二区域ar2的平面pl的位置的情况下，第一区域ar1的尺寸例如是第一面积s1，第二区域ar2的尺寸例如是第二面积s2。第一面积s1是第一区域ar1的面积。第二面积s2是第二区域ar2的面积。
[0099]
在该情况下，比率rt通过下式(4)求出。
[0100]
rt＝s2/s1＝(l2
×
w2)/(l1
×
w1)
ꢀꢀꢀ
(4)
[0101]
在该情况下，阈值th例如为0.14。
[0102]
告知部215在比率判定部214判定为比率rt为阈值th以下的情况下，进行催促用户进行反射体rf的设置的告知。换言之，告知部215在比率判定部214判定为比率rt为阈值th以下的情况下，进行催促用户增大第二区域ar2的尺寸的告知。
[0103]
另外，告知部215在比率判定部214判定为比率rt为阈值th以下的情况下，向用户告知存在第一区域ar1的三维形状的检测精度低的可能性。
[0104]
由告知部215对用户进行的告知例如通过显示面板231的显示、来自声音输出机构24的声音输出、以及由投影仪30进行的投影图像的显示中的至少1个来进行。
[0105]
第一取得部221基于平面pl的位置，取得表示第一区域ar1的三维形状的第一距离信息jl1。第一距离信息jl1与表示平面pl的位置的第一深度图像dp1对应。例如，第一取得部221生成表示形状决定部213所决定的第一区域ar1的三维形状的深度图像dp作为第一深度图像dp1。
[0106]
关于第一深度图像dp1，将参照图7进一步进行说明。
[0107]
图5是表示包含第一物体bj1的三维形状的检测方法的一例的图。
[0108]
图5与图4相比，不同点在于第一物体bj1配置于地面fl。在本实施方式中，第一物体bj1包括长方体bj11和壁bj12。
[0109]
长方体bj11载置于地面fl上。壁bj12固定于地面fl，并沿与铅垂方向平行的方向竖立设置。
[0110]
第二取得部222在第一取得部221取得第一距离信息jl1之后，基于由深度照相机11生成的深度图像dp，取得表示第一区域ar1内的三维形状的第二距离信息jl2。
[0111]
深度图像dp对应于“测距传感器的测定值”的一例。
[0112]
如图5所示，第二距离信息jl2对应于在第一物体bj1配置于地面fl的状态下由深度照相机11生成的第二深度图像dp2。
[0113]
关于第二深度图像dp2，将参照图7进一步进行说明。
[0114]
第一检测部223基于第一距离信息jl1和第二距离信息jl2，检测第一区域ar1内的第一物体bj1。
[0115]
具体而言，第一检测部223基于第一深度图像dp1和第二深度图像dp2，检测第一区域ar1内的第一物体bj1。
[0116]
将参照图7进一步说明第一检测部223的处理。
[0117]
图6是表示包含第一物体bj1及第二物体bj2的三维形状的检测方法的一例的图。
[0118]
图6与图5相比，不同点在于第二物体bj2配置于地面fl。本实施方式中，第二物体bj2对应于进入第一区域ar1的人。
[0119]
第三取得部224在取得第二距离信息jl2之后，基于由深度照相机11生成的深度图像dp，取得表示第一区域内的三维形状的第三距离信息jl3。
[0120]
深度图像dp对应于“测距传感器的测定值”的一例。
[0121]
如图6所示，第三距离信息jl3对应于在第一物体bj1及第二物体bj2配置于地面fl的状态下由深度照相机11生成的第三深度图像dp3。
[0122]
关于第三深度图像dp3，将参照图7进一步进行说明。
[0123]
第二检测部225基于第二距离信息jl2和第三距离信息jl3，检测第一区域ar1内的第二物体bj2。
[0124]
关于第二检测部225的处理，将参照图7进一步进行说明。
[0125]
告知部215在第二检测部225检测到第二物体bj2时，告知用户检测到第二物体bj2。另外，在第二检测部225未检测到第二物体bj2的情况下，告知部215告知用户未检测到第二物体bj2。
[0126]
图7是表示第一物体bj1及第二物体bj2的检测方法的一例的图。
[0127]
在图7中，从上向下表示了第一深度图像dp1、第二深度图像dp2以及第三深度图像dp3。
[0128]
另外，在图7中，与第一深度图像dp1、第二深度图像dp2以及第三深度图像dp3分别建立对应地记载了表示深度值(z坐标)与深度图像dp中的像素的亮度b的关系的尺度图像cd。深度值(z坐标)表示距深度照相机11的距离。
[0129]
如尺度图像cd所示，离深度照相机11的距离越远，深度图像dp中的像素的亮度b越高。换言之，距深度照相机11的距离越近，深度图像dp中的图像的浓度越浓。
[0130]
在第一深度图像dp1中，显示与从深度照相机11到地面fl的距离对应的第一亮度
值b1的地面图像dp11。
[0131]
在第二深度图像dp2中，除了第一亮度值b1的图像之外，还显示与第一物体bj1对应的第一图像dp21和第二图像dp22。
[0132]
第一图像dp21是与长方体bj11对应的图像，以低于第一亮度值b1的第二亮度值b2显示。
[0133]
第二图像dp22是与壁bj12对应的图像，以比第一亮度值b1低的第三亮度值b3显示。
[0134]
长方体bj11比壁bj12更靠近深度照相机11，因此第二亮度值b2低于第三亮度值b3。
[0135]
第一检测部223基于第一深度图像dp1和第二深度图像dp2，检测第一区域ar1内的第一物体bj1。换言之，第一检测部223通过从第二深度图像dp2所包含的图像中提取与地面图像dp11的第一亮度值b1不同的亮度值的图像，来检测第一物体bj1。例如，第一检测部223通过从第二深度图像dp2所包含的图像中提取比地面图像dp11的第一亮度值b1低的亮度值的图像，来检测第一物体bj1。
[0136]
这样，第一检测部223能够检测与长方体bj11对应的第一图像dp21和与壁bj12对应的第二图像dp22。
[0137]
在第三深度图像dp3中，除了显示地面图像dp11、第一图像dp21以及第二图像dp22之外，还显示第三图像dp31。
[0138]
第三图像dp31是与表示人体的第二物体bj2对应的图像，以第四亮度值b4显示。由于第二物体bj2比第一物体bj1更靠近深度照相机11，因此第四亮度值b4低于第三亮度值b3。
[0139]
第二检测部225基于第二深度图像dp2和第三深度图像dp3，检测第一区域ar1内的第二物体bj2。换言之，第二检测部225通过从第三深度图像dp3所包含的图像中提取与地面图像dp11的第一亮度值b1、与第一物体bj1对应的第一图像dp21的第二亮度值b2、以及第二图像dp22的第三亮度值b3不同的亮度值的图像，来检测第二物体bj2。例如，第二检测部225通过从第三深度图像dp3所包含的图像中提取比第二图像dp22的第三亮度值b3低的亮度值的图像，来检测第二物体bj2。
[0140]
这样，第二检测部225能够检测与第二物体bj2对应的第三图像dp31。
[0141]
在第二检测部225检测到第二物体bj2的情况下，告知部215告知用户检测到第二物体bj2。告知部215例如通过使投影仪30在地面fl上显示表示检测到第二物体bj2的投影图像，来向用户告知检测到第二物体bj2。
[0142]
另外，在第二检测部225未检测到第二物体bj2的情况下，告知部215告知用户未检测到第二物体bj2。告知部215例如通过使投影仪30在地面fl上显示表示未检测到第二物体bj2的投影图像，来告知用户未检测到第二物体bj2。
[0143]
图8和图9是表示个人计算机20的处理的一例的流程图。
[0144]
首先，如图8所示，在步骤s101中，用户在第二区域ar2配置反射体rf以及标记mk。
[0145]
接着，在步骤s103中，位置确定部216从rgb照相机12取得rgb图像cp。
[0146]
接着，在步骤s105中，位置确定部216在rgb图像cp中确定与第二区域ar2对应的位置。
[0147]
接着，在步骤s107中，比率判定部214计算第一长度l1。第一长度l1表示第一区域ar1的x轴方向的长度。
[0148]
接着，在步骤s109中，比率判定部214计算第二长度l2。第二长度l2表示第二区域ar2的x轴方向的长度。
[0149]
接着，在步骤s111中，比率判定部214计算比率rt。
[0150]
接着，在步骤s113中，比率判定部214判定比率rt是否为阈值th以下。
[0151]
在比率判定部214判定为比率rt为阈值th以下的情况下，即，在步骤s113中为“是”的情况下，处理进入步骤s115。
[0152]
然后，在步骤s115中，告知部215进行催促用户进行反射体rf的设置的告知。然后，处理返回到步骤s101。
[0153]
在比率判定部214判定为比率rt不是阈值th以下的情况下，即，在步骤s113中为“否”的情况下，处理进入图9所示的步骤s117。
[0154]
然后，如图9所示，在步骤s117中，坐标取得部211基于深度图像dp，取得第二区域ar2的2点的三维坐标值。
[0155]
接着，在步骤s119中，平面计算部212基于第二区域ar2的2点的三维坐标值，计算包含第二区域ar2的平面pl的位置。
[0156]
接着，在步骤s121中，形状决定部213将平面pl的位置决定为第一区域ar1的三维形状。
[0157]
接着，在步骤s123中，第一取得部221基于平面pl的位置，取得表示第一区域ar1的三维形状的第一距离信息jl1。
[0158]
接着，在步骤s125中，第二取得部222基于深度图像dp，取得表示第一区域ar1内的三维形状的第二距离信息jl2。第二距离信息jl2对应于在第一物体bj1配置于地面fl的状态下由深度照相机11生成的第二深度图像dp2。
[0159]
接着，在步骤s127中，第一检测部223基于第一距离信息jl1和第二距离信息jl2，检测第一区域ar1内的第一物体bj1。具体而言，第一检测部223基于第一深度图像dp1和第二深度图像dp2，检测第一区域ar1内的第一物体bj1。
[0160]
接着，在步骤s129中，第三取得部224基于深度图像dp，取得表示第一区域内的三维形状的第三距离信息jl3。第三距离信息jl3对应于在第一物体bj1及第二物体bj2配置于地面fl的状态下由深度照相机11生成的第三深度图像dp3。
[0161]
接着，在步骤s131中，第二检测部225基于第二距离信息jl2和第三距离信息jl3，判断是否检测到第一区域ar1内的第二物体bj2。
[0162]
在第二检测部225判断为未检测到第二物体bj2的情况下，即，在步骤s131中为“否”的情况下，处理进入步骤s135。
[0163]
然后，在步骤s135中，告知部215告知用户未检测到第二物体bj2。告知部215例如通过使投影仪30在地面fl上显示表示未检测到第二物体bj2的投影图像，来告知用户未检测到第二物体bj2。然后，处理进入步骤s139。
[0164]
在第二检测部225判断为检测到第二物体bj2的情况下，即，在步骤s131中为“是”的情况下，处理进入步骤s137。
[0165]
然后，在步骤s137中，告知部215告知用户检测到第二物体bj2。告知部215例如通
过使投影仪30在地面fl上显示表示检测到第二物体bj2的投影图像，来向用户告知检测到第二物体bj2。然后，处理进入步骤s139。
[0166]
接着，步骤s139中，控制部21判断是否结束第二物体bj2的检测。控制部21例如接受来自用户的操作，并基于所接受的操作来判断是否结束第二物体bj2的检测。
[0167]
控制部21判断为不结束第二物体bj2的检测时，即步骤s139为“否”的情况下，处理返回步骤s129。在控制部21判断为结束第二物体bj2的检测的情况下，即，在步骤s139中为“是”的情况下，之后结束处理。
[0168]
如参照图8以及图9说明的那样，坐标取得部211基于深度图像dp，取得第二区域ar2的2点的三维坐标值，平面计算部212基于第二区域ar2的2点的三维坐标值，计算包含第二区域ar2的平面pl的位置。然后，形状决定部213将平面pl的位置决定为第一区域ar1的三维形状。因此，如果能够取得第二区域ar2的2点的三维坐标值，则能够以充分的精度取得第一区域ar1的三维坐标值。
[0169]
另外，由于在第二区域ar2配置有反射体rf，因此能够准确地取得第二区域ar2的2点的三维坐标值。
[0170]
而且，由于在第二区域ar2配置有标记mk，因此能够容易地确定rgb图像cp中的第二区域ar2的位置。
[0171]
接下来，对第二实施方式的检测系统1进行说明。第二实施方式的检测系统1的基本结构与第一实施方式的检测系统1相同，因此省略详细的说明。
[0172]
第一实施方式的检测系统1的个人计算机20的控制部21具备第二检测部225，与此相对，第二实施方式的检测系统1的个人计算机20的控制部21的不同点在于，代替第二检测部225而具备第二检测部226。
[0173]
图10是表示第二实施方式的个人计算机20的结构的一例的图。
[0174]
第二检测部226基于第一距离信息jl1、第二距离信息jl2和第三距离信息jl3，检测第一区域ar1内的第二物体bj2。
[0175]
参照图7，对第二检测部226的更具体的处理内容进行说明。
[0176]
首先，第二检测部226基于第一深度图像dp1和第三深度图像dp3，检测第一区域ar1内的第一物体bj1和第二物体bj2。换言之，第二检测部226通过从第三深度图像dp3所包含的图像中提取与地面图像dp11的第一亮度值b1不同的亮度值的图像，来检测第一物体bj1和第二物体bj2。例如，第二检测部226通过从第三深度图像dp3所包含的图像中提取比地面图像dp11的第一亮度值b1低的亮度值的图像，来检测第一物体bj1和第二物体bj2。
[0177]
接着，第二检测部226基于第二深度图像dp2和第三深度图像dp3，检测第一区域ar1内的与由第一检测部223检测出的第一物体bj1不同的第二物体bj2。
[0178]
换言之，第二检测部226提取第三深度图像dp3所包含的图像中与第二检测部226基于第一深度图像dp1和第三深度图像dp3检测出的第一物体bj1和第二物体bj2分别对应的图像的亮度值。具体而言，第二检测部226提取与第一物体bj1对应的第一图像dp21的第二亮度值b2、与第一物体bj1对应的第二图像dp22的第三亮度值b3、以及与第二物体bj2对应的第三图像dp31的第四亮度值b4。
[0179]
然后，第二检测部226从第二深度图像dp2所包含的图像中提取与第一检测部223基于第一深度图像dp1和第二深度图像dp2检测出的第一物体bj1对应的图像的亮度值。具
体而言，第二检测部226提取与第一区域ar1内的第一物体bj1对应的第一图像dp21的第二亮度值b2和与第一物体bj1对应的第二图像dp22的第三亮度值b3。
[0180]
之后，将第三深度图像dp3中的第二亮度值b2、第三亮度值b3及第四亮度值b4与第二深度图像dp2中的第二亮度值b2及第三亮度值b3进行比较，提取第二深度图像dp2与第三深度图像dp3之间不同的亮度值，由此检测出与第四亮度值b4对应的第二物体bj2。
[0181]
这样，第二检测部226能够基于第一深度图像dp1、第二深度图像dp2和第三深度图像dp3来检测第一区域ar1内的第二物体bj2。
[0182]
图11是表示第二实施方式的检测系统1中包含的个人计算机20的处理的一例的流程图。步骤s117至步骤s129的处理与第一实施方式的检测系统1执行的处理相同，因此省略其说明。
[0183]
个人计算机20在进行了步骤s129之后，进行步骤s231。在步骤s231中，第二检测部226基于第一距离信息jl1、第二距离信息jl2和第三距离信息jl3，判断是否检测到第一区域ar1内的第二物体bj2。
[0184]
在第二检测部226判断为未检测到第二物体bj2的情况下，即，在步骤s231中为“否”的情况下，处理进入步骤s135。另外，在第二检测部226判断为检测到第二物体bj2的情况下，即，在步骤s231中为“是”的情况下，处理进入步骤s137。
[0185]
步骤s135以及步骤s137以后的处理与第一实施方式的检测系统1所执行的处理相同，因此省略其说明。
[0186]
如以上参照图1～图11所说明的那样，本实施方式的检测方法是通过红外线投影仪13及深度照相机11来检测第一区域ar1的三维形状的检测方法，第一区域ar1包含比第一区域ar1小的第二区域ar2，该检测方法包含：基于深度照相机11的深度图像dp来取得第二区域ar2的至少2点的三维坐标值；基于所述2点的三维坐标值来计算包含第二区域ar2的平面pl的位置；以及将平面pl的位置决定为第一区域ar1的三维形状。
[0187]
即，基于深度图像dp，取得第二区域ar2的2点的三维坐标值，基于第二区域ar2的2点的三维坐标值，计算包含第二区域ar2的平面pl的位置。然后，将平面pl的位置决定为第一区域ar1的三维形状。
[0188]
因此，在能够取得第二区域ar2的2点的三维坐标值的情况下，能够以充分的精度取得第一区域ar1的三维坐标值。
[0189]
另外，第二区域ar2是设置有反射红外线的反射体rf的区域。
[0190]
因此，能够基于深度图像dp，准确地取得第二区域ar2的2点的三维坐标值。因此，能够以充分的精度取得第一区域ar1的三维坐标值。
[0191]
另外，检测方法包括：判定第二区域ar2的尺寸相对于第一区域ar1的尺寸的比率rt是否为阈值th以下；以及在比率rt为阈值th以下的情况下，进行催促用户进行反射体rf的设置的告知。
[0192]
即，在第二区域ar2的尺寸相对于第一区域ar1的尺寸的比率rt为阈值th以下的情况下，进行催促用户进行反射体rf的设置的告知。
[0193]
因此，能够将第二区域ar2设定为适当的尺寸。因此，能够以充分的精度取得第一区域ar1的三维坐标值。
[0194]
另外，检测方法包括：判定第二区域ar2的尺寸相对于第一区域ar1的尺寸的比率
rt是否为阈值th以下；以及在比率rt为阈值th以下的情况下，向用户告知存在第一区域ar1的三维形状的检测精度低的可能性。
[0195]
即，在第二区域ar2的尺寸相对于第一区域ar1的尺寸的比率rt为阈值th以下的情况下，向用户告知存在第一区域ar1的三维形状的检测精度低的可能性。
[0196]
因此，用户能够认识到存在第一区域ar1的三维形状的检测精度低的可能性。因此，能够提高用户的便利性。
[0197]
例如，在即使第一区域ar1的三维形状的检测精度低也没有问题的情况下，用户能够使用检测出的第一区域ar1的三维形状。另外，例如，在不优选第一区域ar1的三维形状的检测精度较低的情况下，用户通过增大第二区域ar2的尺寸，能够提高第一区域ar1的三维形状的检测精度。
[0198]
另外，检测方法包括接受在利用红外线投影仪13以及深度照相机11得到的第一区域ar1的深度图像dp中指定与第二区域ar2对应的区域的操作。
[0199]
因此，在第一区域ar1的深度图像dp中，受理指定与第二区域ar2对应的区域的操作，因此能够不配置标记mk而容易地确定第二区域ar2。因此，能够提高用户的便利性。
[0200]
另外，检测方法包括：rgb照相机12拍摄第一区域ar1，从rgb照相机12取得rgb图像cp；以及在rgb图像cp中确定与第二区域ar2对应的位置。
[0201]
因此，在rgb图像cp中，确定与第二区域ar2对应的位置，因此能够准确地确定与第二区域ar2对应的位置。因此，能够提高第一区域ar1的三维形状的检测精度。
[0202]
另外，检测方法包括：基于平面pl的位置，取得表示第一区域ar1的三维形状的第一距离信息jl1；在取得第一距离信息jl1之后，基于利用红外线投影仪13及深度照相机11得到的第一区域ar1的深度图像dp，取得表示第一区域ar1内的三维形状的第二距离信息jl2；以及基于第一距离信息jl1和第二距离信息jl2，检测第一区域ar1内的第一物体bj1。
[0203]
即，基于表示第一区域ar1的三维形状的第一距离信息jl1和表示取得第一距离信息jl1后的第一区域ar1内的三维形状的第二距离信息jl2，检测第一区域ar1内的第一物体bj1。例如，如参照图7所说明的那样，基于第一深度图像dp1和第二深度图像dp2，检测第一区域ar1内的第一物体bj1。第一深度图像dp1与第一距离信息jl1对应。第二深度图像dp2与第二距离信息jl2对应。
[0204]
因此，能够准确地检测第一区域ar1内的第一物体bj1。
[0205]
另外，检测方法还包括：在取得第二距离信息jl2之后，基于利用红外线投影仪13及深度照相机11得到的第一区域ar1的深度图像dp，取得表示第一区域ar1内的三维形状的第三距离信息jl3；以及基于第二距离信息jl2和第三距离信息jl3，检测第一区域ar1内的与第一物体bj1不同的第二物体bj2。
[0206]
即，基于第二距离信息jl2和表示取得第二距离信息jl2后的第一区域ar1内的三维形状的第三距离信息jl3，检测第一区域ar1内的与第一物体bj1不同的第二物体bj2。例如，如参照图7所说明的那样，基于第二深度图像dp2和第三深度图像dp3，检测第一区域ar1内的第二物体bj2。第二深度图像dp2与第二距离信息jl2对应。第三深度图像dp3与第三距离信息jl3对应。
[0207]
因此，能够准确地检测第一区域ar1内的第二物体bj2。
[0208]
另外，也可以是，除了第二距离信息jl2和表示取得第二距离信息jl2后的第一区
域ar1内的三维形状的第三距离信息jl3之外，还基于第一距离信息jl1来检测第一区域ar1内的与第一物体bj1不同的第二物体bj2。
[0209]
本实施方式的检测系统1具备红外线投影仪13、深度照相机11以及个人计算机20，检测第一区域ar1的三维形状，其中，第一区域ar1包含比第一区域ar1小的第二区域ar2，个人计算机20执行以下处理：基于利用红外线投影仪13以及深度照相机11得到的第一区域ar1的深度图像dp，取得第二区域ar2的至少2点的三维坐标值；基于所述2点的三维坐标值，计算包含第二区域ar2的平面pl的位置；以及将平面pl的位置决定为第一区域ar1的三维形状。
[0210]
因此，本实施方式的检测系统1起到与本实施方式的检测方法同样的效果。
[0211]
上述的本实施方式是优选的实施方式。但是，并不限定于上述的本实施方式，在不脱离主旨的范围内能够实施各种变形。
[0212]
在本实施方式中，对“测距传感器”以及生成拍摄图像的拍摄装置由rgb-d照相机构成的情况进行了说明，但并不限定于此。例如，“测距传感器”和生成拍摄图像的拍摄装置也可以分体构成。
[0213]
在本实施方式中，对“信息处理装置”为个人计算机20的情况进行了说明，但并不限定于此。“信息处理装置”也可以是平板终端、智能手机等。
[0214]
在本实施方式中，对检测系统1具备检测装置10、个人计算机20以及投影仪30的情况进行了说明，但并不限定于此。例如，检测系统1也可以由检测装置10和个人计算机20构成。即，检测系统1也可以不具备投影仪30。
[0215]
在本实施方式中，对第一区域ar1包含于地面fl的情况进行了说明，但并不限定于此。第一区域ar1包含于平面状的部件、构造物等即可。例如，第一区域ar1也可以包含于壁面。另外，例如，第一区域ar1也可以包含于天花板面。
[0216]
在本实施方式中，个人计算机20与检测装置10和投影仪30分别以能够通过有线进行通信的方式连接，但不限于此。个人计算机20也可以与检测装置10和投影仪30分别以能够通过bluetooth(注册商标)、wi-fi(注册商标)等无线进行通信的方式连接。
[0217]
在本实施方式中，对个人计算机20的控制部21具有坐标取得部211、平面计算部212、形状决定部213、比率判定部214、告知部215、位置确定部216、第一取得部221、第二取得部222、第一检测部223、第三取得部224和第二检测部225的情况进行了说明，但不限于此。
[0218]
例如，投影仪30的省略图示的控制部也可以具备坐标取得部211、平面计算部212、形状决定部213、比率判定部214、告知部215、位置确定部216、第一取得部221、第二取得部222、第一检测部223、第三取得部224以及第二检测部225。在该情况下，检测系统1不需要具备个人计算机20。
[0219]
另外，图3所示的各功能部表示功能性结构，具体的安装方式没有特别限制。即，不一定需要安装与各功能部分别对应的硬件，也可以构成为通过一个处理器执行程序来实现多个功能部的功能。另外，在上述实施方式中，也可以通过硬件来实现由软件实现的功能的一部分，或者，也可以通过软件来实现由硬件实现的功能的一部分。此外，关于个人计算机20的其他各部的具体的细节结构，也能够在不脱离主旨的范围内任意地变更。
[0220]
另外，图8以及图9所示的流程图的处理单位是为了使个人计算机20的处理容易理
解而根据主要的处理内容进行分割的单位。不受图8和图9的各个流程图所示的处理单位的分割方法和名称的限制，可以根据处理内容分割为更多的处理单位，也可以分割为1个处理单位包含更多的处理。另外，上述的流程图的处理顺序也不限于图示的例子。
[0221]
另外，检测系统1的检测方法能够通过使个人计算机20所具备的处理器21a执行与检测系统1的检测方法对应的控制程序pgm来实现。另外，该控制程序pgm也可以预先记录在以计算机可读取的方式记录的记录介质中。作为记录介质，可以使用磁性、光学性的记录介质或半导体存储器设备。
[0222]
具体而言，可举出软盘、hdd、cd-rom(compact disk read only memory：光盘只读存储器)、dvd、blu-ray(注册商标)盘、光磁盘、闪存、卡型记录介质等可移动型或固定式的记录介质。另外，记录介质也可以是作为图像处理装置所具备的内部存储装置的ram、rom、hdd等非易失性存储装置。
[0223]
另外，也可以将与检测系统1的检测方法对应的控制程序pgm预先存储在服务器装置等，从服务器装置向个人计算机20下载控制程序pgm，由此实现检测系统1的检测方法。
[0224]
另外，在本实施方式中，对由用户在第二区域ar2设置反射体rf的情况进行了说明，但并不限定于此。第二区域ar2也可以是反射红外线的平面的且能够基于由深度照相机11取得的深度图像dp来取得三维坐标值的区域。例如，也可以是，第一区域ar1为地面，将第一区域ar1中的由充分反射红外线的材料形成的区域作为第二区域ar2。另外，也可以不将第一区域ar1中的因作为第一区域ar1的地面与深度照相机11的相对角度的影响而无法将红外线充分反射至深度照相机11的区域作为第二区域ar2，而仅将能够将红外线充分反射至深度照相机11的区域作为第二区域ar2。此外，例如，如图5所示，在第一区域ar1中包含第一物体bj1的情况下，也可以将未设置第一物体bj1而反射红外线的平面的区域作为第二区域ar2。
技术特征：
1.一种检测方法，其包括如下处理：基于通过红外线方式的测距传感器对第一区域进行测定得到的测定值，取得包含于所述第一区域且比所述第一区域小的第二区域的至少2点的三维坐标值；基于所述至少2点的三维坐标值，计算包含所述第二区域的平面的位置；以及将所述平面的位置决定为所述第一区域的三维形状。2.根据权利要求1所述的检测方法，其中，所述第二区域是设置有反射红外线的反射体的区域。3.根据权利要求2所述的检测方法，其中，所述检测方法包括如下处理：判定所述第二区域的尺寸相对于所述第一区域的尺寸的比率是否为阈值以下；以及在所述比率为所述阈值以下的情况下，进行促使用户进行所述反射体的设置的告知。4.根据权利要求1或2所述的检测方法，其中，所述检测方法包括如下处理：判定所述第二区域的尺寸相对于所述第一区域的尺寸的比率是否为阈值以下；以及在所述比率为所述阈值以下的情况下，向用户告知存在所述第一区域的三维形状的检测精度低的可能性。5.根据权利要求1至3中的任一项所述的检测方法，其中，所述检测方法包括如下处理：受理在所述测距传感器对所述第一区域的测定值中指定与所述第二区域对应的测定值的操作。6.根据权利要求1至3中的任一项所述的检测方法，其中，所述检测方法包括如下处理：取得拍摄所述第一区域得到的拍摄图像；以及在所述拍摄图像中确定与所述第二区域对应的位置。7.根据权利要求1至3中的任一项所述的检测方法，其中，所述检测方法包括如下处理：基于所述平面的位置，取得表示所述第一区域的三维形状的第一距离信息；在取得了所述第一距离信息之后，基于所述测距传感器的测定值，取得表示所述第一区域内的三维形状的第二距离信息；以及基于所述第一距离信息和所述第二距离信息来检测所述第一区域内的第一物体。8.根据权利要求7所述的检测方法，其中，所述检测方法包括如下处理：在取得了所述第二距离信息之后，根据所述测距传感器的测定值，取得表示所述第一区域内的三维形状的第三距离信息；以及基于所述第二距离信息和所述第三距离信息，检测所述第一区域内的与所述第一物体不同的第二物体。9.一种检测系统，其具备：红外线方式的测距传感器；以及信息处理装置，所述信息处理装置执行如下处理：
根据所述测距传感器对第一区域进行测定得到的测定值，取得包含于所述第一区域且比所述第一区域小的第二区域的至少2点的三维坐标值；基于所述至少2点的三维坐标值，计算包含所述第二区域的平面的位置；以及将所述平面的位置决定为所述第一区域的三维形状。
技术总结
本发明提供检测方法以及检测系统，以充分的精度取得第一区域的三维坐标值。检测方法通过红外线投影仪(13)及深度照相机(11)检测第一区域(AR1)的三维形状，第一区域(AR1)包含比第一区域(AR1)小的第二区域(AR2)，检测方法包括如下处理：基于深度照相机(11)的深度图像(DP)，取得第二区域(AR2)的至少2点的三维坐标值；基于所述2点的三维坐标值，计算包含第二区域(AR2)的平面(PL)的位置；以及将平面(PL)的位置决定为第一区域(AR1)的三维形状。位置决定为第一区域(AR1)的三维形状。位置决定为第一区域(AR1)的三维形状。
技术研发人员：
饭岛悠大郎
受保护的技术使用者：
精工爱普生株式会社
技术研发日：
2022.05.30
技术公布日：
2022/12/15
