一种基于计算机视觉的无人车巡检方法、系统及无人车与流程

阅读：评论：0

1.本发明涉及无人车导航领域，尤其涉及一种基于计算机视觉的无人车巡检方法、系统及无人车。

背景技术：

2.随着人工智能技术与5g技术的发展，人工智能在许多领域有着杰出的贡献，如有时需要在一些狭小空间或者危险环境下，对设备进行检修或者查看其运行状态，就需要用到无人车技术。目前的技术方案主要是通过激光雷达、红外摄像、激光测距等设备技术，设计了无人车定位及导航算法，对无人车进行精准定点停车的效果，能够让无人车停在准确的位置，这类方案的算法复杂，且对设备的要求较高。

技术实现要素：

3.为克服相关技术中存在的问题，本发明提供一种基于计算机视觉的无人车巡检方法、系统及无人车。
4.根据本发明实施例的第一方面，提供一种基于计算机视觉的无人车巡检方法，包括：
5.根据无人车自身携带的摄像机采集的图像识别待巡检目标；
6.拟合待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；
7.根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。
8.进一步，所述根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标，具体包括：
9.当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；
10.当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；
11.当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。
12.进一步，根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标，具体还包括：
13.当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；
14.根据预设距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；
15.按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。
16.进一步，该方法还包括：
17.当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。
18.根据本发明实施例的第二方面，提供一种基于计算机视觉的无人车巡检系统，包括：
19.目标识别模块，用于根据无人车自身携带的摄像机采集的图像识别待巡检目标；
20.路径拟合模块，用于拟合待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；
21.运动控制模块，用于根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。
22.进一步，所述运动控制模块，具体包括：
23.方向控制单元，用于当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。
24.进一步，所述运动控制模块，具体还包括：
25.第一计算单元，用于当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；
26.第二计算单元，用于根据所述当前位置与目标之间的距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；
27.第一运动控制单元，用于按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。
28.进一步，所述运动控制模块，具体还包括：
29.第二运动控制单元，用于当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。
30.根据本发明实施例的第三方面，提供一种无人车，包含摄像机、处理器和存储器，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述的方法。
31.进一步，该无人车还包括激光雷达。
32.本发明实施例提供的技术方案，通过目标检测算法识别待巡检目标，结合实际场景情况，采用简单的导航算法确定行动轨迹，最终引导无人车停止在预先设定位置，能够实现在不同环境下无人车的精准定位，且降低了对硬件的要求。
33.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
34.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
35.图1是根据本发明一示例性实施例示出的一种基于计算机视觉的无人车巡检方法的流程示意图；
36.图2是无人车各个停止点位坐标示意图；
37.图3是停止牌位置示意图；
38.图4是无人车向第一个停止牌运动时的识别效果示例图；
39.图5是无人车向第二个停止牌运动时的识别效果示例图；
40.图6是无人车精确定位流程图。
具体实施方式
41.下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
42.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
43.应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
44.以下结合附图详细描述本发明实施例的技术方案。
45.图1是根据本发明一示例性实施例示出的一种基于计算机视觉的无人车巡检方法的流程示意图。
46.在一个实施例中，本发明涉及到的主要硬件设备有无人车、激光雷达、高清摄像机、智能算法盒子，其中摄像机负责采集无人车运动路径上的图像，智能算法盒子负责识别图像中的特征，激光雷达负责分析周围环境是否有障碍物。
47.参见图1，该方法包括：
48.110、根据无人车自身携带的摄像机采集的图像识别待巡检目标；
49.具体的，通过预先用待巡检目标的图像对目标检测模型进行训练，并将训练好的模型部署在智能算法盒子中，确保能够实现对待巡检目标的识别。
50.120、拟合所述待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；
51.具体的，可事先将无人车放置在待巡检目标和附近，并将无人车上的摄像机对准待巡检目标，结合使用环境调整无人车和摄像机的参数，当摄像机和无人车参数固定下来后，如图2所示，设定两个待巡检目标对应的两个虚拟点d1和d2，通过拟合这两个虚拟点坐标，即可自动分析出当前无人车在图像中的路径函数，保存其中一个虚拟点d1(d)和路径函数与图像下边缘交点(f)处的坐标值，作为后续参考使用。各坐标值如下式所示：
52.d1＝(x1,y1)
53.d2＝(x2,y2)
[0054][0055]
f(x)＝kx+b
[0056][0057]
其中d1，d2表示两个虚拟点坐标，保存的虚拟点用d(d1)表示，k、b分别表示路径函数的斜率和偏置，f(x)表示路径函数，f表示路径函数与图像下边缘交点。
[0058]
130、根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。
[0059]
具体的，如图2所示，通过拟合无人车当前坐标(s1)与d的方向函数，计算函数与图像下边缘交点t1坐标。根据t1和f的之间的位置关系即可确定无人车的偏离方向，从而调整无人车的运动方向。
[0060]
在一个具体的实施例中，步骤130中调整无人车运动方向的过程，具体包括：
[0061]
当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；
[0062]
当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；
[0063]
当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。
[0064]
具体的，如图2所示，当f在t1右侧时，说明无人车运动方偏左；反之偏右，不断地调整方向直到t1和f之间的误差小于可接受范围。此时说明无人车运动轨迹正确，会笔直前进，直至无人车到达第一个待巡检目标。
[0065]
在到达第一个待巡检目标后，如果当前无人车角度可以看到第二个待巡检目标，则按照上述调整运动方向的方法，继续调整无人车的运动方向，直至无人车到达第二个待巡检目标。以此类推，可以使无人车到达所有待巡检目标，完成巡检任务。
[0066]
可选地，在该实施例中，该方法还包括：
[0067]
140、当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。
[0068]
具体的，若从摄像机中无法识别到待巡检目标，则会使用最后一次识别到该待巡检目标时的坐标，按照上述调整运动方向的方法，继续调整无人车的运动方向，直至无人车到达待巡检目标。
[0069]
可选地，在该实施例中，步骤130具体还包括：
[0070]
1301、当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；
[0071]
1302、根据预设距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；
[0072]
1303、按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。
[0073]
具体的，由于摄像机视角范围的关系，当无人车看不到待巡检目标时，实际上无人车尚未完全到达待巡检目标所在的位置，此时会通过预先设置的无人车参数、摄像机参数计算出与待巡检目标的距离，再根据小车当前速度、计算出还需要向前运动的时间、从而精准到达待巡检目标。
[0074]
与上述方法实施例相对应地，本发明实施例提供一种基于计算机视觉的无人车巡检系统，包括：
[0075]
目标识别模块，用于根据无人车自身携带的摄像机采集的图像识别待巡检目标；
[0076]
路径拟合模块，用于拟合所述待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；
[0077]
运动控制模块，用于根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。
[0078]
可选地，在该实施例中，所述运动控制模块，具体包括：
[0079]
方向控制单元，用于当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。
[0080]
可选地，在该实施例中，所述运动控制模块，具体还包括：
[0081]
第一计算单元，用于当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；
[0082]
第二计算单元，用于根据所述当前位置与目标之间的距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；
[0083]
第一运动控制单元，用于按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。
[0084]
可选地，在该实施例中，所述运动控制模块，具体还包括：
[0085]
第二运动控制单元，用于当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。
[0086]
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
[0087]
本发明实施例还提供一种无人车，包含摄像机、处理器和存储器，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述的方法。
[0088]
其中，处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路
(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0089]
存储器可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0090]
存储器上存储有可执行代码，当可执行代码被处理器处理时，可以使处理器执行上文述及的方法中的部分或全部。
[0091]
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。
[0092]
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。
[0093]
实施例：
[0094]
如图3所示，在两个待巡检目标处各放一块停止牌作为识别特征，首先将训练好的模型部署在智能算法盒子中，保证能够精准识别到停止牌的特征，如图1-2所示。将准备工作做好后把无人车放在起始点，无人车的激光雷达和智能算法盒子会实时推理当前的环境障碍和图像中的停止特征。当设定好停止位置时，无人车会通过避障算法行驶到停止点附近，以便无人车能够识别到停止牌。
[0095]
当无人车识别到停止牌时，此时开始调整角度。小车会选择停止在相对比较近的第一个停止牌上，具体方法通过拟合当前第一个停止点坐标(s1)与d的方向函数，计算函数与图像下边缘交点t1坐标点。当f在t1右侧时，说明无人车运动方偏左；反之偏右，不断地调整方向直到t1,f之间的误差小于可接受范围。此时说明无人车运动轨迹正确，会笔直前进，示例图如图4。
[0096]
当无人车看不到第一个停止牌时，此时会通过预先设置的无人车参数、摄像机参数计算出与停止牌的距离，再根据小车当前速度、计算出还需要向前运动的时间、从而精准
到达第一个停止牌。
[0097]
如图5所示，在到达第一个停止牌后，如果当前无人车角度可以看到第二个停止牌，则按照第一次调整角度方法，继续调整第二次角度；若看不到第二个停止牌的位置，则会使用最后一次间到第二个停止牌时的坐标，按照第一次调整角度方法继续调整。当角度矫正完毕后，开始向前运动。当画面中停止点坐标到达预先设定的阈值时(这个阈值通过模拟现场环境，当无人车在目标停止位置时，第二个停止点在图像中纵轴的值)，表示无人车在实际中到达了目标停止点的位置，由于无人车最小移动单位的影响，可能会超过阈值，当超过时可向后退，直到两个值之间的差小于可接受范围时，停止运动，此时到达最终停止位置。整体的无人车精确定位流程如图6所示。
[0098]
上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0099]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
[0100]
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0101]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征：

1.一种基于计算机视觉的无人车巡检方法，其特征在于，包括：根据无人车自身携带的摄像机采集的图像识别待巡检目标；拟合所述待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。2.根据权利要求1所述的方法，其特征在于，所述根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标，具体包括：当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。3.根据权利要求2所述的方法，其特征在于，根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标，具体还包括：当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；根据预设距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。5.一种基于计算机视觉的无人车巡检系统，其特征在于，包括：目标识别模块，用于根据无人车自身携带的摄像机采集的图像识别待巡检目标；路径拟合模块，用于拟合所述待巡检目标坐标之间的连线作为路径函数，保存所述路径函数上任意一点的第一坐标和与所述路径函数与图像下边缘交点的第二坐标；运动控制模块，用于根据所述无人车当前坐标与所述第一坐标之间的连线与图像下边缘交点的第三坐标与所述第二坐标之间的位置关系调整所述无人车的运动方向，直至所述无人车到达识别到的待巡检目标。6.根据权利要求5所述的系统，其特征在于，所述运动控制模块，具体包括：方向控制单元，用于当所述第三坐标与所述第二坐标之间的距离低于预设范围时，调整所述无人车向左运动；当所述第三坐标与所述第二坐标之间的距离超过预设范围时，调整所述无人车向右运动；当所述第三坐标与所述第二坐标之间的距离在预设范围内时，保持所述无人车当前的前进方向运动。7.根据权利要求6所述的系统，其特征在于，所述运动控制模块，具体还包括：
第一计算单元，用于当所述无人车保持当前的前进方向运动至无法识别到待巡检目标的位置时，根据预设参数计算当前位置与目标之间的距离；第二计算单元，用于根据所述当前位置与目标之间的距离，以及所述无人车当前的运动速度，计算所述无人车的运动时间；第一运动控制单元，用于按照当前的运动速度、运动方向和所述运动时间控制所述无人车运动。8.根据权利要求3所述的方法，其特征在于，所述运动控制模块，具体还包括：第二运动控制单元，用于当未识别到所述待巡检目标时，则根据预先保存的待巡检目标坐标控制所述无人车运动至所述待巡检目标。9.一种无人车，其特征在于，包含摄像机、处理器和存储器，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。10.根据权利要求9所述的一种无人车，其特征在于，还包括激光雷达。

技术总结

本发明是关于一种基于计算机视觉的无人车巡检方法、系统和无人车。该方法包括：根据无人车自身携带的摄像机采集的图像识别待巡检目标；拟合待巡检目标坐标之间的连线作为路径函数，保存路径函数上任意一点的第一坐标和与路径函数与图像下边缘交点的第二坐标；根据无人车当前坐标与第一坐标之间的连线与图像下边缘交点的第三坐标与第二坐标之间的位置关系调整无人车的运动方向，直至无人车到达识别到的待巡检目标。本发明提供的技术方案，通过目标检测算法识别待巡检目标，结合实际场景情况，采用简单的导航算法确定行动轨迹，最终引导无人车停止在预先设定位置，能够实现在不同环境下无人车的精准定位，且降低了对硬件的要求。求。求。