用于自动确定交通信号设施的显示状态的方法和系统与流程

阅读：评论：0

1.本发明涉及用于自动确定交通信号设施(例如交通灯设施)的显示状态的方法和系统。这种方法或系统尤其可以在被设置用于自动驾驶直至无人驾驶的车辆中使用。

背景技术：

2.在本文中，术语“自动驾驶”可以理解为具有自动的纵向或横向引导的驾驶，或具有自动的纵向和横向引导的自主驾驶。术语“自动驾驶”包括具有任意自动化程度的自动驾驶。
3.示例性的自动化程度是辅助驾驶、部分自动化驾驶、高度自动化驾驶或全自动化驾驶。自动化程度由联邦公路研究所(bast)定义(参见bast公开文献“forschung kompakt”，第11/2012期)。
4.在辅助驾驶中，驾驶员持续地执行纵向或横向引导，而系统在一定范围内接管相应的其他功能。
5.在部分自动化驾驶(taf)中，系统接管纵向和横向引导一定时间段和/或在特定情况下接管纵向和横向引导，其中驾驶员如在辅助驾驶中那样必须持续地监控系统。
6.在高度自动化驾驶(haf)中，系统接管纵向和横向引导一定时间段，而驾驶员无需持续监控系统；但是，驾驶员必须能够在一定时间内接管车辆。
7.在全自动化驾驶(vaf)中，系统可以针对特定应用情况自动管理在所有情况下的驾驶；对于这些应用情况不再需要驾驶员。根据bast定义的上面提到的四个自动化程度对应于sae j3016标准的sae级别1至4。例如，根据bast，高度自动化的驾驶(haf)对应于sae j3016标准的级别3。此外，在sae j3016中还设有sae级别5作为最高的自动化程度，该自动化程度不包含在bast定义中。sae级别5对应无人驾驶，其中系统可以如人类驾驶员那样在整个行驶期间自动管理所有情况；通常不再需要驾驶员。
8.从现有技术中已知用于自动交通信号识别的不同解决方案，例如用于确定交通灯设施的显示状态的解决方案。如此获得的信息例如可以用于车辆的自动驾驶功能，即可以根据这种信息控制自动驾驶功能。
9.用于自动交通信号识别的已知的解决方案主要基于光学识别系统，该光学识别系统根据人工光源的颜和形状和可能在相应情况的情境中识别该人工光源，例如交通灯、前照灯、制动灯、闪光灯等。
10.在此，缺点是识别性能通过受特定环境条件、例如背光、雾、雨等的限制。例如，从所使用的相机成像器(英文：camera imager)不支持与识别相关的特定的颜通道中也会产生限制。

技术实现要素：

11.本发明的目的是提供用于自动确定交通信号设施的显示状态的方法和系统，其至少部分地克服现有技术中已知的解决方案的缺点。
12.该目的通过独立专利权利要求的特征来实现。在从属权利要求中描述有利的实施方式。
13.需要指出，从属于独立权利要求的权利要求的附加特征可以在没有独立权利要求的特征或仅与独立权利要求的特征的子集相结合的情况下形成独立于独立专利权利要求的所有特征的组合的独立发明，这些发明可以成为独立权利要求、分案申请或后续申请的主题。这同样适用于说明书中描述的技术教导，其可以形成独立于独立专利权利要求的特征的发明。
14.例如，通过以下交通信号设施原则上也可以独立于在权利要求1中说明的方法步骤的整体实施下文提到的一般性的信息传输，其中该交通信号设施被设计用于：与针对性地借助于电磁信号的时间相关的强度波动来对信息进行编码(例如以权利要求6-8中提到的方式进行编码)。
15.本发明的第一方面涉及一种用于自动确定(就识别的意义而言)交通信号设施的显示状态的方法。
16.交通信号设施例如可以是光信号系统(lsa；通常也俗称为“交通灯设施”)。在该状况中，要确定的显示状态例如可以涉及“开”、“关”、“红”、“绿”、“黄”、“闪烁”、“向右箭头”、“向左箭头”等类型的交通灯状态。
17.该方法的一个步骤是：识别车辆的车辆环境中的交通信号设施。
18.在此，车辆例如可以被设置用于至少部分自动驾驶。特别地，车辆可以被设置用于根据自动确定的交通信号设施的显示状态，至少部分自动地控制车辆。
19.交通信号设施的(自动)识别表示：识别交通信号设施本身，即，就分类为交通信号设施的意义而言，标识车辆环境中的物体。
20.例如，可以至少部分地根据说明交通信号设施的位置的地图数据来识别交通信号设施。换言之，例如在识别交通信号设施的范围中可以借助预先已知的制图数据来检查借助于环境传感器检测到的数据的可信性，例如在地理数据库中提供地理数据。
21.识别交通信号设施的步骤还包括识别交通信号设施的信号发射器结构。
22.这意味着，识别出已知的信号发射器结构，例如具有两个或三个光信号发射器的典型的交通灯结构，这些光信号发射器以特定顺序竖直彼此上下或水平彼此并排地布置。在该识别中，区域或地方方面也可以发挥作用，例如根据车辆所在的国家/地区，借助特定(例如存储在相应的数据库中的)“预期的”信号发射器结构来调整传感器检测的数据。
23.另一步骤是检测由交通信号设施输出的电磁信号。
24.电磁信号例如可以是光波长范围内的光信号，例如交通灯设施中的红光、绿光或黄光信号。替代地或附加地，电磁信号还可以包括不可见范围内的频率。
25.可以借助合适的传感器、例如光学相机和/或一个或多个激光雷达传感器来检测电磁信号。例如，为此可以使用当前相机系统或使用新技术，例如基于事件的相机，其可以通过1ms范围内的帧速率检测不同的闪烁模式。
26.在另一步骤中，自动识别检测到的信号的在时间上的强度波动。例如，强度波动可以是发光机构的闪烁，其例如由于在白炽灯的交流电压供应或在led中的脉宽调制(pwm)情况下的功率波动引起。替代地或附加地，强度波动(例如由于发光密度变化引起的强度波动)会由于电网中的电网电压在下雨情况下不期望的波动所引起，其中电网对交通信号设
施馈电。这种现象通常被称为“闪烁”。
27.此外，在本发明的范围中，根据一些实施方式，强度波动可以包括有针对性产生的强度波动。例如，可以通过相应的、有针对性产生的强度波动将要传输的信息编码在信号中。
28.在根据本发明的方法的更广泛的实施变型形式中，与之相应地还可以设有以下步骤：借助交通信号设施有针对性地产生具有特定强度波动的信号。
29.关于信号的强度波动的其他特性，在一个优选的实施方式中提出：该特性以对于人眼不可分辨的频率范围中的一个或多个频率进行。特别地，信号的强度波动的一个或多个频率可以大于所谓的临界闪烁频率。强度波动的频率可以例如是至少22hz，优选至少90hz。
30.根据本发明的方法的另一步骤是确定交通信号设施的显示状态。在此，根据识别到的强度波动和检测到的信号相对于信号发射器结构(即关于信号发射器结构)的起点进行确定。
[0031]“确定显示状态”通常可以理解为自动识别特定的显示状态(例如交通灯设施中的“红”或“绿”)。
[0032]
例如，根据一些实施方式，例如可以根据在识别到的信号发送器结构内的特定位置处存在这种强度波动来确定显示状态。换言之，例如可以从在所识别的交通灯结构的上部的(下部的/中部的)区域中检测强度波动中，自动地推断出交通灯状态为“红”(“绿”/“黄”)。
[0033]
但是，除了对检测到的强度波动的这种更定性的相关性之外，例如还可以提出：根据检测到的强度波动本身的特性进行确定。这例如可以涉及评估定量的特性、例如强度波动的频率，其中例如可以将特定的频率与特定的显示状态相关联。因此，例如在交通灯设施中，红信号光在特定频率中(或在特定频率范围内)设有时间上的强度波动，并且绿信号光可以在另一特定频率中(或也在另一特定频率范围中)有针对性地设有时间上的强度波动。因此，尤其可靠的显示状态识别不仅可以根据(具有强度波动的)检测到的信号相对于识别到的信号发射器结构的起点的关联来进行，而且附加地根据检测到的强度波动的频率与特定的显示状态的直接关联来进行。
[0034]
在此，不仅可以根据频率或频率范围将强度波动与相应的显示状态相关联，而且根据一些实施方式，原则上，信号的任意复杂的逻辑编码都可以经由相应设计的时间上的强度波动用作为这种显示状态相关的关联的基础。
[0035]
本发明包括以下认识：可以根据由交通信号设施输出的电磁信号的在时间上的强度波动生成有益的信息，该信息尤其可以在自动驾驶功能的范围内使用。因此，例如自动交通灯状态识别的识别性能可以通过识别相应的发光单元的强度波动(例如在具有led的交通灯设施中的闪烁或闪耀)来识别。在此，可以根据发光信号相对于识别到的信号发射器结构的检测到的起点(例如竖直布置中的“红”、“绿”、“黄”)来进行检测到的发光信号与相应的信号灯状态的关联。
[0036]
本发明改进识别性能的潜力可以借助以下示例场景来说明：在提供给自动化车辆的地图中注明交通灯设施的精确位置。通常的相机检测车辆环境中的交通灯设施，并且其被识别为在地图中标记的交通灯设施。此外，借助于相机识别交通灯设施的信号发射器结
构，并且必要时识别当前的交通灯颜。在识别交通灯颜时，经由当前发光的交通灯led的检测到的闪烁，执行对交通灯状态的可信性检查，以便对其采取自动车辆的正确反应。在此，根据识别到的闪烁和检测到的发光信号相对于信号发射器结构的起点，为可信性检查确定交通灯状态。换言之，经由检测到的闪烁的位置可以推断出交通灯颜(例如，如果在竖直信号发射器结构的最低位置处检测到闪烁，则为“绿”)。
[0037]
通过这种方式，例如当交通灯颜由于太阳低而无法被直接探测到，但是可以探测交通灯设施的信号发射器结构(例如“红”、“绿”、“黄”的布置)时，也可以探测交通灯状态。
[0038]
根据上面解释的示例场景，根据本发明的方式确定显示状态例如可以作为对其他识别方法(例如直接根据信号的光源的颜和/或轮廓)的可信性检查。
[0039]
因此，根据一个改进形式，该方法可以例如附加地包括如下步骤：识别检测到的信号的颜；根据识别到的颜确定交通信号设施的显示状态；并且将根据颜确定的显示状态与根据信号的强度波动和起点确定的显示状态进行比较(即可信性检查)。
[0040]
替代地或附加地，该方法可以包括：检测所检测到的信号的光源的轮廓(例如，“圆圈”或“向右箭头”)；根据识别到的轮廓确定交通信号设施的显示状态；并且将根据轮廓确定的显示状态与根据信号的强度波动和起点确定的显示状态进行比较(即可信性检查)。
[0041]
如上面已经提到的，在一些实施方式中，也可以有针对性地产生信号的在时间上的强度波动，更确切地，对特定的信息编码。由此，交通信号设施可以用于传输信息，并且为车辆提供除自身显示状态外的各种其他信息。
[0042]
据此，根据一个改进形式，该方法可以包括对在时间上的强度波动进行逻辑解码，从而确定以下列表中的至少一个元素：口头交流内容，例如其通常在无线电广播中或作为移动通信范围中的语音数据传输的方式；天气信息(例如天气警告)；有关交通状况的信息(例如交通警告)；在用于协作驾驶的系统的范围中交换的信息(例如用于机动协作的轨迹信息)。
[0043]
根据一个实施变型形式，然后借助于显示和/或播放设备将通过逻辑解码确定的信息传送给车辆乘员。在此，例如可以以视觉和/或听觉的方式进行显示或播放。
[0044]
在另一实施例变型形式中提出：根据通过逻辑解码确定的信息，至少部分地自动控制车辆。例如，这可以适用于如下情况：在用于协同驾驶的系统的范围中交换的信息以所描述的方式从交通信号设施传输给车辆。
[0045]
本发明的第二方面涉及一种用于自动确定交通信号设施的显示状态的系统。例如，该系统可以被设置为布置在车辆中或车辆处，特别是自动车辆中或自动车辆处。
[0046]
该系统包括一个或多个传感器和一个或多个评估单元，其中系统被设置为分别借助于传感器中的至少一个传感器和/或借助于评估单元的至少一个评估单元执行以下步骤：识别车辆的车辆环境中的交通信号设施，包括交通信号设施的信号发射器结构；检测由交通信号设施输出的电磁信号；识别检测到的信号的在时间上的强度波动；确定交通信号设施的显示状态，其中根据识别到的强度波动和检测到的信号相对于信号发射器结构的起点来进行确定。
[0047]
例如，评估单元可以被设置用于执行支持上述方法步骤的相应的算法。在此，原则上可以是确定性或非确定性(例如基于神经网络)的算法。
[0048]
根据一个实施方式，一个或多个传感器包括(例如光学)相机和/或激光雷达传感器。
[0049]
此外，根据一个实施方式，一个或多个传感器可以被设计用于：检测具有对于人眼不可分辨的频率范围中的一个或多个频率的、检测到的信号的强度波动。这例如可以是高于临界闪烁频率的频率。例如，频率可以是至少22hz，优选地至少90hz。
[0050]
例如，可以将帧速率在1ms范围内的相机用作传感器，以检测这种相对高频的强度波动。
[0051]
根据本发明第一方面的方法的上述陈述也以相应的方式适用于根据本发明第二方面的系统。关于此点并且根据本发明的系统的在权利要求中未明确描述的有利的实施例对应于根据本发明的方法的上面描述的或者在权利要求中描述的有利的实施例，并且反之亦然。
[0052]
例如，根据上述方法变型形式，更广泛的系统附加地还可以包括交通信号设施，该交通信号设施被设置用于有针对性地产生具有特定的强度波动(例如特定频率或更复杂的编码)的电磁信号。
附图说明
[0053]
下面借助附图根据实施例来描述本发明。在附图中：
[0054]
图1示意性并且示例性地示出根据一个或多个实施方式的用于自动确定交通信号设施的显示状态的系统；和
[0055]
图2示出根据一个或多个实施方式的用于自动确定交通信号设施的显示状态的方法的示意流程图。
具体实施方式
[0056]
图1示意性地示出具有自动车辆1的示例性场景，该自动车辆接近以交通灯设施3形式的交通信号设施。
[0057]
车辆1配备有根据本发明的、用于自动确定交通信号设施3的显示状态的系统10。系统10包括相机101和与相机101连接的评估单元102。
[0058]
下面，在示例场景的范围内解释根据图1的系统10的工作方式，其中还参考图2中示意性说明的一般性的方法步骤21、22、23、24。
[0059]
在提供给自动车辆1的地图中标注了交通灯设施3的准确位置。相机101探测车辆1的车辆环境中的交通灯设施3。交通灯设施3借助于评估单元102被识别为地图上标注的交通灯设施3。
[0060]
此外，借助于相机101和评估单元来识别交通灯设施3的信号发射器结构(当前，圆形信号灯的常规竖直布置的顺序为：红在上部，黄在中间，绿在下部)。
[0061]
关于根据图2的示意性的方法流程，这对应于步骤21：检测21车辆1的车辆环境中的交通信号设施3，包括交通信号设施3的信号发射器结构。
[0062]
相机101还检测由交通灯设施3输出的发光信号，必要时包括其颜(红)，对应于根据图2的步骤22：检测22由交通信号设施3输出的电磁信号。
[0063]
此外，相机101(必要时与评估单元102协作)识别由交通灯设施3输出的发光信号
的闪烁，该发光信号例如可以由信号灯的pwm引起，信号灯可以以led的形式构成。在此，闪烁的频率例如可以高至使得人眼无法分辨。
[0064]
这对应于图2中的步骤23：识别检测到的信号中的在时间上的强度波动。
[0065]
然后，借助评估单元102根据检测到的闪烁以及检测到的发光信号相对于信号发射器结构的起点来确定交通灯状态。换言之，经由检测到的闪烁的位置推断出当前的交通灯状态(当前为“红”，因为在识别到的竖直的交通灯结构的最上方的位置处检测到闪烁)。
[0066]
这对应于图2中的步骤24：确定交通信号设施3的显示状态，其中根据识别到的强度波动和检测到的信号相对于信号发射器结构的起点来进行确定23。
[0067]
通过上述方式，例如当信号灯颜由于太阳低而无法被直接探测到，但是可以探测交通灯设施3的信号发射器结构时，也可以检测交通灯状态。
[0068]
如果附加地还直接识别交通灯颜，则可以经由发光的交通灯led的检测到的闪烁来执行对交通灯状态的可信性检查，以提高识别可靠性。
[0069]
与之相应地，该方法可选地可以包括以下步骤：根据识别到的颜确定交通信号设施3的显示状态；并且将根据颜确定的显示状态与根据信号的强度波动和起点确定的显示状态进行比较(即可信性检查)。
[0070]
根据所确定的交通灯状态，于是可以自动地采取自动车辆1的正确反应(例如，在红交通灯前停下)。
[0071]
除了所描述的应用场景之外，原则上还可以以其他方式使用这种对道路交通中检测到的电磁信号强度波动的自动探测和评估。因此例如可以考虑，在夜间识别led车辆前照灯的闪烁。例如，在这一方面，远光灯助手可以进行调暗。
[0072]
此外，通常可以通过探测电磁信号的强度波动(例如闪烁/闪耀)来支持图像处理，例如对于以下应用：
[0073]-通过探测车辆尾灯的闪烁或闪耀进行车辆分类；
[0074]-在探测转向过程(探测所设定的闪光器)时，支持图像处理；
[0075]-在探测发光文字时，支持图像处理。

技术特征：

1.一种自动确定交通信号设施(3)的显示状态的方法，所述方法包括以下步骤：
·
识别(21)车辆(1)的车辆环境中的交通信号设施(3)，包括所述交通信号设施(3)的信号发射器结构；
·
检测(22)由所述交通信号设施(3)输出的电磁的信号；
·
识别(23)检测到的所述信号的在时间上的强度波动；
·
确定(24)所述交通信号设施(3)的显示状态，其中根据识别到的所述强度波动和检测到的所述信号相对于所述信号发射器结构的起点来进行所述确定(23)。2.根据权利要求1所述的方法，其中所述信号的所述强度波动以对于人眼不可分辨的频率范围中的一个或多个频率进行。3.根据前述权利要求中任一项所述的方法，其中至少部分地根据说明所述交通信号设施(3)的位置的地图数据来进行对所述交通信号设施(3)的识别。4.根据前述权利要求中任一项所述的方法，还包括：
·
识别检测到的所述信号的颜；
·
根据识别到的所述颜确定所述交通信号设施(3)的显示状态；
·
将根据所述颜确定的显示状态与根据所述信号的所述强度波动和所述起点确定的显示状态进行比较。5.根据前述权利要求中任一项所述的方法，其中根据所确定的显示状态至少部分地自动控制所述车辆(1)。6.根据前述权利要求中任一项所述的方法，其中所述方法还包括：对在时间上的所述强度波动进行逻辑解码，从而确定以下列表中的至少一个元素：
·
口头交流内容；
·
天气信息；
·
交通状况的信息；
·
在用于协同驾驶的系统的范围内交换的信息。7.根据权利要求6所述的方法，其中借助于显示和/或播放设备将通过所述逻辑解码确定的信息传送给车辆乘员。8.根据权利要求6或7所述的方法，其中根据通过所述逻辑解码确定的信息，至少部分自动地控制所述车辆(1)。9.一种用于自动确定交通信号设施(3)的显示状态的系统(10)，包括一个或多个传感器(101)和一个或多个评估单元(102)，其中所述系统(10)被设置为分别借助于所述传感器(101)中的至少一个传感器和/或所述评估单元(102)中的至少一个评估单元执行以下步骤：
·
识别(21)车辆(1)的车辆环境中的交通信号设施(3)，包括所述交通信号设施(3)的信号发射器结构；
·
检测(22)由所述交通信号设施(3)输出的电磁的信号；
·
识别(23)检测到的所述信号的在时间上的强度波动；
·
确定(23)所述交通信号设施(3)的显示状态，其中根据识别到的所述强度波动和检测到的所述信号相对于所述信号发射器结构的起点来进行所述确定(23)。10.根据权利要求9所述的系统(10)，其中所述一个或多个传感器(101)包括相机和/或
激光雷达传感器。11.根据权利要求9或10所述的系统(10)，其中所述一个或多个传感器(101)被设计用于：检测具有对于人眼不可分辨的频率范围中的一个或多个频率的、检测到的所述信号的强度波动。

技术总结

本发明的一个方面涉及一种用于自动确定交通信号设施(3)的显示状态的方法，包括以下步骤：识别(21)车辆(1)的车辆环境中的交通信号设施(3)，包括交通信号设施(3)的信号发射器结构；检测(22)由交通信号设施(3)输出的电磁信号；识别(23)检测到的信号的在时间上的强度波动；和确定(24)交通信号设施(3)的显示状态，其中根据识别到的强度波动和检测到的信号相对于信号发射器结构的起点来进行确定(23)。对于信号发射器结构的起点来进行确定(23)。对于信号发射器结构的起点来进行确定(23)。