车辆中的姿势识别装置及方法与流程

阅读：评论：0

车辆中的姿势识别装置及方法
1.相关申请的交叉引用
2.本技术要求于2021年9月1日向韩国知识产权局提交的申请号为10-2021-0116581的韩国专利申请的权益，该韩国专利申请的全部内容通过引用并入本文。
技术领域
3.本公开涉及一种车辆中的姿势(gesture)识别装置及方法，更具体地，涉及一种通过与信息娱乐系统交互来有效地识别姿势的装置。

背景技术：

4.识别乘坐在车辆中的用户的姿势并且基于识别的姿势执行各种车辆控制命令的特征已经被结合到新车辆中。具体地，识别的姿势可以用于控制车辆的信息娱乐系统以增加用户的便利性。在识别车辆中的用户的姿势的过程中可以使用摄像头、雷达、其它传感器等。此外，可以根据用户设置的情况来判断姿势。
5.根据现有的姿势识别方法，必须室内摄像头一直处于工作状态。这会导致诸如摄像头和处理器的过载和可靠性劣化的问题。因此，需要一种比现有姿势识别方法更有效的姿势识别方法。

技术实现要素：

6.本公开的一方面提供一种通过与信息娱乐系统交互来有效地识别姿势的装置及方法。
7.本公开的另一方面提供一种解决由于连续图像识别导致的过载问题的车辆中的姿势识别装置及方法。
8.本公开的另一方面提供一种解决由于连续图像识别导致的可靠性劣化问题的车辆中的姿势识别装置及方法。
9.本公开的另一方面提供一种在输入与情况对应的姿势时降低与情况对应的姿势被错误地识别为无关姿势的概率的车辆中的姿势识别装置及方法。
10.本公开的另一方面提供一种向用户提出适合情况的姿势以增加用户的便利性的车辆中的姿势识别装置及方法。
11.本公开要解决的技术问题不限于上述问题，本公开所属领域的技术人员通过以下描述将清楚地理解本文未提及的任何其它技术问题。
12.根据本公开的一方面，一种车辆中的姿势识别装置可以包括：传感器装置，设置在车辆中以获取关于用户的姿势的信息；以及处理器，连接到车辆的信息娱乐系统以识别信息娱乐系统的状态，基于信息娱乐系统的状态来分支允许识别的姿势，并基于由传感器装置感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。
13.如本文所使用的，术语“分支姿势”指基于车辆的信息娱乐系统的状态来对由装置识别的姿势进行分类，使得可以识别姿势。例如，可以基于预先存储在存储器中的预设的姿
势来执行分支以识别姿势。
14.在实施例中，处理器可以基于车辆驾驶信息、关于车辆正在行驶的道路的信息和由传感器装置识别的关于用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
15.在实施例中，处理器可以根据车辆的车速是否小于或等于阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
16.在实施例中，处理器可以根据车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
17.在实施例中，处理器可以基于关于道路的信息是否通过车辆的导航系统提供来判断是否可以使用姿势识别。
18.在实施例中，处理器可以根据车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
19.在实施例中，处理器可以根据道路类型来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
20.在实施例中，处理器可以基于由传感器装置感测到的关于用户的信息是否对应于预设的困倦或粗心状态条件来判断是否可以使用姿势识别。
21.在实施例中，处理器可以基于用户的视线和用户的方向盘握持状态中的至少一个来判断是否可以使用针对特定姿势的姿势识别。
22.在实施例中，处理器可以将车辆停止或自动驾驶功能正在运行的情况处理为异常条件，并且当车辆停止或自动驾驶功能正在运行时，处理器可以判断为可以使用姿势识别或者可以使用针对特定姿势的姿势识别。
23.在实施例中，装置可以进一步包括：驱动装置，与传感器装置连接以调整传感器装置感测关于用户的姿势的信息的方向。处理器可以通过驱动装置来调整传感器装置感测关于用户的姿势的信息的方向，使得传感器装置获取关于允许识别的姿势的信息。
24.在实施例中，装置可以进一步包括：反馈装置，通过语音信号、显示器或驱动来输出反馈。处理器可以基于姿势识别的结果，通过反馈装置输出关于姿势识别的结果的反馈。
25.在实施例中，处理器可以基于车辆的信息娱乐系统的状态来选择与姿势对应的信息娱乐系统的控制优先级，并且可以基于由传感器装置感测到的关于姿势的信息和优先级来确定与姿势对应的信息娱乐系统的控制。
26.在实施例中，信息娱乐系统的状态可以包括弹出屏幕被激活的状态、导航应用被首先激活的状态、媒体应用被首先激活的状态和收音机被首先激活的状态中的至少一个。
27.根据本公开的另一方面，一种车辆中的姿势识别方法可以包括：设置在车辆中的传感器装置获取关于用户的姿势的信息；处理器连接到车辆的信息娱乐系统以识别信息娱乐系统的状态；处理器基于信息娱乐系统的状态来分支允许识别的姿势；以及处理器基于由传感器装置感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。
28.在实施例中，方法可以进一步包括：处理器基于车辆驾驶信息、关于车辆正在行驶的道路的信息和由传感器装置识别的关于用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
29.在实施例中，处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势
的姿势识别可以包括：处理器根据车辆的车速是否小于或等于阈值速度或者车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
30.在实施例中，处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别可以包括：处理器根据车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
31.在实施例中，处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别可以包括：处理器基于用户的视线和用户的方向盘握持状态中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
32.在实施例中，方法可以进一步包括：处理器基于车辆的信息娱乐系统的状态来选择与姿势对应的控制优先级；以及处理器基于由传感器装置感测到的关于姿势的信息和优先级来确定与姿势对应的控制。
附图说明
33.本公开的上述和其它目的、特征和优点将通过以下结合附图的详细描述而更加明显：
34.图1是示出根据本公开的实施例的车辆中的姿势识别装置的框图；
35.图2是示出根据本公开的另一实施例的车辆中的姿势识别装置的详细配置的图；
36.图3是示出能够输入到根据本公开的实施例的车辆中的姿势识别装置的姿势的类型的图；
37.图4是示出根据本公开的实施例的车辆中的姿势识别装置的姿势可识别条件的图；
38.图5是示出根据本公开的实施例的车辆中的姿势识别装置的姿势分支场景的图；
39.图6是示出根据本公开的实施例的车辆中的姿势识别装置的操作的流程图；以及
40.图7是示出根据本公开的实施例的车辆中的姿势识别方法的流程图。
具体实施方式
41.理解的是，如本文所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆，例如包括运动型多用途车(suv)、巴士、卡车、各种商用车的乘用车，包括各种轮船和船舰的水运工具，航空器等，并包括混合动力车辆、电动车辆、插电式混合动力车辆、氢动力车辆以及其它替代燃料(例如，除石油以外的资源衍生的燃料)车辆。如本文所指，混合动力车辆是具有两个或更多个动力源的车辆，例如汽油和电双动力车辆。
42.本文使用的术语仅用于描述特定实施例，而不旨在限制本公开。除非上下文另有明确说明，否则如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时，说明所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任何一个和所有组合。在整个说明书中，除非明确相反地描述，否则词语“包括”和诸如“包括有”或“包含”的变体将被理解为暗示包含所述元件而不排除任何其它元件。另外，说明书
中所描述的术语“单元”、
“‑
器”、
“‑
件”和“模块”表示用于处理至少一个功能和操作的单元，并且可以通过硬件组件或软件组件及硬件组件和软件组件的组合来实施。
43.此外，本公开的控制逻辑可以被实施为包含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非临时性计算机可读介质。计算机可读介质的示例包括但不限于rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读介质也可以分布在联网计算机系统中，从而计算机可读介质例如通过远程信息处理服务器或控制器局域网(can)以分布式方式存储和执行。
44.在下文中，将参照示例性附图详细描述本公开的一些实施例。在将附图标记添加到每个附图的组件时，应注意的是，相同或等同的组件即使显示在不同附图上也由相同的附图标记表示。此外，在描述本公开的实施例时，将排除对公知的特征或功能的详细描述，以免不必要地使本公开的主旨不清楚。
45.在描述根据本公开的实施例的组件时，可以使用诸如“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语。这些术语仅旨在将一个组件与另一组件区分开，并且这些术语不限制组成组件的性质、顺序或次序。此外，除非另有定义，否则本文中使用的包括技术术语或科学术语的所有术语具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的那些术语的术语将被解释为具有与相关技术领域中的上下文含义相同的含义，并且除非在本技术中明确定义为具有理想或过分形式化的含义，否则将不被解释为具有理想或过分形式化的含义。
46.在下文中，将参照图1至图7详细描述本公开的实施例。
47.图1是示出根据本公开的实施例的车辆中的姿势识别装置的框图。
48.参照图1，车辆中的姿势识别装置100可以包括传感器装置110和处理器120。
49.根据本公开的实施例的车辆中的姿势识别装置100可以在车辆内部或外部实施。在这种情况下，车辆中的姿势识别装置100可以与车辆中的控制单元一体地配置，或者可以被实施为单独的硬件装置并通过连接装置与车辆的控制单元连接。
50.作为示例，车辆中的姿势识别装置100可以与车辆一体地配置或者可以以安装/附接到车辆的形式被实施为独立于车辆的配置。或者，车辆中的姿势识别装置100的一部分可以与车辆一体地配置，并且车辆中的姿势识别装置100的其余部分可以以安装/附接到车辆的形式被实施为独立于车辆的配置。
51.传感器装置110可以设置在车辆中以获取关于用户的姿势的信息。
52.传感器装置110可以优选地包括获取关于用户的姿势的图像的摄像头，但不限于此。传感器装置110可以被配置为包括雷达或其它传感器以获取关于用户的姿势的信息。
53.作为示例，传感器装置110可以设置在车辆的人工智能(ai)代理(artificial intelligence agent)中。
54.ai代理可以是被实施为识别车辆和驾驶员的当前状态、感测车辆和驾驶员周围的各种输入以向驾驶员和乘客提供相应服务的装置。
55.ai代理可以通过语音识别或图像识别来感测来自用户的诸如语音、表情或姿势的输入，并且可以通过显示器或扬声器提供反馈。
56.处理器120可以与传感器装置110，将在下面描述的驱动装置、反馈装置等电连接，并且可以电控制各个组件。处理器120可以是执行软件指令的电路，并且可以执行下述各种
数据处理和计算。
57.处理器120可以优选地设置在车辆的信息娱乐系统中，但是可以设置在ai代理中或者可以作为单独的装置设置。
58.处理器120可以连接到车辆的信息娱乐系统以识别信息娱乐系统的状态。
59.车辆的信息娱乐系统可以通过显示器和扬声器显示关于车辆的信息或者提供信息娱乐内容。
60.车辆的信息娱乐系统可以管理和控制ai代理并且可以执行语音识别。
61.车辆的信息娱乐系统可以包括导航或音频、视频、导航(avn)。
62.车辆的信息娱乐系统可以执行媒体播放、收音机功能、车辆信息提供以及其它与系统相关的控制。
63.作为示例，信息娱乐系统的状态可以包括弹出屏幕被激活的状态、导航应用被首先激活的状态、媒体应用被首先激活的状态和收音机被首先激活的状态中的至少一个。
64.弹出屏幕被激活的状态可以指信息娱乐系统的显示器上的弹出窗口被激活并且系统的与弹出窗口对应的功能被首先激活的状态。
65.导航应用被首先激活的状态可以指用于导航功能的ui/ux被显示在显示器上并且用户输入对应于执行关于导航功能的控制的命令的状态。
66.媒体应用被首先激活的状态可以指用于诸如音乐或视频的播放或者游戏的媒体功能的ui/ux被显示在显示器上并且用户输入对应于执行关于媒体应用功能的控制的命令的状态。
67.收音机被首先激活的状态可以指用于收音机功能的ui/ux被显示在显示器上并且用户输入对应于执行关于收音机功能的控制的命令的状态。
68.处理器120可以基于信息娱乐系统的状态来分支允许识别的姿势。
69.作为示例，处理器120可以根据预先存储在存储器中的与信息娱乐系统的状态对应的关于允许识别的姿势的信息，对允许识别的姿势和不允许识别的姿势进行分类。
70.作为示例，处理器120可以判断各种类型的姿势中的每一个是允许识别的姿势还是不允许识别的姿势以分支允许识别的姿势。
71.处理器120可以基于由传感器装置110感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。
72.作为示例，处理器120可以通过基于由传感器装置110感测到的姿势的图像的图像分析来识别用户的姿势，并且可以根据当前信息娱乐系统的状态来判断识别的姿势是否是允许识别的姿势以最终确定姿势。
73.处理器120可以基于车辆驾驶信息、关于车辆正在行驶的道路的信息和由传感器装置110识别的关于用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
74.作为示例，处理器120可以基于车辆驾驶信息、关于车辆正在行驶的道路的信息和由传感器装置110识别的关于用户的状态的信息中的至少一个，在判断为用户可以通过每个姿势安全地执行输入的条件下识别姿势。
75.作为示例，处理器120可以根据车辆的车速是否小于或等于阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
76.具体地，仅当车辆的车速小于或等于阈值速度时，处理器120才可以执行整个姿势识别。当车辆的车速不小于或等于阈值速度时，处理器120可以不执行姿势识别以减少关于姿势识别的计算量。
77.此外，仅当车辆的车速小于或等于与特定姿势对应的阈值速度时，处理器120才可以识别姿势。当车辆的车速不小于或等于与特定姿势对应的阈值速度时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
78.作为示例，处理器120可以根据车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
79.具体地，仅当车辆的方向盘角度小于或等于阈值角度时，处理器120才可以执行整个姿势识别。当车辆的方向盘角度不小于或等于阈值角度时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
80.此外，仅当车辆的方向盘角度小于或等于与特定姿势对应的阈值角度时，处理器120才可以识别姿势。当车辆的方向盘角度不小于或等于与特定姿势对应的阈值角度时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
81.作为示例，处理器120可以基于关于道路的信息是否通过车辆的导航系统提供来判断是否可以使用姿势识别。
82.具体地，当关于道路的信息未通过车辆的导航系统提供时，处理器120可以判断为车辆正在行驶的道路是危险道路并且可以不识别姿势以减少关于姿势识别的计算量。
83.作为示例，处理器120可以根据车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
84.车辆正在行驶的道路可以具有根据诸如快速公路、高速公路或普通道路的对应道路类型确定的限速。
85.具体地，仅当车辆的车速小于或等于与道路类型对应的阈值速度时，处理器120才可以执行整个姿势识别。当车辆的车速不小于或等于与道路类型对应的阈值速度时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
86.此外，仅当车辆的车速小于或等于根据与特定姿势对应的道路类型的阈值速度时，处理器120才可以识别姿势。当车辆的车速不小于或等于根据与特定姿势对应的道路类型的阈值速度时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
87.作为示例，处理器120可以根据道路类型来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
88.具体地，仅当车辆正在行驶的道路对应于可以使用预设的姿势识别的道路类型时，处理器120才可以执行整个姿势识别。当车辆正在行驶的道路不对应于可以使用预设的姿势识别的道路类型时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
89.此外，仅当车辆正在行驶的道路对应于响应于特定姿势而允许姿势识别的道路类型时，处理器120才可以识别姿势。当车辆正在行驶的道路不对应于响应于特定姿势而允许姿势识别的道路类型时，处理器120可以不识别姿势以减少关于姿势识别的计算量。
90.作为示例，处理器120可以基于由传感器装置110感测到的关于用户的信息是否对应于预设的困倦或粗心状态条件来判断是否可以使用姿势识别。
91.作为示例，处理器120可以从由传感器装置110感测到的用户的图像中分析用户的
头部、眼睑、瞳孔等，以判断用户是否对应于预设的困倦或粗心状态条件，并且仅当用户不对应于预设的困倦或粗心状态条件时，处理器120才可以执行姿势识别。作为示例，当由传感器装置110感测到的关于用户的信息对应于预设的困倦或粗心状态条件时，处理器120可以不识别对应姿势以减少关于姿势识别的计算量。
92.作为示例，处理器120可以基于用户的视线和用户的方向盘握持状态中的至少一个来判断是否可以使用针对特定姿势的姿势识别。
93.作为示例，处理器120可以分析由传感器装置110感测到的用户的图像以判断在姿势识别之前的特定时间期间用户的视线是否朝向前方。
94.作为示例，处理器120可以通过设置在方向盘中的压力传感器、热传感器或电极传感器来判断用户的两只手是否位于方向盘上或者用户的一只手是否位于方向盘上。
95.作为示例，仅当在针对特定姿势的姿势识别之前的特定时间期间用户的视线朝向前方并且用户的两只手位于方向盘上时，处理器120才可以识别姿势。
96.作为示例，仅当在针对另一特定姿势的姿势识别之前的特定时间期间用户的视线朝向前方并且用户的一只或两只手位于方向盘上时，处理器120才可以识别姿势。
97.作为示例，处理器120可以将车辆停止或自动驾驶功能正在运行的情况处理为异常条件。当车辆停止或自动驾驶功能正在运行时，处理器120可以判断为可以使用姿势识别或者可以使用针对特定姿势的姿势识别。
98.作为示例，处理器120可以通过车辆系统判断车辆的车速是否为“0”或者车辆的挡位是否为p挡。
99.作为示例，处理器120可以判断车辆是否正在通过车辆的自动驾驶系统执行自动驾驶功能或驾驶辅助功能。
100.作为示例，当车辆停止或自动驾驶功能正在运行时，处理器120可以判断为尽管用户通过姿势执行输入但不危险并且可以执行整个姿势识别和针对特定姿势的姿势识别。
101.作为示例，车辆中的姿势识别装置100可以进一步包括驱动装置，该驱动装置与传感器装置110连接以调整传感器装置110感测关于用户的姿势的信息的方向。
102.作为示例，驱动装置可以包括驱动马达，该驱动马达设置在ai代理中并且与传感器装置110物理连接以调整传感器装置110感测关于用户的姿势的信息的方向。
103.作为示例，处理器120可以通过驱动装置来调整传感器装置110感测关于用户的姿势的信息的方向，使得传感器装置110获取关于允许识别的姿势的信息。
104.作为示例，当允许识别的姿势是使用头部的姿势时，处理器120可以调整传感器装置110在用户的头部的方向上感测关于用户的姿势的信息的方向，并且当允许识别的姿势是使用手的姿势时，处理器120可以调整传感器装置110在用户的手的方向上感测关于用户的姿势的信息的方向。
105.作为示例，车辆中的姿势识别装置100可以进一步包括反馈装置，反馈装置通过语音信号、显示器或驱动来输出反馈。
106.作为示例，反馈装置可以包括设置在ai代理中的显示器、扬声器和驱动马达中的至少一个。
107.作为示例，处理器120可以基于姿势识别的结果，通过反馈装置输出关于姿势识别的结果的反馈。
108.作为示例，处理器120可以基于姿势识别的结果输出引导声音、显示器的运动、ai代理的运动或传感器装置110的运动。
109.作为示例，处理器120可以通过包括在反馈装置中的显示器输出与姿势识别的结果对应的表情。
110.作为示例，处理器120可以基于车辆的信息娱乐系统的状态来选择与姿势对应的信息娱乐系统的控制优先级，并且可以基于由传感器装置110感测到的关于姿势的信息和优先级来确定与姿势对应的信息娱乐系统的控制。
111.作为示例，当相同的姿势对应于根据车辆的信息娱乐系统的状态的各种控制时，处理器120可以按照在车辆的信息娱乐系统上当前首先激活的功能的顺序分配与姿势对应的控制优先级。
112.作为示例，当相同的姿势对应于根据车辆的信息娱乐系统的状态的各种控制时，处理器120可以分配与姿势对应的控制优先级以仅操作与针对在车辆的信息娱乐系统的前台(foreground)上当前激活的功能的姿势识别对应的控制。
113.示例性地，当在媒体播放期间激活导航道路引导开始屏幕时，可以仅执行与针对在前台上激活的导航道路引导场景的姿势识别对应的控制。
114.图2是示出根据本公开的另一实施例的车辆中的姿势识别装置的详细配置的图。
115.参照图2，车辆的信息娱乐系统210可以包括语音识别装置211、导航212、车辆信息管理装置214、媒体/收音机管理装置215、其它系统管理装置216、处理器217和ai代理管理装置218。
116.导航212可以包括全球定位系统(gps)213。
117.车辆的信息娱乐系统210可以设置在车辆的主机(hu)中。
118.车辆的信息娱乐系统210可以控制ai代理220。
119.车辆的信息娱乐系统210可以通过信息娱乐系统和车辆信息识别当前系统的状态并且可以分支与识别的当前系统的状态对应的姿势。
120.车辆的信息娱乐系统210可以向ai代理220发送姿势收集命令和反馈命令。
121.语音识别装置211可以执行和管理语音识别功能。
122.语音识别装置211可以说出ai代理220的文本转语音(text to speech，tts)并且可以通过ai代理220分析用户的语音命令。
123.导航212可以管理关于车辆的当前位置的信息并将该信息传送到另一装置。
124.导航212可以执行和管理诸如道路引导功能的导航相关功能。
125.车辆信息管理装置214可以获取和管理除信息娱乐系统以外的车辆信息，例如，由设置在车辆中的高级驾驶员辅助系统(adas)传感器获取的信息、车辆的速度信息等。
126.媒体/收音机管理装置215可以执行和管理与存储在usb中的音乐、通过蓝牙配对的音乐或流式音乐的播放相关的功能。
127.媒体/收音机管理装置215可以执行和管理收音机相关功能。
128.其它系统管理装置216可以管理另一装置不管理的信息和系统状态信息，并且可以控制输出弹出窗口。
129.处理器217可以执行通过图1的处理器120描述的功能。
130.处理器217可以利用信息娱乐系统的状态信息和车辆信息来判断需要当前收集的
姿势，并且可以将由ai代理220获取的信息与关于需要当前收集的姿势的信息进行比较并分析来判断姿势。
131.处理器217可以根据判断的结果向ai代理220发送反馈命令。
132.ai代理管理装置218可以从ai代理220接收信息并且可以管理接收到的信息。
133.ai代理管理装置218可以控制包括语音引导、屏幕显示和旋转操作的ai代理220的操作。
134.ai代理220可以与车辆的信息娱乐系统210连接。
135.ai代理220可以包括传感器装置221。
136.传感器装置221可以包括获取关于姿势的图像的摄像头。
137.当车辆的用户输入姿势操作和命令时，ai代理220可以收集关于姿势的图像。
138.ai代理220可以被配置为包括用于向用户提供视觉反馈的显示器和用于调整传感器装置221的方向的马达。
139.ai代理220可以向用户输出引导声音或者可以通过显示器输出表情、信息等以提供反馈。
140.图3是示出能够输入到根据本公开的实施例的车辆中的姿势识别装置的姿势的类型的图。
141.参照图3，能够输入到车辆中的姿势识别装置100的姿势可以分为头部动作(head action)和手势(hand gesture)。
142.头部动作可以指通过头部的运动表达的姿势，手势可以指通过手的运动表达的姿势。
143.头部动作是可识别的姿势，可以包括“点头(nod)”和“摇头(shake)”。
[0144]“点头”是头部点头的姿势，可以对应于对于弹出系统被激活的状态执行ok操作的控制。
[0145]
此外，“点头”可以对应于对于导航应用被激活的状态开始导航引导的控制。
[0146]“摇头”是头部摇头的姿势，可以对应于对于弹出系统被激活的状态执行no操作的控制。
[0147]
手势是可识别的姿势，可以包括拇指向上(thumb up)、静音(silence)、ok、第1/2/3(no.1/2/3)、挥手(左、右)(wave hand(left，right))、拇指向左(thumb left)、拇指向右(thumb right)和手掌(palm)。
[0148]
拇指向上是拇指向上的姿势，可以对应于对于媒体或收音机被激活的状态设置、推荐或存储激活的内容到收藏夹的控制。
[0149]
此外，拇指向上可以对应于对于导航应用被激活的状态将激活的位置设置为兴趣点(point of interest，poi)的控制。
[0150]
静音是抬起食指的姿势，可以对应于对于媒体被激活的状态激活静音功能的控制。
[0151]
ok是通过将一只手的拇指和食指的指尖连接成圆形状来用手做出ok形状的姿势，可以对应于对于媒体被激活的状态执行播放操作的控制。
[0152]
此外，ok可以对应于对于导航应用被激活的状态开始导航引导的控制。
[0153]
第1/2/3是张开一根、两根或三根手指的姿势，可以对应于对于导航应用被激活的
状态在能够选择多个菜单的情况下选择与每个数字对应的菜单的控制。
[0154]
挥手(左、右)是向左或向右挥动手的姿势，可以对应于对于媒体或收音机被激活的状态移动到下一音乐/频道/内容或上一音乐/频道/内容的控制。
[0155]
拇指向左是拇指向左的姿势，可以对应于在系统功能中执行系统的结束或返回的控制。
[0156]
此外，拇指向左可以对应于对于媒体被激活的状态执行向上搜索功能的控制。
[0157]
拇指向右是拇指向右的姿势，可以对应于对于媒体被激活的状态执行向下搜索功能的控制。
[0158]
手掌是打开手掌的姿势，可以对应于在系统功能中返回主屏幕的控制。
[0159]
仅当对于信息娱乐系统的状态存在对应姿势时，车辆中的姿势识别装置100才可以识别姿势。
[0160]
因此，当确定当前信息娱乐系统的状态时，车辆中的姿势识别装置100可以选择允许识别的姿势并且可以仅执行针对允许识别的姿势的姿势识别。
[0161]
图4是示出根据本公开的实施例的车辆中的姿势识别装置的姿势可识别条件的图。
[0162]
参照图4，当车速小于或等于130km/h时，当导航提供正在行驶的道路的信息时，并且当由传感器装置110或221识别的驾驶员的状态信息不是判断为困倦和粗心驾驶的条件时，车辆中的姿势识别装置100可以判断为可以执行整个姿势识别并开始姿势识别。
[0163]
然而，即使当车速不小于或等于130km/h时，或者当导航不提供正在行驶的道路的信息时，或者当由传感器装置110或221识别的驾驶员的状态信息是判断为困倦和粗心驾驶的条件时，当判断为车速为“0”或车辆处于p挡而车辆停止时，车辆中的姿势识别装置100也可以判断为可以执行整个姿势识别并开始姿势识别。
[0164]
作为示例，对于包括点头和摇头的头部动作，当方向盘角度小于或等于30
°
时，当在通过传感器装置110或221姿势识别之前的2秒内驾驶员的视线朝向前方1秒以上时，并且当判断为驾驶员的两只手位于方向盘上时，车辆中的姿势识别装置100可以判断为可以执行姿势识别并执行姿势识别。
[0165]
然而，即使当方向盘角度不小于或等于30
°
时，或者当在通过传感器装置110或221姿势识别之前的2秒内驾驶员的视线未朝向前方1秒以上时，或者当判断为驾驶员的两只手未位于方向盘上时，当车辆在高速公路上行驶并且执行诸如智能巡航控制(scc)或高速公路驾驶辅助(hda)的自动驾驶功能时，车辆中的姿势识别装置100也可以判断为可以执行姿势识别并执行姿势识别。
[0166]
对于手势中的拇指向上、静音、ok、第1/2/3、拇指向左、拇指向右、手掌，当方向盘角度小于或等于20
°
时，当满足在具有快速公路上的限速以上的限速的道路上车速小于或等于100km/h的条件和在除具有快速公路上的限速以上的限速的道路以外的道路上车速小于或等于60km/h的条件时，当在通过传感器装置110或221姿势识别之前的2秒内驾驶员的视线朝向前方1秒以上时，并且当判断为驾驶员的一只手位于方向盘上时，车辆中的姿势识别装置100可以判断为可以执行姿势识别并执行姿势识别。
[0167]
然而，即使当方向盘角度不小于或等于20
°
时，或者当不满足在具有快速公路上的限速以上的限速的道路上车速小于或等于100km/h的条件或在除具有快速公路上的限速以
上的限速的道路以外的道路上车速小于或等于60km/h的条件时，或者当在通过传感器装置110或221姿势识别之前的2秒内驾驶员的视线未朝向前方1秒以上时，或者当判断为驾驶员的一只手未位于方向盘上，当车辆在高速公路上行驶并且执行诸如scc或hda的自动驾驶功能时，车辆中的姿势识别装置100也可以判断为可以执行姿势识别并执行姿势识别。
[0168]
作为示例，对于手势中的挥手(左、右)，当方向盘角度小于或等于20
°
时，当车速小于或等于60km/h时，当车辆正在行驶的道路是普通道路而不是快速公路或高速公路时，当在通过传感器装置110或221姿势识别之前的2秒内驾驶员的视线朝向前方1秒以上时，并且当判断为驾驶员的一只或两只手位于方向盘上时，车辆中的姿势识别装置100可以判断为可以执行姿势识别并执行姿势识别。
[0169]
然而，由于挥动手或手臂会导致粗心驾驶，因此车辆中的姿势识别装置100可以添加单独的特定条件并且仅当满足添加的条件时才可以识别对应姿势。
[0170]
在此，作为基准的车速、方向盘角度、时间和道路类型是作为示例而被确定的，并且可以根据实施例被确定为其它基准。
[0171]
图5是示出根据本公开的实施例的车辆中的姿势识别装置的姿势分支场景的图。
[0172]
参照图5，车辆中的姿势识别装置的姿势分支场景可以包括以下场景：弹出、开始引导、内容存储、暂停、播放、添加poi收藏夹、选择1/2/3、向上/向下搜索、结束/返回、上一歌曲/页面、下一歌曲/页面和主屏幕切换。
[0173]
在弹出场景中，在弹出窗口被激活的状态下，可以识别与系统(弹出)或ai代理应用的ok/no操作对应的点头/摇头姿势。
[0174]
在开始引导场景中，在导航功能被激活的状态下，可以识别与执行导航应用或ai代理应用的开始引导的控制对应的点头姿势或ok姿势。
[0175]
在内容存储场景中，在媒体/收音机功能被激活的状态下，可以识别与执行媒体/收音机应用或ai代理应用的收藏夹/推荐/存储功能的控制对应的拇指向上姿势。
[0176]
在暂停场景中，在媒体功能被激活的状态下，可以识别与执行媒体应用或ai代理应用的静音操作的控制对应的静音姿势。
[0177]
在播放场景中，在媒体功能被激活的状态下，可以识别与执行媒体应用或ai代理应用的播放操作的控制对应的ok姿势。
[0178]
在添加poi收藏夹场景中，在导航功能被激活的状态下，可以识别与将导航应用或ai代理应用的对应区域添加到poi收藏夹的控制对应的拇指向上姿势。
[0179]
在选择1/2/3场景中，在导航功能被激活的状态下，可以识别与选择导航应用的与数字1、2和3对应的菜单或项目的控制对应的第1/2/3姿势。
[0180]
在向上/向下搜索场景中，在媒体/收音机被激活的状态下，可以识别与执行媒体/收音机应用的向上/向下搜索功能的控制对应的挥手(左、右)姿势。
[0181]
在结束/返回场景中，在除了媒体功能以外的任何功能被激活的状态下，可以识别与执行系统的结束或返回功能的控制对应的拇指向左姿势。
[0182]
在上一歌曲/页面场景中，在媒体功能被激活的状态下，可以识别与执行媒体应用的向上搜索功能的控制对应的拇指向左姿势。
[0183]
在下一歌曲/页面场景中，在媒体功能被激活的状态下，可以识别与执行媒体应用的向下搜索功能的控制对应的拇指向右姿势。
[0184]
在主屏幕切换场景中，在任何功能被激活的状态下，可以识别与执行系统的主屏幕切换的控制对应的手掌姿势。
[0185]
图6是示出根据本公开的实施例的车辆中的姿势识别装置的操作的流程图。
[0186]
参照图6，在s601中，车辆中的姿势识别装置100可以识别车辆驾驶信息等并识别是否可以使用姿势识别。
[0187]
作为示例，车辆中的姿势识别装置100可以识别诸如车速或方向盘角度的车辆驾驶信息，并且可以基于车辆驾驶信息、关于车辆正在行驶的道路的信息和驾驶员的状态信息中的至少一个来根据预设的条件识别是否可以使用姿势识别。
[0188]
在s601中识别车辆驾驶信息等并识别是否可以使用姿势识别之后，在s602中，车辆中的姿势识别装置100可以判断当前信息娱乐系统的状态。
[0189]
作为示例，车辆中的姿势识别装置100可以与信息娱乐系统连接以从信息娱乐系统获取关于信息娱乐系统的状态的信息。
[0190]
作为示例，信息娱乐系统的状态可以包括根据在系统上首先执行的功能确定的状态，例如，弹出屏幕被激活的状态、导航应用被首先激活的状态、媒体应用被首先激活的状态或者收音机被首先激活的状态。
[0191]
在s602中判断当前信息娱乐系统的状态之后，在s603中，车辆中的姿势识别装置100可以分支与当前系统对应的姿势。
[0192]
作为示例，车辆中的姿势识别装置100可以分支根据当前系统的状态允许的姿势以仅感测与能够在当前系统的状态下执行的控制对应的姿势。
[0193]
在s603中分支与当前系统对应的姿势之后，在s604中，车辆中的姿势识别装置100可以获取针对系统的姿势。
[0194]
作为示例，车辆中的姿势识别装置100可以通过图1或图2的传感器装置110或221获取和分析关于用户的姿势的信息。
[0195]
在s604中获取针对系统的姿势之后，在s605中，车辆中的姿势识别装置100可以最终确定姿势。
[0196]
作为示例，车辆中的姿势识别装置100可以将分析的姿势与分支的根据当前系统的状态允许的姿势进行比较。
[0197]
在s605中最终确定姿势之后，在s606中，车辆中的姿势识别装置100可以执行与姿势对应的控制和反馈。
[0198]
作为示例，车辆中的姿势识别装置100可以与姿势对应地控制信息娱乐系统，并且可以通过反馈装置通过语音信号、显示器或驱动来输出反馈。
[0199]
图7是示出根据本公开的实施例的车辆中的姿势识别方法的流程图。
[0200]
参照图7，车辆中的姿势识别方法可以包括：获取关于用户的姿势的信息(s710)；连接到车辆的信息娱乐系统以识别信息娱乐系统的状态(s720)；基于信息娱乐系统的状态来分支允许识别的姿势(s730)；以及基于感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别(s740)。
[0201]
获取关于用户的姿势的信息(s710)可以由图1或图2的传感器装置110或221执行。
[0202]
连接到车辆的信息娱乐系统以识别信息娱乐系统的状态(s720)可以由图1或图2的处理器120或217执行。
[0203]
基于信息娱乐系统的状态来分支允许识别的姿势(s730)可以由处理器120或217执行。
[0204]
基于感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别(s740)可以由处理器120或217执行。
[0205]
作为示例，车辆中的姿势识别方法可以进一步包括：由处理器120或217基于车辆驾驶信息、关于车辆正在行驶的道路的信息和由传感器装置110或221识别的关于用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
[0206]
作为示例，由处理器120或217判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别可以包括：由处理器120或217根据车辆的车速是否小于或等于阈值速度或者车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
[0207]
作为示例，由处理器120或217判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别可以包括：由处理器120或217根据车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
[0208]
作为示例，由处理器120或217判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别可以包括：由处理器120或217基于用户的视线和用户的方向盘握持状态中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。
[0209]
作为示例，车辆中的姿势识别方法可以进一步包括：由处理器120或217基于车辆的信息娱乐系统的状态来选择与姿势对应的控制优先级；以及由处理器120或217基于由传感器装置110或221感测到的关于姿势的信息和优先级来确定与姿势对应的控制。
[0210]
结合本文所公开的实施例描述的方法或算法的操作可以直接以由处理器运行的硬件或软件模块或者硬件和软件模块的组合实施。软件模块可以驻留在诸如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移动磁盘和cd-rom的存储介质(即，存储器和/或存储装置)上。
[0211]
示例性存储介质可以联接到处理器，并且处理器可以从存储介质中读取信息并且可以在存储介质中记录信息。或者，存储介质可以与处理器集成。处理器和存储介质可以驻留在专用集成电路(asic)中。asic可以驻留在用户终端内。在另一种情况下，处理器和存储介质可以作为单独的组件驻留在用户终端中。
[0212]
将描述根据本公开的实施例的车辆中的姿势识别装置及方法的效果。
[0213]
根据本公开的实施例中的至少一个，可以提供通过与信息娱乐系统交互来有效地识别姿势的装置及方法。
[0214]
根据本公开的实施例中的至少一个，可以提供解决由于连续图像识别导致的过载问题的车辆中的姿势识别装置及方法。
[0215]
此外，根据本公开的实施例中的至少一个，可以提供解决由于连续图像识别导致的可靠性劣化问题的车辆中的姿势识别装置及方法。
[0216]
此外，根据本公开的实施例中的至少一个，可以提供在输入与情况对应的姿势时
降低与情况对应的姿势被错误地识别为无关姿势的概率的车辆中的姿势识别装置及方法。
[0217]
此外，根据本公开的实施例中的至少一个，可以提供向用户提出适合情况的姿势以增加用户的便利性的车辆中的姿势识别装置及方法。
[0218]
另外，可以提供通过本公开直接或间接确定的各种效果。
[0219]
在上文中，尽管参照示例性实施例和附图描述了本公开，但是本公开不限于此，而是可以由本公开所属领域的技术人员在不脱离所附权利要求书中要求保护的本公开的思想和范围的情况下进行各种修改和改变。
[0220]
因此，本发明的实施例并非旨在限制本发明的技术思想，而仅为了说明的目的而被提供。本公开的范围应以所附权利要求书为基础进行解释，凡与权利要求书等同的范围内的技术思想均应包括在本公开的范围内。

技术特征：

1.一种车辆中的姿势识别装置，所述装置包括：传感器装置，设置在所述车辆中以获取关于用户的姿势的信息；以及处理器，连接到所述车辆的信息娱乐系统以识别所述信息娱乐系统的状态，基于所述信息娱乐系统的状态来分支允许识别的姿势，并基于由所述传感器装置感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。2.根据权利要求1所述的装置，其中，所述处理器基于车辆驾驶信息、关于所述车辆正在行驶的道路的信息和由所述传感器装置识别的关于所述用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。3.根据权利要求2所述的装置，其中，所述处理器根据所述车辆的车速是否小于或等于阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。4.根据权利要求2所述的装置，其中，所述处理器根据所述车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。5.根据权利要求2所述的装置，其中，所述处理器基于关于道路的信息是否通过所述车辆的导航系统提供来判断是否可以使用姿势识别。6.根据权利要求2所述的装置，其中，所述处理器根据所述车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。7.根据权利要求2所述的装置，其中，所述处理器根据道路类型来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。8.根据权利要求2所述的装置，其中，所述处理器基于由所述传感器装置感测到的关于所述用户的信息是否对应于预设的困倦或粗心状态条件来判断是否可以使用姿势识别。9.根据权利要求2所述的装置，其中，所述处理器基于所述用户的视线和所述用户的方向盘握持状态中的至少一个来判断是否可以使用针对特定姿势的姿势识别。10.根据权利要求2所述的装置，其中，所述处理器将所述车辆停止或自动驾驶功能正在运行的情况处理为异常条件，并且当所述车辆停止或所述自动驾驶功能正在运行时，所述处理器判断为可以使用姿势识别或者可以使用针对特定姿势的姿势识别。11.根据权利要求1所述的装置，进一步包括：驱动装置，与所述传感器装置连接以调整所述传感器装置感测关于用户的姿势的信息的方向，其中，所述处理器通过所述驱动装置来调整所述传感器装置感测关于用户的姿势的信息的方向，使得所述传感器装置获取关于允许识别的姿势的信息。
12.根据权利要求1所述的装置，进一步包括：反馈装置，通过语音信号、显示器或驱动来输出反馈，其中，所述处理器基于姿势识别的结果，通过所述反馈装置输出关于姿势识别的结果的反馈。13.根据权利要求1所述的装置，其中，所述处理器基于所述车辆的信息娱乐系统的状态来选择与姿势对应的所述信息娱乐系统的控制优先级，并且基于由所述传感器装置感测到的关于姿势的信息和所述优先级来确定与姿势对应的所述信息娱乐系统的控制。14.根据权利要求1所述的装置，其中，所述信息娱乐系统的状态包括弹出屏幕被激活的状态、导航应用被首先激活的状态、媒体应用被首先激活的状态和收音机被首先激活的状态中的至少一个。15.一种车辆中的姿势识别方法，所述方法包括：设置在所述车辆中的传感器装置获取关于用户的姿势的信息；处理器连接到所述车辆的信息娱乐系统以识别所述信息娱乐系统的状态；所述处理器基于所述信息娱乐系统的状态来分支允许识别的姿势；以及所述处理器基于由所述传感器装置感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。16.根据权利要求15所述的方法，进一步包括：所述处理器基于车辆驾驶信息、关于所述车辆正在行驶的道路的信息和由所述传感器装置识别的关于所述用户的状态的信息中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。17.根据权利要求16所述的方法，其中，所述处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别包括：所述处理器根据所述车辆的车速是否小于或等于阈值速度或者所述车辆的方向盘角度是否小于或等于阈值角度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。18.根据权利要求16所述的方法，其中，所述处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别包括：所述处理器根据所述车辆的车速是否小于或等于根据道路类型设置的阈值速度来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。19.根据权利要求16所述的方法，其中，所述处理器判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别包括：所述处理器基于所述用户的视线和所述用户的方向盘握持状态中的至少一个来判断是否可以使用姿势识别或者是否可以使用针对特定姿势的姿势识别。20.根据权利要求15所述的方法，进一步包括：所述处理器基于所述车辆的信息娱乐系统的状态来选择与姿势对应的控制优先级；以
及所述处理器基于由所述传感器装置感测到的关于姿势的信息和所述优先级来确定与姿势对应的控制。

技术总结

本公开提供一种车辆中的姿势识别装置及方法。该装置被配置为通过与信息娱乐系统交互来有效地识别姿势。该装置获取关于用户的姿势的信息，连接到车辆的信息娱乐系统以识别信息娱乐系统的状态，基于信息娱乐系统的状态来分支允许识别的姿势，并基于感测到的关于姿势的信息和分支允许识别的姿势的结果来执行姿势识别。该装置解决由于连续图像识别导致的过载和可靠性劣化问题。和可靠性劣化问题。和可靠性劣化问题。