交互式飞行器机舱环境的制作方法

阅读：评论：0

1.本公开总体上涉及使用不同输入来控制多个设备和系统的自动控制。更具体地，本公开涉及对飞行器机舱和其他封闭空间的自动控制。

背景技术：

2.本节提供与本公开相关的背景信息，其不一定是现有技术。
3.现代商务喷气机的飞行器机舱配备有一系列不同的乘客舒适度、安全性和娱乐系统。这些系统各自使用其自己的专用控件来独立起作用。传统上，这种专用控件是使用按钮、旋钮和屏幕上的触摸选择来手动操作的。由于在飞行的不同阶段(例如，起飞、巡航、着陆)期间背景噪声水平的广泛变化，通过语音进行控制通常不太可靠。

技术实现要素：

4.所公开的系统使用复杂的多模式命令输入系统来支持对机舱环境的交互式控制。飞行器上的多个不同设备和系统(例如，照明、气候控制(climate control)、电动窗帘、送气供应、座椅倾斜度等)各自由配备人工智能的控制单元来控制。控制单元允许单独地或协同地完全控制每个设备或系统。因此，控制单元可以调节单个座椅的倾斜度，也可以协同地控制多个设备，以在机舱内提供不同的氛围。所公开的系统使用人工智能来识别飞行器上机组人员/乘客的身份，该身份然后可以用于定制机舱环境并为客户带来更相关的信息。
5.控制单元使用多个不同的输入来执行这些控制功能，这些输入包括：飞行计划、语音识别、说话者识别、说话者验证、说话者位置、用户定义的偏好、实时飞行器和设备状态信息、以及受控设备用例状态信息。
6.控制单元使用其人工智能从系统的先前使用中学习，从而提高控制单元的预测准确性。
7.通过使用不同输入和从先前使用中学到的知识，控制单元能够以高度确定性来预测用户意图表达什么命令，然后制定满足用户愿望的控制策略。
8.作为示例，机载系统可以在他/她的就座位置处自动应用机舱环境偏好，包括但不限于诸如以下的设置：
9.·
窗帘：打开/关上
10.·
送气：开/关
11.·
电视音量
12.·
阅读灯：开/关
13.基于先前的请求，机载系统可以带来与乘客/机组人员更相关的信息。例如，
14.·“打开电视”：自动切换到他/她喜欢的频道
15.·“本地新闻”：带来相关新闻，即体育/财经/交通新闻
16.·“播放音乐”：播放他/她喜欢的音乐
17.·“显示地图”：显示交通、餐厅或本地景点
18.作为概述，所公开的交互式飞行器机舱环境控制系统采用至少一个麦克风阵列，其设置在机舱内以捕获来自乘客的口头话语，并被配置为基于对口头话语的到达时间分析来提供对机舱内乘客位置的估计。飞行器上的数据源提供飞行上下文信息。这种数据源单独地或组合地包括飞行器上测量实时参数的传感器、飞行器的当前飞行计划。耦合到麦克风阵列的控制处理器被配置为基于口头话语来确定乘客身份。控制处理器被编程和配置为学习乘客偏好并将其与乘客身份相关联。控制处理器接收对乘客位置的估计，并被耦合以根据乘客位置、从乘客身份获得的乘客偏好和飞行上下文信息对形成机舱环境的一部分的至少一个设备提供监督控制。
附图说明
19.本文描述的附图仅用于所选实施例的说明性目的，而不是所有可能的实现方式。附图的特定选择不旨在限制本公开的范围。
20.图1是示例性飞行器的一部分的剖视平面图，示出了麦克风阵列的放置和控制单元的集成；
21.图1a更详细地示出了示例性麦克风阵列；
22.图2是控制单元和关联的传感器、致动器和数据结构的功能框图；
23.图3是说明可以如何测量相同说出信号的不同到达时间的波形图；
24.图4是说明被说出声音的波前的几何原点可以如何从不同视角到达麦克风换能器对的图；以及
25.图5是说明如何处理控制消息的功能框图。
具体实施方式
26.参考图1，示例性飞行器10以剖视平面图示出，以揭示机舱内的示例性座椅和家具布置。所公开的系统被设计为提供对机舱环境的交互式控制。作为示例，该系统提供对照明、机舱温度、电动窗帘、空气送气设置、座椅倾斜度和机上娱乐系统的交互式控制。交互式环境控制系统使用多模式传感器来获取反映应如何修改机舱内条件的用户输入，以提高乘客的舒适度和对机舱环境的享受。
27.在用于此目的的多模式传感器中有多个麦克风阵列12，它们部署在机舱内的分布点处，如图1中所示。这些麦克风阵列12各自包括多个单独的麦克风换能器46，如图1a中所示。换能器间隔开已知的间隔距离，这允许使用到达时间信息来定位由麦克风阵列拾取的声音的起源点。下文结合图3和图4讨论这是如何完成的进一步细节。虽然图1a中示出了螺旋麦克风阵列，但是麦克风阵列可以是任何其他图案，诸如线性、圆形、矩形等。
28.位于交互式环境控制系统核心的是控制处理器14，其在一个实施例中包括神经网络16。如下文将更全面描述的，控制处理器接收来自多个不同传感器和数据源的输入，包括麦克风阵列12。控制处理器根据这些输入数据确定乘客希望如何修改机舱环境。这种修改可以包括像打开或关闭单个设备(诸如机舱阅读灯)这样简单的事情，或者非常复杂的事情，诸如降低窗帘、调节环境照明的亮度和温、将机上娱乐系统切换至特定乘客偏好的节目、以及调节乘客就座的空间中的机舱温度。控制处理器将控制信号发送到一组致动器26，致动器26被附接以嵌入到飞行器上的每个受控设备中。
29.除了由麦克风阵列12拾取的乘客语音命令之外，控制处理器14还从自飞行器的飞行控制计算机获得的飞行计划数据20中导出输入，以及导出提供飞行器和设备状态信息22以及其他传感器数据24的输入。
30.飞行器状态信息：飞行器状态信息的示例包括飞行器gps位置(包括高程)、偏航、俯仰和横滚角、巡航速度以及地面速率。这些数据与飞行计划数据相结合，为控制处理器给出了可以从其估计到达时间的信息。通过调节照明和提醒乘员预计落地时间，这种信息可以用于准备机舱环境以进行着陆。飞行器状态信息还可以包括诸如机舱温度、湿度和外部空气温度的环境因素，控制处理器使用这些因素来维持乘客指定的机舱温度。
31.设备状态信息：设备状态信息22的示例针对每个受控设备包括当前操作状态和当前设置或设备操作菜单树结构内的设置位置。如将要讨论的，这种设备状态信息可以被存储为面向对象的状态变量，该面向对象的状态变量引用表示每个设备的所有可能的操作模式和状态的树结构。作为示例，简单的阅读灯可以具有简单的树结构，其包括存储以下两种状态之一的单个节点：开和关。更复杂的设备(诸如音频-视频娱乐系统)将具有多节点树结构，其中节点表示设备整个操作菜单结构的每个状态。
32.其他传感器：提供其他传感器数据24的来源的示例包括从诸如膝上型计算机、平板和移动电话的乘客个人设备传送的蓝牙或wifi数据。
33.神经网络训练
34.控制处理器14使用其神经网络16来确定乘客的机舱环境愿望。使用关于特定乘客过去如何在一系列不同飞行场景下微调其机舱环境的数据来训练神经网络。初始地，使用关于乘客语料库如何微调其机舱环境的基线训练数据来训练神经网络16。乘客语料库可以通过焦点小组研究来组装，或者乘客语料库可以使用来自实际飞行条件下的飞行器机队的数据来聚合。一旦神经网络16经过初始训练，它将基于特定乘客如何选择微调环境来细化其神经元权重。
35.微调训练是可能的，因为在控制处理器中实现的神经网络包括或实现说话者识别和验证系统。神经网络16能够通过他或她的语音特征来识别特定乘客，并且还将验证说话者不是冒充者。一旦说话者的身份被确定并验证，则使用说话者的身份作为神经网络训练数据的一部分，使得随着时间的推移，神经网络将学习每个特定乘客的偏好。这种学习个人偏好的能力在乘客数量相对较少的私人商务飞行器中是非常需要的。然而，通过考虑语言偏好，学习个人偏好的能力也可以应用于商用飞行器。因此，在飞往另一个国家或洲的航班上，神经网络会容易地能够基于乘客口语的声音来控制娱乐媒体选择，这些声音是通过听乘客的语音而学到的。
36.说话者识别和验证
37.现在参考图2，控制处理器14包括说话者识别和验证组件30，其可以被实现为独立的语音处理电路，或者实现为形成神经网络16的一部分的一组神经元层。说话者识别组件用于将来自说话者的后续话语关联到特定人。以这种方式，控制处理器能够基于该人被学到的偏好来提供定制的机舱环境控制。说话者识别可以简单到让人陈述他或她的姓名，或者也许是姓名和只有这个人知道的密码。然而，为了使识别系统更安全，说话者验证组件被包括在组件30中。通过将来自当前话语的选定特征与来自该说话者的先前验证话语的存储特征进行比较，来执行验证。
38.说话者识别和验证组件不仅将说话者与一组学到的偏好相关联，它还向语音识别组件32提供一组经过训练的识别模型，这些模型已经被定制训练，以识别该特定人的语音并具有高度可靠性。
39.说话者位置
40.虽然乘客语音命令提供重要的输入，并且在控制处理器做出的控制决策中占重要因素，但是还有其他重要的输入。说话者位置提供了另一个重要的输入，其对于控制处理器在确定乘客期望结果的上下文时是有用的。例如，如果乘客说出“升起窗帘”，则控制处理器使用乘客的位置来确定要升起哪个窗帘。类似的上下文信息用于控制机上娱乐系统、座椅机构、空气送气、头顶阅读灯等。
41.说话者位置是从由麦克风阵列捕获的声学数据中导出的。到达时间信息用于对说话者的位置进行三角测量。因此，如图3中图解所示，在话语42b到达换能器46b之前，话语42a到达第一换能器46a。说话者定位电路内的信号处理器与麦克风阵列捆绑或位于别处，对由每个换能器接收到的声音执行相关，以便识别话语42a和42b表示相同的话语事件，只是在不同时间被接收。通过对相应接收到的话语信号的到达时间进行相减，由处理器计算时间差dt。然后根据该计算出的时间差dt计算话语起源的位置或定位。
42.图4说明了计算出的在换能器42a和42b处的到达时间的差dt可以如何不仅用来确定话语来自的大致方向，还通过三角测量法确定话语42的起源的精确位置或定位。在图4中，话语在42处起源，并以由图4中的扩展弧线描绘的球面波前在声学上传播。如图所示，在波前穿过换能器46b并被其接收之前，波前在48处穿过换能器46a并被其接收。换能器46a和46b之间的间距l是固定的。因此，从话语起源42到换能器46a的视线距离x比视线距离y短一个数量，该数量等于在计算出的延迟时间dt期间波前传播到46b的附加距离。换句话说，在知道所计算或测量的时间延迟dt和飞行器机舱内的声速c的情况下，从话语起源42到相应换能器46a和46b的距离可以相关，如下：
43.y＝x+dt
×c44.在已经计算出距离x和y之间的差并且知道固定间距l以及麦克风换能器46a和46b的已知位置的情况下，可以确定话语起源42的方向和位置。如果需要，可以使用角度度量来表示话语起源的位置。在图4中，这种角度度量以相对于与换能器46a和46b所在平面正交的直线所测量的θ1和θ2示出。将理解，图3和图4旨在简单地在概念上示出话语起源如何与位置和间距已知的多个换能器处的到达时间相关。存在多种计算技术可以用于确定到达方向以及话语起源的空间位置或定位。这样做的一个实施例是对处理器进行编程以通过最大化广义互相关相位变换(gcc-phat)函数来识别话语起源。
45.返回图2，控制处理器14获得传感器数据24，其包括设备状态变量36、飞行器状态变量37和飞行计划上下文变量38。这些传感器数据可以作为实时数据从飞行器上的各种传感器和系统获得。这些数据可以被获得并存储在存储器缓冲器中以供控制处理器14使用。
46.控制处理器14还维护数据结构，该数据结构存储描述飞行器上每个受控设备的所有可控操作状态的元数据。这可以实现为设备状态有向图39，其描述设备的所有可能操作状态，以及使用该设备的用户界面从一个状态遍历到另一个状态的路径。
47.作为示例，音频-视频播放器的一部分的有向图39a可以具有包括用于声音控制、语言控制和节目选择的节点的有向图。这些节点中的每一个都将呈现子节点，用户可以遍
历这些子节点以进行他或她的选择。
48.控制处理器14使用该有向图来确定如何通过发送控制命令来操作受控设备，该控制命令模仿在遵循该设备的有向图的情况下用户为了进行特定选择或设置而将输入的内容。在每个叶节点，控制处理器根据用户的命令(如果有)存储设置值。如果没有发送特定值的命令，则存储标称默认值。作为示例，在音频-视频有向图39a中，可以存储以下示例值：
[0049][0050][0051]
存储在有向图中的值反映了所需的用户设置，如由神经网络16所确定的。受控设备的实际设置由设备状态变量36反映。控制处理器14将根据需要发送控制命令以调节设备设置，直到实际设置与所需的用户设置相匹配。
[0052]
对话语义分析
[0053]
为了生成正确的设备控制信号，控制处理器14必须在乘客位置的上下文中并在飞行器状态、飞行计划和要控制的相关设备的状态的上下文中，从乘客话语中提取含义(语义)。这通过对话语义分析来完成，其由控制处理器14使用神经网络16执行，如图5中所示。
[0054]
口头话语由麦克风阵列12捕获，并使用神经网络的语音识别组件32(图2)转换为输入语音数据40。同时，从设备状态变量36、飞行器状态变量和飞行计划上下文变量38(统称为状态变量上下文45)中捕获对话上下文数据41。输入语音数据40和对话上下文数据41对应于数据流，随着时间的推移不断变化。因此，控制单元定义输入语音数据和上下文数据之间的时间相关关系，并对这些数据流执行分段以定义时间段或窗口，存储为对话历史44，对其执行对话语义分析。
[0055]
语义分析中的第一步骤是识别和提取与要控制的对象相对应的命名实体，如在47处那样，并预测执行这种控制的过程，如在49处那样。在语法术语中，命名实体可以被认为是构成控制命令的直接宾语和动词。在对短语“调暗我的阅读灯”进行操作的情况下，命名实体提取47和下一个动作预测49将识别直接宾语：阅读灯，以及动词：调暗。当然，将理解，前面是一个非常简单的示例，以说明命名实体提取和下一个动作预测的概念。神经网络16在经过充分训练后，能够在考虑已演进到当前话语的对话历史的情况下，从复杂得多的句子中提取含义。
[0056]
为了向提取的实体和预测的动作赋予含义，控制处理器14使用其神经网络16填充或填入动作响应模板50。模板可以被认为是预定义控制过程，其使用预测的动作对提取的实体进行操作，如由47和49处的操作所确定的。控制处理器14可以采用包含数百个或数千个这种模板的模板库51，以便在机舱环境中引起精确且通常微妙的变化。这些模板类似于如何产生所需机舱环境结果的配方。因为这些模板或配方中的许多模板或配方最终需要控
制飞行器内的实际设备，所以模板填充过程50可以访问设备状态方向图39的存储库。模板填充过程将基于提取的命名实体并基于需要执行的下一个动作过程，选择适用的设备状态方向图。
[0057]
对话语义分析过程以来自乘客的信息(通常是口头话语)和关于当前机舱环境状态的信息开始，然后制定用于改变当前机舱环境状态的策略，使用动作响应模板来指导应如何发生改变。本质上，动作响应模板捕获每个受控设备能够具有的要素。
[0058]
实现
[0059]
在实现所描述的范围功能时，本文描述的任务可以在不同的处理设备之间共享：通用微处理器设备、数字信号处理(dsp)设备和一个或多个经过训练的神经网络设备。使用哪种设备的选择取决于正在执行的过程的性质。
[0060]
例如，诸如从麦克风阵列捕获语音和确定说话者位置之类的一些过程可以非常适合使用诸如数字信号处理器之类的编程处理器进行计算。说话者识别和验证以及语音识别可以由专用语音处理器执行，或者这些功能可以由经过训练的神经网络的多个部分执行。对设备状态变量、飞行器状态变量和飞行计划上下文变量的数据存储进行收集和维护是非常适合使用编程微处理器执行的任务。类似地，也可以使用编程微处理器来执行对设备状态有向图和动作响应模板填充过程所使用的模板库的存储和维护。对话语义分析非常适合由神经网络执行。最终，发送到受控设备的控制信号可以由微处理器进行调解(mediate)，该微处理器被编程为通过每个受控设备的接口(应用程序接口)发出适当的控制指令。
[0061]
尽管在前述详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现如本文考虑的示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以在示例性实施例中描述的元件的功能和布置中进行各种改变。

技术特征：

1.一种交互式飞行器机舱环境控制系统，包括：至少一个麦克风阵列，其设置在所述机舱内以捕获来自乘客的口头话语，并被配置为基于对所述口头话语的到达时间分析来提供对所述机舱内乘客位置的估计；所述飞行器上提供飞行上下文信息的数据源，所述数据源选自由所述飞行器上测量实时参数的传感器、所述飞行器的当前飞行计划及其组合组成的组；控制处理器，其耦合到所述至少一个麦克风阵列，并被配置为基于所述口头话语来确定乘客身份；所述控制处理器被编程和配置为学习乘客偏好并将其与乘客身份相关联；以及所述控制处理器接收对乘客位置的所述估计，并被耦合以根据乘客位置、从乘客身份获得的乘客偏好和飞行上下文信息对形成所述机舱环境的一部分的至少一个设备提供监督控制。2.根据权利要求1所述的控制系统，其中所述控制处理器包括神经网络，所述神经网络经过训练以执行说话者识别和说话者验证中的至少一项。3.根据权利要求1所述的控制系统，其中所述控制处理器包括被配置为学习乘客偏好的神经网络。4.根据权利要求1所述的控制系统，其中所述控制处理器包括神经网络，所述神经网络被配置为在飞行上下文信息的上下文中基于口头话语来学习乘客偏好。5.根据权利要求1所述的控制系统，其中所述控制处理器被编程为使用设备状态数据结构来提供监督控制，所述设备状态数据结构存储关于受控设备的一组预定操作状态的信息。6.根据权利要求5所述的控制系统，其中所述设备状态数据结构是有向图，所述有向图具有表示不同操作状态的节点以及表示所述受控设备的允许状态转变的边缘。7.根据权利要求1所述的控制系统，其中形成所述机舱环境的一部分的所述一个设备与所述飞行器内的指定座椅位置相关联。8.根据权利要求1所述的控制系统，其中所述控制处理器被配置为使用从由语音识别、飞行器状态信息、设备状态信息、飞行计划上下文及其组合组成的组中选择的多个且不同的输入并结合乘客偏好，来预测所需的机舱环境并制定控制策略以对所述机舱环境进行监督控制。9.根据权利要求1所述的控制系统，其中所述控制处理器被配置为使用整体监督控制策略来协同地控制多个设备，以产生不同的机舱环境。10.根据权利要求1所述的控制系统，其中所述控制处理器被配置为使用整体监督控制策略来协同地控制多个设备，以针对飞行的不同阶段产生不同的机舱环境。11.根据权利要求1所述的控制系统，其中所述控制处理器被配置有不同的控制接口，以对从由以下各项组成的组中选择的不同的多个设备执行监督控制：窗帘、窗、送气、娱乐系统音量、娱乐系统频道、座椅倾斜器、阅读灯和机舱环境灯。12.根据权利要求1所述的控制系统，其中所述控制处理器被配置为预测在来自所述乘客的口头话语中没有字面表达的设备设置。

技术总结

交互式飞行器机舱环境控制系统采用至少一个麦克风阵列，其设置在机舱内以捕获来自乘客的口头话语，并被配置为基于对口头话语的到达时间分析来提供对机舱内乘客位置的估计。飞行器上的数据源提供飞行上下文信息。这种数据源单独地或组合地包括飞行器上测量实时参数的传感器、飞行器的当前飞行计划。耦合到麦克风阵列的控制处理器被配置为基于口头话语来确定乘客身份。控制处理器被编程和配置为学习乘客偏好并将其与乘客身份相关联。控制处理器接收对乘客位置的估计，并被耦合以根据乘客位置、从乘客身份获得的乘客偏好和飞行上下文信息对形成机舱环境的一部分的至少一个设备提供监督控制。供监督控制。供监督控制。