一种语音交互应答方法和电子设备与流程

阅读: 评论:0



1.本技术涉及通信领域,并且更具体地,涉及一种语音交互应答方法和电子设备


背景技术:



2.越来越多的电子设备支持语音指令,当用户通过语音指令控制电子设备时,多个电子设备需要确定一个主电子设备,各个电子设备将收到的语音指令和声音强度信息发送至主电子设备,由主电子设备根据声音强度信息确定各个电子设备中与用户之间的距离最近的电子设备并通知该电子设备响应用户的应答,执行上述过程中存在着多轮的通信和交互,会有非常大的延迟,严重影响用户的体验。


技术实现要素:



3.本技术提供一种语音交互应答方法和电子设备,该方法可以有电子设备自主决策是否响应用户的语音指令,提高了电子设备的应答效率。
4.第一方面,提供了一种语音交互应答方法,该方法应用于第一电子设备,该方法包括:该第一电子设备获取用户的第一语音指令;该第一电子设备根据所述第一语音指令,确定该第一电子设备与用户的位置关系;该第一电子设备根据该第一电子设备与用户的位置关系以及该第一电子设备与第二电子设备的位置关系,确定是否对该第一语音指令进行应答;在确定对该第一语音指令进行应答的情况下,该第一电子设备响应于该第一语音指令,执行应答指令。
5.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的位置关系以及第一电子设备与用户的位置直接确定是否响应用户的语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
6.结合第一方面,在第一方面的某些实现方式中,该第一电子设备与第二电子设备的位置关系包括该第一电子设备与该第二电子设备之间的距离信息以及方位信息,该第一电子设备与用户的位置关系包括该第一电子设备与用户的距离信息以及方位信息。
7.结合第一方面,在第一方面的某些实现方式中,在确定是否对该第一语音指令进行应答之前,该方法还包括:该第一电子设备根据该第一电子设备与该第二电子设备之间的距离信息以及方位信息,将该第一电子设备和该第二电子设备所在的区域划分为多个子区域,该多个子区域中包括第一子区域,该第一子区域为靠近该第一电子设备的子区域。
8.结合第一方面,在第一方面的某些实现方式中,该第一电子设备根据该第一电子设备与用户的位置关系以及该第一电子设备与第二电子设备的位置关系,确定是否对该第一语音指令进行应答,包括:该第一电子设备根据该第一电子设备与用户之间的距离信息以及方位信息,确定用户是否位于该第一子区域,从而确定是否对该第一语音指令进行应答;该在确定对该第一语音指令进行应答的情况下,该第一电子设备响应于该第一语音指令,执行应答指令,包括:在确定用户位于该第一子区域的情况下,该第一电子设备确定对该第一语音指令进行应答,该第一电子设备响应于该第一语音指令,执行该应答指令。
9.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的位置关系,在第一电子设备和第二电子设备所在的区域中确定靠近自身的子区域,从而当用户在该子区域时,第一电子设备可以直接确定响应用户的语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
10.结合第一方面,在第一方面的某些实现方式中,在该第一电子设备确定是否对该第一语音指令进行应答之后,该方法还包括:在确定用户不位于该第一子区域的情况下,该第一电子设备确定不对该第一语音指令进行应答,该第一电子设备不响应该第一语音指令、不执行该应答指令。
11.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的位置关系,在第一电子设备和第二电子设备所在的区域中确定靠近自身的子区域,当用户不在靠近第一电子设备的子区域时,第一电子设备可以直接确定不响应用户的语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
12.结合第一方面,在第一方面的某些实现方式中,该第一电子设备与该第二电子设备的位置关系包括该第一电子设备与该第二电子设备之间的距离信息,该第一电子设备与用户的位置关系包括该第一电子设备与用户之间的距离信息;其中,该第一电子设备根据该第一电子设备与用户的位置关系以及该第一电子设备与第二电子设备的位置关系,确定是否对该第一语音指令进行应答,包括:该第一电子设备根据和该第二电子设备之间的距离信息确定预设距离;该第一电子设备根据该第一电子设备与用户之间的距离信息以及该预设距离,确定是否对该第一语音指令进行应答;该在确定对该第一语音指令进行应答的情况下,该第一电子设备响应于该第一语音指令,执行应答指令,包括:在确定该第一电子设备与用户之间的距离小于该预设距离的情况下,该第一电子设备确定对该第一语音指令进行应答,该第一电子设备响应于该第一语音指令,执行该应答指令。
13.可选地,该预设距离可以是第一电子设备与第二电子设备距离的二分之一。
14.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的距离关系确定预设距离,当第一电子设备确定第一电子设备与用户之间的距离小于预设距离时,第一电子设备可以确定用户离第一电子设备更近,从而第一电子设备可以直接响应用户语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
15.结合第一方面,在第一方面的某些实现方式中,该第一电子设备和该第二电子设备的位置关系包括该第二电子设备位于该第一电子设备的第一侧;其中,该第一电子设备根据该第一电子设备与用户的位置关系以及该第一电子设备与第二电子设备的位置关系,确定是否对该第一语音指令进行应答,包括:该第一电子设备根据该第一电子设备与用户之间的方位信息,确定用户是否位于第二侧,该第二侧和该第一侧具有相对位置关系;该在确定对该第一语音指令进行应答的情况下,该第一电子设备响应于该第一语音指令,执行应答指令,包括:在确定用户位于该第一电子设备的该第二侧的情况下,该第一电子设备确定对该第一语音指令进行应答,该第一电子设备响应于该第一语音指令,执行该应答指令。
16.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的方位关系将第一电子设备的所在区域以第一电子设备为界分为两侧,第二电子设备位于第一电子设备的第一侧,第一侧与第二侧为相对关系,当第一电子设备确定用户位于第一电子设备的第二侧时,第一电子设备可以确定用户离第一电子设备更近,从而第一电子设备可以直
接响应用户语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
17.结合第一方面,在第一方面的某些实现方式中,该第一电子设备与该第二电子设备的位置关系还包括该第一电子设备与该第二电子设备之间的距离信息,该第一电子设备与用户的位置关系还包括该第一电子设备与用户之间的距离信息;该方法还包括:在确定用户位于该第一电子设备的该第一侧的情况下,该第一电子设备进一步根据该第一电子设备与用户之间的该距离信息,确定该第一电子设备与用户之间的距离是否小于临界距离,其中,该临界距离是该第一电子设备根据该第一电子设备与该第二电子设备之间的该位置关系确定的;在确定该第一电子设备与用户之间的距离小于该临界距离的情况下,该第一电子设备确定对该第一语音指令进行应答,该第一电子设备响应于该第一语音指令,执行该应答指令。
18.本技术实施例中,第一电子设备可以根据第一电子设备与第二电子设备的位置关系确定多个子区域,第一电子设备在不同的子区域可以通过不同的方式确定用户是否响应用户语音指令,避免了通过主电子设备进行决策,提高了语音交互应答的速度和用户的使用体验。
19.结合第一方面,在第一方面的某些实现方式中,在该第一电子设备确定对该第一语音指令进行应答的情况下,该第二电子设备不响应该第一语音指令、不执行该应答指令。
20.结合第一方面,在第一方面的某些实现方式中,该方法还包括:该第一电子设备,不根据该第二电子设备或其他电子设备发送的数据或指令,确定是否对该第一语音指令进行应答。
21.结合第一方面,在第一方面的某些实现方式中,该方法还包括:该第一语音指令包含用于唤醒该第一电子设备和该第二电子设备的唤醒词。
22.结合第一方面,在第一方面的某些实现方式中,该方法还包括:该第一电子设备包括麦克风阵列,该麦克风阵列包括多个麦克风;该第一电子设备根据该第一语音指令,确定该第一电子设备与用户的位置关系,包括:该第一电子设备利用声源定位技术,根据该多个麦克风接收到的该第一语音指令的相位信息和时间差信息,确定该第一电子设备与用户的位置关系。
23.替代性的,该第一电子设备还可以包括毫米波雷达和/或蓝牙天线阵列和/或红外线传感器和/或wifi天线阵列,该第一电子设备还可以通过毫米波定位技术和/或蓝牙定位技术和/或红外线定位技术和/或wifi定位技术确定该第一电子设备与用户的位置关系。
24.结合第一方面,在第一方面的某些实现方式中,该方法还包括:该第一电子包括超宽带天线阵列;该第一电子设备根据该第一语音指令,确定该第一电子设备与用户的位置关系,包括:该第一电子设备接收到第一语音指令后,通过超宽带定位技术,确定该第一电子设备与用户的位置关系。
25.结合第一方面,在第一方面的某些实现方式中,该方法还包括:该第一电子设备获取该第二电子设备的定位信号;该第一电子设备根据该定位信号确定该第一电子设备与该第二电子设备的位置关系。
26.具体来说,该第一电子设备中的麦克风阵列可以接收该第二电子设备发送的超声波信号,根据超声波信号到达每一个麦克风的时间确定该第一电子设备与该第二电子设备
之间的位置关系。
27.替代性的,该第一电子设备还可以包括毫米波雷达和/或蓝牙天线阵列和/或红外线传感器和/或wifi天线阵列,该第一电子设备还可以通过接收毫米波信号和/或蓝牙信号和/或红外线信号和/或wifi信号,确定该第一电子设备与用户的位置关系。
28.第二方面,为本技术实施例的一种电子设备,所述电子设备包括执行上述第一方面或者第一方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
29.第三方面,为本技术实施例的一种芯片,所述芯片与电子设备中的存储器耦合,用于调用存储器中存储的计算机程序并执行本技术实施例第一方面及其第一方面任一可能设计的技术方案;本技术实施例中“耦合”是指两个部件彼此直接或间接地结合。
30.第四方面,为本技术实施例的一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如上述第一方面及其第一方面任一可能设计的技术方案。
31.第五方面,为本技术实施例的一种计算机程序,所述计算机程序包括指令,当所述指令在计算机上运行时,使得所述计算机执行如上述第一方面及其第一方面任一可能设计的技术方案。
32.其中,第二方面至第五方面的有益效果,请参见第一方面的有益效果,不重复赘述。
附图说明
33.图1是本技术实施例提供的一种电子设备的结构示意图。
34.图2是本技术实施例提供的一例电子设备的软件结构框图。
35.图3示出了本技术实施例提供的电子设备识别方位的示意图。
36.图4示出了本技术实施例提供的通过超声波进行距离检测的示例图。
37.图5是本技术实施例提供的电子设备间定位的示意图流程图。
38.图6是本技术实施例提供的电子设备确定响应区域的示意图。
39.图7是本技术实施例提供的电子设备确定响应区域的示意图。
40.图8是本技术实施例提供的电子设备语音交互应答的示意性流程图。
41.图9是本技术实施例提供的电子设备确定响应区域的示意图。
42.图10是本技术实施例提供的电子设备确定响应区域的示意图。
43.图11是本技术实施例提供的电子设备确定响应区域的示意图。
44.图12是本技术实施例提供的电子设备确定响应区域的示意图。
具体实施方式
45.以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本技术以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表
sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,sim卡接口,和/或usb接口等。其中,usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备101充电,也可以用于电子设备101与外围设备之间传输数据。该usb接口130也可以用于连接耳机,通过耳机播放音频。
52.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
53.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
54.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
55.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
56.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
57.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
58.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wifi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频
以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
59.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
60.显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,amoled)、柔性发光二极管(flex light-emitting diode,fled)、miniled、microled、micro-oled、量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
61.在本技术的一些实施例中,当显示面板采用oled、amoled、fled等材料时,上述图1中的显示屏194可以被弯折。这里,上述显示屏194可以被弯折是指显示屏可以在任意部位被弯折到任意角度,并可以在该角度保持,例如,显示屏194可以从中部左右对折。也可以从中部上下对折。
62.电子设备100的显示屏194可以是一种柔性屏,目前,柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言,具有柔韧性强和可弯曲的特点,可以给用户提供基于可弯折特性的新交互方式,可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言,电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此,用户在配置有可折叠显示屏的电子设备上使用分屏功能,也越来越频繁。
63.电子设备100可以通过isp、摄像头193、视频编解码器、gpu、显示屏194以及应用处理器等实现拍摄功能。
64.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点、亮度、肤进行算法优化。isp还可以对拍摄场景的曝光、温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
65.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
66.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
67.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1、mpeg2、mpeg3、mpeg4等。
68.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
69.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
70.内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备101执行本技术一些实施例中所提供的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,ufs)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备101执行本技术实施例中所提供的方法,以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170a、受话器170b、麦克风170c、耳机接口170d、以及应用处理器等实现音频功能。例如音乐播放、录音等。
71.传感器模块180可以包括压力传感器180a、陀螺仪传感器180b、气压传感器180c、磁传感器180d、加速度传感器180e、距离传感器180f、接近光传感器180g、指纹传感器180h、温度传感器180j、触摸传感器180k、环境光传感器180l、骨传导传感器180m等。
72.其中,压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
73.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即x、y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
74.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应
用于横竖屏切换,计步器等应用。
75.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
76.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
77.温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
78.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
79.图2是本技术实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
80.如图2所示,应用程序包可以包括相机、图库、日历、通话、地图、导航、wlan、蓝牙、音乐、视频、短信息等应用程序。
81.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架,应用程序框架层包括一些预先定义的函数。
82.如图2所示,应用程序框架层可以包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器等。
83.窗口管理器用于管理窗口程序,窗口管理器可以获取显示屏大小,判断是否有状态栏、锁定屏幕、截取屏幕等。
84.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。
85.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
86.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
87.资源管理器为应用程序提供各种资源,比如本地化字符串、图标、图片、布局文件、视频文件等等。
88.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的
消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、电子设备振动、指示灯闪烁等。
89.系统库可以包括多个功能模块。例如:表面管理器(surface manager)、媒体库(media libraries)、三维图形处理库(例如:opengl es)、2d图形引擎(例如:sgl)等。
90.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
91.媒体库支持多种常用的音频、视频格式回放和录制以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4、h.264、mp3、aac、amr、jpg和png等。
92.三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。
93.2d图形引擎是2d绘图的绘图引擎。
94.内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。
95.在介绍本技术实施例的之前,先介绍几个和本技术实施例相关的概念。
96.无线定位技术:利用通信和参数测量确定待测目标的方向和距离。无线定位技术可以包括:声源定位技术、超宽带(ultra wideband,uwb)定位技术、蓝牙定位技术、wifi定位技术、红外线定位技术、射频识别(radio frequency identification,rfid)定位技术。
97.声源定位技术:声源定位技术是指电子设备确定声源的方向和距离,常见的声源定位技术包括麦克风阵列声源定位技术、双耳听觉机理声源定位技术、光学传感声源定位技术。麦克风阵列声源定位技术可以包括:基于最大输出功率的可控波束形成技术、基于高分辨率谱估计技术、基于声音到达时间差(time difference of arrival,tdoa)的声源定位技术。双耳听觉机理声源定位技术可以包括:耳间强度差(inter-aural intensity difference,iid)声源定位技术、耳间时间差(interaural time difference,itd)声源定位技术。光学传感器声源定位技术可以包括:光纤麦克风传感器声源定位技术、视觉麦克风传感器声源定位技术。
98.uwb定位技术:uwb无线通信是一种不用载波,而采用极窄的脉冲进行通信的方式。通过uwb进行定位时,可以通过定位算法测量待测目标到固定目标的距离和方向,并最终确定待测目标的位置。
99.需要说明的是,当待测目标是用户时,用户可以通过携带定位标签,该定位标签可以包括uwb模块,则该定位标签的位置可以表示为用户的位置。
100.蓝牙定位技术:待测目标接收蓝牙信标发出的定位信号,根据定位算法计算得出待测目标与蓝牙信标之间的距离,并最终确定待测目标的位置。
101.wifi定位技术:通过在待定位区域部署无线信号接入点,待测目标接收无线信号接入点发送的wifi信号,根据定位算法计算得出待测目标与无线信号接入点之间的距离,并最终确定待测目标的位置。
102.红外线定位技术:红外线定位技术通过红外线标识发生红外信号,由光学传感器接收后,根据定位算法得到待测目标的位置。
103.rfid定位技术:rfid定位技术通过射频信号进行双向通信交互数据从而达到识别
与定位的目的。待测目标的射频读写器接收到处理器命令后,发送固定频率的信号,环境内的射频电子标签接收到讯息后回传自身标识至射频读写器,由处理器进行识别和处理。
104.毫米波定位技术:毫米波雷达通过发射天线向外发出有指向性的毫米波,当毫米波遇到障碍目标时后反射回来,通过接收天线接收发射回来的毫米波,根据毫米波的波段和时间可以确定待测目标的位置。
105.可以理解的是,上述定位技术并不构成对本技术实施例中的电子设备采用的定位技术的具体限定。本技术实施例中的电子设备可以采取上述一种或多种定位技术,或者采取除上述定位技术以外的一种或多种定位技术。
106.示例性的,定位算法可以是:利用信号飞行时间(time of flight,tof),和/或信号到达时间(time of arrival,toa),和/或信号到达时间差(time difference of arrival,tdoa),和/或信号到达角度(angle of arrival,aoa),和/或信号到达强度(received signal strength indication,rssi)。
107.越来越多的电子设备都支持语音指令交互,随着电子设备的增加,当用户通过语音指令控制电子设备时,会有多个电子设备同时响应。在一些实现方式中,一个空间中有多个电子设备时,用户或者各电子设备之间可以确定一个主设备,用户在语音唤醒电子设备或与电子设备语音交互时时,多个电子设备需要将接收到的语音指令的声强信息(例如声压值)发送至主设备,由主设备收集所有电子设备的语音指令的声强信息后,根据各电子设备的声强信息判断用户与各电子设备的距离关系,确定需要响应用户的电子设备并发送控制指令。上述流程中涉及多轮的通信交互,会带来很大的时延,影响用户体验。本技术实施例提供了一种语音交互应答的方法,通过划分不同的响应区域,避免了多轮通信交互,提高了电子设备的响应速度。
108.下面结合图3和图4介绍本技术实施例提供的识别电子设备方位和电子设备间测距的示意图。
109.电子设备可以通过声源定位技术和超声波测距技术确定待测目标的方位和与电子设备之间的距离。本技术实施例中以电子设备通过基于tdoa的声源定位技术确定电子设备与用户的方位关系为例,但并不应对此限定,本技术实施例中还可以通过其他定位技术确定电子设备与用户的方位关系。基于tdoa的声源定位技术可以分为两步,首先计算声源信号到达麦克风阵列的时间差,然后通过麦克风阵列的几何形状建立声源定位模型并求解从而获得位置信息。如图3所示,第一电子设备包括3个麦克风,分别为第一麦克风、第二麦克风、第三麦克风,声源与第一麦克风、第二麦克风、第三麦克风的距离分别为r1、r2、r3,第一麦克风与第二麦克风之间的距离为s1,第一麦克风与第三麦克风之间的距离为s2,第二麦克风与第三麦克风之间的距离为s3,当声源发出声源信号后,该声源信号到达第二麦克风和第一麦克风的时延可以根据公式(1)得到:
[0110][0111]
其中,τ
12
为声源信号到达第二麦克风和第一麦克风的时延,r1为声源与第一麦克风的距离,r2为声源与第二麦克风的距离,c为声音的传播速度。
[0112]
同理的,该声源信号到达第三麦克风和第一麦克风的时延可以根据公式(2)得到:
[0113][0114]
其中,τ
13
为声源信号到达第三麦克风和第一麦克风的时延,r1为声源与第一麦克风的距离,r3为声源与第二麦克风的距离,c为声音的传播速度。
[0115]
同理的,该声源信号到达第三麦克风和第二麦克风的时延可以根据公式(3)得到:
[0116][0117]
根据第一麦克风、第二麦克风、第三麦克风之间的几何关系,可以得到公式(4)-公式(6):
[0118][0119][0120][0121]
其中,τ
12
、τ
13
、τ
23
可以通过时延估计得到。时延可以理解为不同传感器阵列(如麦克风阵列)接收到同源信号(如声源)之间由于传输距离不同而引起的时间差,时延估计是利用参数估计和信号处理的理论和方法,对时延进行估计,并由此进一步确定有关的参量,例如信源的方位。目前,常用的时延估计方法主要有广义互相关法、最小均方自适应滤波法、互功率谱相位法。通过时延估计得到τ
12
、τ
13
、τ
23
后,联合公式(1)-(6)可以求解得到α1、α2、α3、α4、α5、α6,进而可以根据上述6个角度得到声源与第一电子设备的方位。
[0122]
应理解,本技术实施例中对时延估计的方法并不限定,可以是上述的3种方法,还可以是其他的时延估计的方法。
[0123]
还应理解,本技术实施中电子设备以基于tdoa的声源定位技术对待测目标进行声源定位,但并不限定于此,本技术实施例中的额电子设备还可以采用其他声源定位技术和定位算法。
[0124]
电子设备还可以通过超声波测距技术测得电子设备与待测目标之间的距离。如图4所示,电子设备发送超声波信号,电子设备在超声波发出的时刻开始计时,当超声波碰到待测目标后会发生反射返回电子设备,电子设备接收到反射的超声波后停止计时,从而可以根据声音的传播速度和时间确定第一电子设备与用户之间的距离。
[0125]
应理解,本技术实施例中以超声波测定电子设备与待测目标之间的距离为例,但并不限定于此,本技术实施例中的电子设备还可以通过uwb、蓝牙、毫米波等技术测定电子设备与待测目标之间的距离。
[0126]
下面结合图5介绍本技术实施例提供的电子设备间定位的示意图流程图。
[0127]
图5示出了本技术实施例提供的电子设备间定位的示意性流程图,该流程包括:
[0128]
s501,周期性发送定位信号。
[0129]
第一电子设备可以周期性发送第一定位信号,第二电子设备可以周期性发送第二定位信号。
[0130]
示例性的,第一定位信号和第二定位信号可以是:超声波信号,和/或蓝牙信号,和/或wifi信号,和/或红外信号,和/或uwb信号,和/或射频信号,和/或毫米波。
[0131]
s502,第一电子设备接收定位信号确定第二电子设备位置。
[0132]
当第一电子设备接收到第二电子设备发送的第二定位信号时,第一电子设备可以根据接收到的第二定位信号,通过定位算法确定第二电子设备的位置信息。
[0133]
示例性的,定位算法可以是:tof,和/或toa,和/或tdoa,和/或aoa,和/或rssi。
[0134]
s503,第二电子设备接收定位信号确定第一电子设备位置。
[0135]
当第二电子设备接收到第一电子设备发送的第一定位信号时,第二电子设备可以根据接收到的第一定位信号,通过定位算法确定第一电子设备的位置。
[0136]
示例性的,定位算法可以是:tof,和/或toa,和/或tdoa,和/或aoa,和/或rssi。
[0137]
本技术实施例中,电子设备间可以通过蓝牙定位技术、uwb定位技术、声源定位技术、红外定位技术、射频识别定位技术、毫米波雷达定位技术、wifi定位技术确定电子设备之间的方位和距离。
[0138]
在第一电子设备和第二电子设备确定彼此之间的位置的情况下,可以基于所确定的位置,进一步对第一电子设备和第二电子设备的周围区域进行分割,分别确定第一电子设备和第二电子设备的响应区域。当用户位于第一电子设备的响应区域时,第一电子设备响应于用户的语音指令,与用户进行语音交互;当用于位于第二电子设备的响应区域时,第二电子设备响应于用户的语音指令,与用户进行语音交互。从而实现了不依赖于主设备进行决策即可由各个电子设备自主决策是否响应用户的语音指令、与用户进行语音交互,避免了设备之间的多轮通信交互,可以提高多个电子设备场景中,电子设备对语音指令的响应速度。
[0139]
需要说明的是语音指令可以包括用户唤醒电子设备的唤醒词。
[0140]
下面结合图6-图7介绍本技术实施例提供的电子设备确定响应区域的示意图。
[0141]
图6示出了本技术实施例提供的电子设备确定响应区域的示意图。
[0142]
如图6所示,第一电子设备可以接收第二电子设备发送的第二定位信号,第一电子设备根据第二定位信号,通过定位算法得到第二电子设备的第二位置信息,第二位置信息包括第二电子设备与第一电子设备的距离信息和第二电子设备相对于第一电子设备的方向,例如,如图6所示,第二电子设备位于第一电子设备的正东方向,第一电子设备和第二电子设备之间的距离kp为d0。
[0143]
第二电子设备可以接收第一电子设备发送的第一定位信号,第二电子设备根据第一定位信号,通过定位算法得到第一电子设备的第一位置信息,第一位置信息包括第一电子设备与第二电子设备的距离信息和第一电子设备相对于第二电子设备的方向。例如,如图6所示,第一电子设备位于第二电子设备的正西方向,第一电子设备和第二电子设备之间的距离kp为d0。
[0144]
第一电子设备和第二电子设备可以根据第一位置关系、第二位置关系建立平面直角坐标系并确定各自的确定响应区域。例如,可以建立如图6所示的坐标系,该坐标系包含x轴、y1轴和y2轴,其中,x轴为k点和p点所确定的坐标轴,y1轴为垂直于x轴且经过k点的坐标轴,y2轴为垂直于x轴且经过p点的坐标轴。
[0145]
如图6所示,第一电子设备和第二电子设备之间的距离kp为d0,o点为kp的中点,以o点为起点,射线on垂直于x轴,射线on上的任意一点到k点和p点的距离相等。
[0146]
第一电子设备和第二电子设备可以将射线on以西的区域设置为第一电子设备的响应区域,如图6中的a区。a区中的任意一点与第一电子设备的距离小于该点与第二电子设
备的距离。
[0147]
第一电子设备和第二电子设备可以将射线on以东的区域设置为第二电子设备的响应区域,如图6中的b区。b区中的任意一点与第一电子设备的距离大于该点与第二电子设备的距离。
[0148]
需要说明的是,若将x轴以南区域称为第一区域、将x轴以北区域称为第二区域,则本技术实施例以第一区域为例,介绍了第一电子设备和第二电子设备的响应区域,第二区域中的第一电子设备和第二电子设备的响应区域可以通过以x轴对称得到,为了简洁,在此不再赘述。
[0149]
在图6所示实施例中,在第一电子设备和第二电子设备确定彼此之间的位置的情况下,可以基于所确定的位置,进一步将第一电子设备和第二电子设备的周围区域分割为a区和b区,确定第一电子设备的响应区域为a区、第二电子设备的响应区域为b区。当用户位于a区域时用户更靠近第一电子设备,可以认为此时用户希望与第一电子设备进行交互,从而第一电子设备响应于用户的语音指令,与用户进行语音交互;类似的,当用于位于b区域时用户更靠近第二电子设备,可以认为此时用户希望与第二电子设备进行交互,从而第二电子设备响应于用户的语音指令,与用户进行语音交互。从而实现了不依赖于主设备进行决策即可由第一电子设备、第二电子设备自主决策是否响应用户的语音指令、与用户进行语音交互,避免了设备之间的多轮通信交互,可以提高多个电子设备场景中,电子设备对语音指令的响应速度。
[0150]
图7示出了本技术实施例提供的电子设备另一种确定响应区域的示意图。
[0151]
如图7所示,第一电子设备可以接收第二电子设备发送的第二定位信号,通过定位算法得到第二电子设备的第二位置信息,第二位置信息包括第二电子设备与第一电子设备的距离信息和第二电子设备相对于第一电子设备的方向,例如,如图7所示,第二电子设备位于第一电子设备的正东方向,第一电子设备和第二电子设备之间的距离kp为d0。
[0152]
第二电子设备可以接收第一电子设备发送的第一定位信号,通过定位算法得到第一电子设备的第一位置信息,第一位置信息包括第一电子设备与第二电子设备的距离信息和第一电子设备相对于第二电子设备的方向。例如,如图7所示,第一电子设备位于第二电子设备的正西方向,第一电子设备和第二电子设备之间的距离kp为d0。
[0153]
第一电子设备和第二电子设备可以根据第一位置关系、第二位置关系建立平面直角坐标系并确定各自的响应区域。例如,可以建立如图7所示的坐标系,该坐标系包括x轴、y1轴和y2轴,其中,x轴为k点和p点所确定的坐标轴,y1轴为垂直于x轴且经过k点的坐标轴,y2轴为垂直于x轴且经过p点的坐标轴。
[0154]
如图7所示,第一电子设备和第二电子设备之间的距离kp为d0,o点为kp的中点,以o点为起点,射线on垂直于x轴,射线on上的任意一点到k点和p点的距离相等。
[0155]
第一电子设备和第二电子设备可以将y1轴以西的区域设置为第一电子设备的响应区域,如图7中的a区。a区中的任意一点与第一电子设备的距离小于该点与第二电子设备的距离。
[0156]
第一电子设备和第二电子设备可以将y2轴以东的区域设置为第二电子设备的响应区域,如图7中的b区。b区中的任意一点与第一电子设备的距离大于该点与第二电子设备的距离。
[0157]
第一电子设备和第二电子设备可以将y1轴以东和y2轴以西的区域设置为公共区域,如图7中的c区,该公共区域可以包括第一子区域和第二公区域,其中第一子区域为图7中的ca区,该第一子区域中的任意一点与第一电子设备的距离小于该点与第二电子设备的距离,第二子区域为图7中的cb区,该第二子区域中的任意一点与第一电子设备的距离大于该点与第二电子设备的距离。
[0158]
需要说明的是,本技术实施例以第一区域为例,介绍了第一电子设备和第二电子设备的响应区域以及公共区域,第二区域中的第一电子设备和第二电子设备的响应区域以及公共区域可以通过以x轴对称得到,为了简洁,在此不再赘述。
[0159]
在图7所示的实施例中,在第一电子设备和第二电子设备确定彼此之间的位置的情况下,可以基于所确定的位置,进一步对第一电子设备和第二电子设备的周围区域进行分割为a区、b区以及c区,同时c区包括ca区和cb区,确定第一电子设备的响应区域为a区和ca区,确定第二电子设备的响应区域为b区和cb区。第一电子设备可以通过测定与用户之间的方位确定用户位于a区,当用户位于a区时,第一电子设备可以认为用户希望与第一电子设备进行交互,从而响应于用户的语音指令,与用户进行语音交互;类似的,第二电子设备可以通过测定与用户之间的方位确定用户位于b区,当用户位于b区时,第一电子设备可以认为用户希望与第一电子设备进行交互,从而响应于用户的语音指令,与用户进行语音交互。当第一电子设备测定与用户之间的方位确定用户位于c区时,第一电子设备需要进一步测定与用户之间的距离,从而判断用户位于ca区或者cb区,当用户位于ca区,第一电子设备可以认为用户希望与第一电子设备进行交互,从而响应于用户的语音指令,与用户进行语音交互;类似的,当用户位于cb区,第二电子设备响应于用户的语音指令,与用户进行语音交互。从而实现了不依赖于主设备进行决策即可由各个电子设备自主决策是否响应用户的语音指令、与用户进行语音交互,并且可以根据用户所处方位的不同确定是否测量与用户之间的距离,避免了设备之间的多轮通信交互,节省了判定流程,可以提高多个电子设备场景中,电子设备对语音语音指令的响应速度
[0160]
下面结合图8-图10介绍本技术实施例提供的电子设备语音交互的方法。
[0161]
图8示出了本技术实施例提供的电子设备语音交互应答的示意性流程图,该流程包括:
[0162]
s801,周期性发送定位信号。
[0163]
第一电子设备可以周期性发送第一定位信号,第二电子设备可以周期性发送第二定位信号。其中,针对第一定位信号和第二定位信号的描述,可以参见前述实施例,在此不再赘述。
[0164]
s802,第一电子设备确定第二电子设备位置并确定第一电子设备的响应区域。
[0165]
当第一电子设备接收到第二电子设备发送的第二定位信号时,第一电子设备可以根据第二定位信号,通过定位算法确定第二电子设备的位置。其中,针对定位算法的描述,可以参见前文描述,在此不再赘述。
[0166]
当第一电子设备确定第二电子设备的位置后,第一电子设备可以通过与第二电子设备的位置关系,确定第一电子设备的响应区域。
[0167]
s803,第二电子设备确定第一电子设备位置并确定第二电子设备的响应区域。
[0168]
当第二电子设备接收到第一电子设备发送的第一定位信号时,第一电子设备可以
根据第一定位信号,通过定位算法确定第一电子设备的位置。其中,针对定位算法的描述,可以参见前文描述,在此不再赘述。
[0169]
当第二电子设备确定第一电子设备的位置后,第二电子设备可以通过与第一电子设备的位置关系,确定第二电子设备的响应区域。
[0170]
s804,第一电子设备接收到用户的语音指令。
[0171]
s805,第二电子设备接收到用户的语音指令。
[0172]
s806,第一电子设备判断用户是否在第一电子设备的响应区域。
[0173]
第一电子设备接收到用户的语音指令后,可以通过声源定位技术和超声波测距技术确定用户相对于第一电子设备的距离和方位。
[0174]
当第一电子设备通过如图6所示的方法确定响应区域时,可以通过用户的方位和距离确定用户所在的区域。如图9所示,射线km与射线on相交于d点,射线km相对于y1轴向东偏λ,kd的距离为d1,d点可以理解为a区和b区的临界点,当射线km上的任意一点与k点的距离小于d1时,则该点位于a区,当射线km上的任意一点与k点的距离大于d1时,则该点位于b区。例如,第一用户和第二用户分别位于射线km上的r点和l点,其中第一用户位于第一电子设备的南偏东λ,距离kr为d2,d2小于d1,则第一电子设备可以判定第一用户位于a区,即第一电子设备的响应区域。第二用户位于第一电子设备的南偏东λ,距离kl为d3,d3大于d1,则第一电子设备可以判定第二用户位于b区,即第二电子设备的响应区域。需要说明的是,如图9所示,若射线km’不与射线on相交时,则第一电子设备可以在确定用户位于射线km’和用户之间的距离后,判定用户位于第一电子设备的响应区域。
[0175]
当第一电子设备通过如图7所示的方法确定响应区域时,可以首先判断用户相对于第一电子设备的方位,然后第一电子设备可以根据用户相对于第一电子设备的方位判断是否测量与用户之间的距离。如图10所示,第二电子设备位于第一电子设备的正东方向,则可以得到y1轴以西的区域中的任意一点到第一电子设备的距离小于该点到第二电子设备的距离,则当第一电子设备确定用户的方位相对于y1轴以西时,第一电子设备可以在不确定用户与第一电子设备之间的距离的情况下,确定用户位于第一电子设备的响应区域。当第一电子设备确定用户的方位相对于y1轴以东时,则第一电子设备需要确定用户与第一电子设备之间的距离后,再确定用户所在的区域。例如,第三用户位于射线ke上的g点,第四用户和第五用户分别位于射线ku上的h点和t点,其中射线ke相对于y1轴向西偏β,射线ku相对于y1轴向东偏η,同时与射线on相交于f点。第一电子设备在判断第三用户时,由于第三用户的方位相对于y1轴向西偏β,则第一电子设备可以不测定与第三用户的距离,直接判定第三用户位于第一电子设备的响应区域。第一电子设备在判断第四用户和第五用户时,由于第四用户和第五用户的方位相对于y1轴向东偏η,则第一电子设备还需要测定第一电子设备与第四用户与第一电子设备之间的距离。其中,kf的距离为d4,kh的距离为d5,kt的距离为d6,d5小于d4,则第一电子设备可以判定第四用户位于ca区,即第一电子设备的响应区域,d6大于d4,则第一电子设备可以判定第五用户位于cb区,即第二电子设备的响应区域。
[0176]
s807,第二电子设备判断用户是否在第二电子设备的响应区域。
[0177]
第二电子设备接收到用户的语音指令后,可以确定用户所在的区域。具体描述可以参见s806,为了简洁,在此不再赘述。
[0178]
通过如图7所示的方法确定响应区域,相较于通过如图6所示的方法确定响应区
域,可以在用户处于y1轴以西区域或者用户处于y2轴以东区域时,省去测定用户与第一电子设备、第二电子设备之间距离的步骤,从而可以在一定程度上节省计算量,提高响应速度。
[0179]
本技术实施例中,第一电子设备和第二电子设备通过定位两者之间的位置关系,确定第一电子设备和第二电子设备的响应区域,当第一电子设备和第二电子设备接收到用户的语音指令时,可以确定用户所属的区域,当用户在第一电子设备的响应区域时,第一电子设备可以直接应答,或者当用户在第二电设备的响应区域时,第二电子设备可以直接应答,提升了用户语音交互的体验。
[0180]
需要说明的是,上述实施例中以第一电子设备和第二电子设备为例描述本技术实施例,但本技术实施例并不限定于此,本技术实施例还可以包括更多的电子设备。如图11所示,第一电子设备、第二电子设备、第三电子设备在互相确定各自相对于其他两个电子设备的位置关系后,可以确定各自的响应区域。
[0181]
如图11中的(a)所示,第一电子设备和第三电子设备可以通过定位技术确定位置关系。第一电子设备和第三电子设备可以根据两者之间的位置关系建立平面直角坐标系并确定各自的确定响应区域。例如,可以建立如图11中的(a)所示的坐标系,该坐标系包含x2轴,y3轴和y4轴,其中x轴为k点和p点所确定的坐标轴,y3轴为垂直于x2轴且经过k点的坐标轴,y4轴为垂直与x2轴且经过z点的坐标轴。第一电子设备和第三电子设备之间的距离kz为d7,m点为kz的中点。则第一电子设备可以确定射线ms为第一电子设备确定响应的区域(a区)和第三电子设备确定响应的区域(e区)的分界线。当第一电子设备判定用户所在区域为a区时,则第一电子设备响应,当第一电子设备判定用户所在区域为e区时,则第一电子设备不响应,类似的,第三电子设备也可以判定用户所在的区域。
[0182]
类似的,第二电子设备和第三电子设备也可以根据两者之间的位置关系确定各自的确定响应区域。如图11中的(b)所示,第二电子设备和第三电子设备之间的距离zp为d8,l点为zp的中点。则第一电子设备可以确定射线lt为第二电子设备确定响应的区域(b区)和第三电子设备确定响应的区域(e区)的分界线。当第二电子设备判定用户所在区域为b区时,则第二电子设备响应,当第二电子设备判定用户所在区域为e区时,则第一电子设备不响应。类似的,第三电子设备也可以判定用户所在的区域。
[0183]
由于同时存在2个以上的电子设备,电子设备在划分各自的响应区域时,会发生响应区域的重叠,则电子设备可以根据发生重叠的区域与各个电子设备之间的距离进一步细化重叠的区域。如图11中的(c)所示,由三角形kzp形成的区域为第一电子设备、第二电子设备、第三电子设备响应区域的重叠部分,则可以根据该区域中的点与各个电子设备之间的距离将zmgl四个点形成的区域划分为de区,该区中的任意一点的距离到第三电子设备之间的距离小于该点到第一电子设备和第二电子设备之间的距离。类似的,可以划分出da区和db区,为了简洁,在此不再赘述。
[0184]
综上所述,如图11中的(c)所示,第一电子设备、第二电子设备、第三电子设备可以将射线gs、射线gn、射线gt设置为边界,划分各自的响应区域。
[0185]
本技术实施例中,多个电子设备通过定位两者之间的位置关系,确定各自的响应区域,当多个电子设备接收到用户的语音指令时,可以确定用户所属的区域,当用户在某个电子设备的响应区域时,则该电子设备可以直接应答,提升了用户语音交互的体验。
[0186]
上述实施例中电子设备之间通过划分各自的响应区域,实现在没有主设备的情况下,可以直接响应用户的语音指令。本技术实施例中,电子设备还可以通过设定第一预设条件实现在没有主设备的情况下,直接响应用户的语音指令。例如,如图12中的(a)所示,第一电子设备测得与第二电子设备之间距离kp为d0,o为kp的中点,第一电子设备可以将ko的距离d0/2设置为预设距离,则当第一电子设备测得与第七用户之间的距离小于d0/2时,可以确定第七用户与第一电子设备的距离小于与第二电子设备之间的距离,从而直接响应用户的语音指令。
[0187]
本技术实施例中,当电子设备测得用户与电子设备之间的距离满足预设条件时,可以直接响应用户的语音指令,节省了方位的判断步骤,提高了响应速度。
[0188]
可选的,第一电子设备还可以设定第二预设条件,实现在没有主设备的情况下,直接响应用户的语音指令。如图12中的(b)所示,第一电子设备测定第二电子设备位于第一电子设备的正东方向,则当第一电子设备测到第八用户相对于第一电子设备位于偏西方向时,可以确定第八用户与第一电子设备的距离小于与第二电子设备之间的距离,可以直接响应用户的语音指令。
[0189]
本技术实施例中,当电子设备测得用户与电子设备之间的距离满足预设条件时,可以直接响应用户的语音指令,节省了距离的判断步骤,提高了响应速度。
[0190]
可选的,第一电子设备可以结合第一预设条件和第二预设条件。例如,如图12中的(c)所示,第一电子设备测得与第九用户之间的距离大于d0/2,并不满足第一预设条件,但是第九用户位于第一电子设备的偏西方向,从而第一电子设备可以确定第九用户与第一电子设备的距离小于与第二电子设备之间的距离,可以直接响应用户的语音指令。
[0191]
上述本技术提供的实施例中,从电子设备作为执行主体的角度对本技术实施例提供的方法进行了介绍。为了实现上述本技术实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
[0192]
本技术实施例还提供了一种电子设备,包括:处理器、存储器、一个或多个传感器、电源键、应用程序以及计算机程序。上述各器件可以通过一个或多个通信总线连接。其中,该一个或多个计算机程序被存储在上述存储器中并被配置为被该一个或多个处理器执行,该一个或多个计算机程序包括指令,上述指令可以用于使电子设备执行上述各实施例中界面显示方法的各个步骤。
[0193]
示例性的,上述处理器具体可以为图2所示的处理器110,上述存储器具体可以为图2所示的内部存储器120和/或与电子设备连接的外部存储器,上述显示屏具体可以为图2所示的显示屏130,上述传感器具体可以为图2所示的传感器模块150中的一个或多个传感器,上述电源键可以为图2所示的电源键141。本技术实施例对此不做任何限制。
[0194]
以上实施例中所用,根据上下文,术语“当

时”或“当

后”可以被解释为意思是“如果
…”
或“在

后”或“响应于确定
…”
或“响应于检测到
…”
。类似地,根据上下文,短语“在确定

时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0195]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。在不冲突的情况下,以上各实施例的方案都可以组合使用。

技术特征:


1.一种语音交互应答方法,所述方法应用于第一电子设备,其特征在于,所述方法包括:所述第一电子设备获取用户的第一语音指令;所述第一电子设备根据所述第一语音指令,确定所述第一电子设备与用户的位置关系;所述第一电子设备根据所述第一电子设备与用户的位置关系以及所述第一电子设备与第二电子设备的位置关系,确定是否对所述第一语音指令进行应答;在确定对所述第一语音指令进行应答的情况下,所述第一电子设备响应于所述第一语音指令,执行应答指令。2.根据权利要求1所述的方法,其特征在于,所述第一电子设备与所述第二电子设备的位置关系包括所述第一电子设备与所述第二电子设备之间的距离信息以及方位信息,所述第一电子设备与用户的位置关系包括所述第一电子设备与用户之间的距离信息以及方位信息。3.根据权利要求2所述的方法,其特征在于,在所述第一电子设备确定是否对所述第一语音指令进行应答之前,所述方法还包括:所述第一电子设备根据所述第一电子设备与所述第二电子设备之间的距离信息以及方位信息,将所述第一电子设备和所述第二电子设备所在的区域划分为多个子区域,所述多个子区域中包括第一子区域,所述第一子区域为靠近所述第一电子设备的子区域。4.根据权利要求3所述的方法,其特征在于,所述第一电子设备根据所述第一电子设备与用户的位置关系以及所述第一电子设备与第二电子设备的位置关系,确定是否对所述第一语音指令进行应答,包括:所述第一电子设备根据所述第一电子设备与用户之间的距离信息以及方位信息,确定用户是否位于所述第一子区域,从而确定是否对所述第一语音指令进行应答;所述在确定对所述第一语音指令进行应答的情况下,所述第一电子设备响应于所述第一语音指令,执行应答指令,包括:在确定用户位于所述第一子区域的情况下,所述第一电子设备确定对所述第一语音指令进行应答,所述第一电子设备响应于所述第一语音指令,执行所述应答指令。5.根据权利要求3或4所述的方法,其特征在于,在所述第一电子设备确定是否对所述第一语音指令进行应答之后,所述方法还包括:在确定用户不位于所述第一子区域的情况下,所述第一电子设备确定不对所述第一语音指令进行应答,所述第一电子设备不响应所述第一语音指令、不执行所述应答指令。6.根据权利要求1所述的方法,其特征在于,所述第一电子设备与所述第二电子设备的位置关系包括所述第一电子设备与所述第二电子设备之间的距离信息,所述第一电子设备与用户的位置关系包括所述第一电子设备与用户之间的距离信息;其中,所述第一电子设备根据所述第一电子设备与用户的位置关系以及所述第一电子设备与第二电子设备的位置关系,确定是否对所述第一语音指令进行应答,包括:所述第一电子设备根据和所述第二电子设备之间的距离信息确定预设距离;所述第一电子设备根据所述第一电子设备与用户之间的距离信息以及所述预设距离,确定是否对所述第一语音指令进行应答;
所述在确定对所述第一语音指令进行应答的情况下,所述第一电子设备响应于所述第一语音指令,执行应答指令,包括:在确定所述第一电子设备与用户之间的距离小于所述预设距离的情况下,所述第一电子设备确定对所述第一语音指令进行应答,所述第一电子设备响应于所述第一语音指令,执行所述应答指令。7.根据权利要求6所述的方法,其特征在于,所述预设距离为所述第一电子设备和所述第二电子设备之间的距离的二分之一。8.根据权利要求1所述的方法,其特征在于,所述第一电子设备与所述第二电子设备的位置关系包括所述第二电子设备位于所述第一电子设备的第一侧,所述第一电子设备与用户的位置关系包括所述第一电子设备与用户之间的方位信息;其中,所述第一电子设备根据所述第一电子设备与用户的位置关系以及所述第一电子设备与第二电子设备的位置关系,确定是否对所述第一语音指令进行应答,包括:所述第一电子设备根据所述第一电子设备与用户之间的方位信息,确定用户是否位于第二侧,从而确定是否对所述第一语音指令进行应答,其中,所述第二侧和所述第一侧具有相对位置关系;所述在确定对所述第一语音指令进行应答的情况下,所述第一电子设备响应于所述第一语音指令,执行应答指令,包括:在确定用户位于所述第一电子设备的所述第二侧的情况下,所述第一电子设备确定对所述第一语音指令进行应答,所述第一电子设备响应于所述第一语音指令,执行所述应答指令。9.根据权利要求8所示的方法,其特征在于,所述第一电子设备与所述第二电子设备的位置关系还包括所述第一电子设备与所述第二电子设备之间的距离信息,所述第一电子设备与用户的位置关系还包括所述第一电子设备与用户之间的距离信息;所述方法还包括:在确定用户位于所述第一电子设备的所述第一侧的情况下,所述第一电子设备进一步根据所述第一电子设备与用户之间的所述距离信息,确定所述第一电子设备与用户之间的距离是否小于临界距离,其中,所述临界距离是所述第一电子设备根据所述第一电子设备与所述第二电子设备之间的所述位置关系确定的;在确定所述第一电子设备与用户之间的距离小于所述临界距离的情况下,所述第一电子设备确定对所述第一语音指令进行应答,所述第一电子设备响应于所述第一语音指令,执行所述应答指令。10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:在所述第一电子设备确定对所述第一语音指令进行应答的情况下,所述第二电子设备不响应所述第一语音指令、不执行所述应答指令。11.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:所述第一电子设备,不根据所述第二电子设备或其他电子设备发送的数据或指令,确定是否对所述第一语音指令进行应答。12.根据权利要求1至11中任一项所述的方法,其特征在于,所述方法还包括:所述第一语音指令包含用于唤醒所述第一电子设备和所述第二电子设备的唤醒词。
13.根据权利要求1至12中任一项所述的方法,其特征在于,所述方法还包括:所述第一电子设备包括麦克风阵列,所述麦克风阵列包括多个麦克风;所述第一电子设备根据所述第一语音指令,确定所述第一电子设备与用户的位置关系,包括:所述第一电子设备利用声源定位技术,根据所述多个麦克风接收到的所述第一语音指令的相位信息和时间差信息,确定所述第一电子设备与用户的位置关系。14.根据权利要求1至12中任一项所述的方法,其特征在于,所述方法还包括:所述第一电子包括超宽带天线阵列;所述第一电子设备根据所述第一语音指令,确定所述第一电子设备与用户的位置关系,包括:所述第一电子设备接收到第一语音指令后,通过超宽带定位技术,确定所述第一电子设备与用户的位置关系。15.根据权利要求1至14中任一项所述的方法,其特征在于,所述方法还包括:所述第一电子设备获取所述第二电子设备的定位信号;所述第一电子设备根据所述定位信号确定所述第一电子设备与所述第二电子设备的位置关系。16.一种电子设备,其特征在于,包括一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行权利要求1至15中任一项所述的方法。17.一种计算机程序,当在计算机上运行时,使得所述计算机执行上述权利要求1至15中任一项所述的方法。18.计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1至15中任一项所述的方法。

技术总结


本申请提供了一种语音交互应答方法和电子设备,该方法应用于电子设备,该电子设备获取用户的语音指令,可以根据语音指令确定用户的位置,并且该电子设备根据与其他电子设备的位置关系确定不同的响应区域,当用户位于该电子设备的响应区域时,该电子设备可以直接响应用户的语音指令,而其他电子设备不应答,提高了语音交互应答的效率。了语音交互应答的效率。了语音交互应答的效率。


技术研发人员:

蔡双林

受保护的技术使用者:

华为技术有限公司

技术研发日:

2021.05.31

技术公布日:

2022/12/15

本文发布于:2022-12-18 02:31:42,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/2/35530.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:电子设备   所述   用户   指令
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图