基于相机的视场的与远程物联网（IOT）设备的连接的制作方法

阅读：评论：0

基于相机的视场的与远程物联网(iot)设备的连接
本技术是2020年03月13日提交的、申请号为201880059511.7、发明名称为“基于相机的视场的与远程物联网(iot)设备的连接”的申请的分案申请。相关申请的交叉引用
1.本技术要求享受于2017年9月15日递交的美国申请no.15/706,322的优先权，该美国申请的全部内容通过引用的方式明确地并入本文。
技术领域
2.概括而言，本公开内容涉及通信系统领域，并且更具体地，本公开内容涉及与通信网络中的远程物联网(iot)设备建立通信链路。

背景技术：

3.物联网(iot)可以指代通常执行一些其它非通信功能的设备的网络实现。iot设备嵌入有电子器件、软件、传感器、致动器和网络连接组件，以使得iot设备能够收集和交换数据，并且还能够跨现有的网络基础设施而被远程地感测或控制。例如，用户可以使用设备(诸如移动电话)来运行各种类型的应用，这些应用直接地或通过网络基础设施来访问和控制iot设备以收集数据或执行功能。
4.用户可以使用在各种类型的设备(诸如移动电话、专用相机、平板计算机、无人机或智能眼镜)中可用的相机应用和相关的相机组件来记录音频和视频(a/v)。当用户使用具有相机的设备来记录位于相机的视场(fov)中的对象的音频和视频(a/v)时，使用该设备的相机组件来捕获视频，并且使用正在记录视频的同一设备的麦克风来记录音频。然而，当正在被记录的对象不是紧密靠近相机的(诸如位于大于五米远的距离处)并且位于嘈杂的环境中时，所记录的音频可能具有大量的环境噪声。在一些情况下，环境噪声可能大大干扰来自正在被记录的对象的目标音频。例如，在嘈杂的礼堂中所记录的演示者的音频可能具有大量的环境噪声，这是因为麦克风位于距演示者的一定距离处并且该环境是嘈杂的。在另一示例中，当记录在婚礼或宴会上敬酒的人的a/v时，环境中的噪声可能完全淹没来自敬酒的人的目标音频。

技术实现要素：

5.本公开内容的系统、方法和设备均具有若干创新的方面，其中没有单独一个方面独自负责本文公开的期望属性。
6.在本公开内容中描述的主题的一个创新的方面可以由用于记录音频和视频(a/v)的用于网络通信的计算设备来实现。计算设备可以确定被显示在计算设备的相机的视场(fov)内并且能够进行远程音频记录和音频流式传输的多个物联网(iot)设备。计算设备可以从多个iot设备中选择第一iot设备。第一iot设备可以具有能够为计算设备远程地记录对象的音频的第一麦克风。计算设备可以在选择第一iot设备之后，从第一iot设备接收音频流。音频流可以包括由第一iot设备为计算设备远程地记录的对象的音频。
7.在一些实现中，计算设备可以在计算设备的相机的fov内确定从多个iot设备中的每个iot设备到fov的焦点的距离测量。计算设备可以至少部分地基于距离测量来从多个iot设备中选择第一iot设备。
8.在一些实现中，计算设备可以基于距离测量来确定多个iot设备当中的第一iot设备位于最接近fov的焦点的位置。计算设备可以至少部分地基于确定第一iot设备位于最接近fov的焦点的位置，来从多个iot设备中选择第一iot设备。
9.在一些实现中，计算设备可以确定与多个iot设备中的每个iot设备的每个麦克风相关联的麦克风类型和性能特性。计算设备可以比较与多个iot设备中的每个iot设备的每个麦克风相关联的麦克风类型和性能特性。计算设备可以至少部分地基于与第一iot设备的第一麦克风相关联的麦克风类型和性能特性，来从多个iot设备中选择第一iot设备。
10.在一些实现中，计算设备可以确定多个iot设备中的第一iot设备和第二iot设备被显示在计算设备的相机的fov的聚焦区域内。计算设备可以从第一iot设备接收第一音频流，并且从第二iot设备接收第二音频流。计算设备可以将第一音频流的音频质量特性与第二音频流的音频质量特性进行比较。计算设备可以至少部分地基于从第一iot设备接收的第一音频流的音频质量特性来选择第一iot设备。
11.在一些实现中，计算设备可以接收选择具有第一麦克风的第一iot设备的用户输入。计算设备可以至少部分地基于用户输入来从多个iot设备中选择第一iot设备。
12.在一些实现中，计算设备可以使用计算设备的相机来记录对象的视频，以及使用由计算设备的相机所记录的对象的视频以及由第一iot设备的第一麦克风远程地记录的对象的音频，来生成对象的a/v记录。
13.在一些实现中，计算设备可以检测计算设备的相机的fov的改变。计算设备可以在检测到相机的fov的改变之后，确定从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流。第二iot设备可以具有能够远程地记录对象的音频的第二麦克风。
14.在一些实现中，计算设备可以在检测到相机的fov的改变之后，确定第二iot设备位于与第一iot设备相比更接近fov的焦点的位置。计算设备可以响应于在检测到相机的fov的改变之后确定第二iot设备位于与第一iot设备相比更接近fov的焦点的位置，来确定要将从第一iot设备接收音频流切换为从第二iot设备接收音频流。
15.在本公开内容中描述的主题的另一创新的方面可以在计算设备中实现，计算设备包括：处理器；以及具有被存储在其中的指令的存储器，指令在被处理器执行时使得计算设备进行以下操作：确定被显示在计算设备的相机的fov内并且能够进行远程音频记录和音频流式传输的多个iot设备；从多个iot设备中选择第一iot设备，其中，第一iot设备可以具有能够为计算设备远程地记录对象的音频的第一麦克风；以及在选择第一iot设备之后，从第一iot设备接收音频流，其中，音频流可以包括由第一iot设备为计算设备远程地记录的对象的音频。
16.在本公开内容中描述的主题的另一创新的方面可以在计算机可读存储介质中实现，计算机可读存储介质具有被存储在其中的指令，指令在被计算设备的处理器执行时使得计算设备进行以下操作：确定被显示在计算设备的相机的fov内并且能够进行远程音频记录和音频流式传输的多个iot设备；从多个iot设备中选择第一iot设备，其中，第一iot设备可以具有能够为计算设备远程地记录对象的音频的第一麦克风；以及在选择第一iot设
备之后，从第一iot设备接收音频流，其中，音频流可以包括由第一iot设备为计算设备远程地记录的对象的音频。
17.在本公开内容中描述的主题的另一创新的方面可以由用于网络通信的计算设备来实现。计算设备可以检测位于第一计算设备的相机的fov内的第二计算设备。响应于在第一计算设备的相机的fov内检测到第二计算设备，计算设备可以将请求消息从第一计算设备提供给第二计算设备。请求消息可以请求批准在第一计算设备与第二计算设备之间建立通信链路。计算设备可以从第二计算设备接收响应消息。响应消息可以准许批准在第一计算设备与第二计算设备之间建立通信链路。计算设备可以在第一计算设备与第二计算设备之间建立通信链路，以使第一计算设备与第二计算设备进行通信。
18.在附图和以下描述中阐述了在本公开内容中描述的主题的一种或多种实现的细节。根据说明书、附图和权利要求书，其它特征、方面和优点将变得显而易见。注意的是，以下附图的相对尺寸可能不是按比例绘制的。
附图说明
19.图1示出了计算设备显示物联网(iot)环境并且选择iot设备中的一者以用于远程地记录和流式传输用于对象的音频和视频(a/v)记录的音频的示例图。
20.图2示出了示例计算设备和示例iot设备的框图。
21.图3示出了计算设备显示iot环境并且在计算设备的相机的视场(fov)被改变之后从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流的另一示例图。
22.图4示出了计算设备选择iot设备中的一者以用于在对象的a/v记录期间远程地记录和流式传输音频的示例消息流程图。
23.图5示出了在计算设备的相机的fov被改变之后计算设备从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流的示例消息流程图。
24.图6示出了用于确定和选择用于在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图。
25.图7示出了用于识别和选择能够在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图。
26.图8是图7的用于识别和选择能够在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图的延续。
27.图9示出了用于在第一用户的第一计算设备的相机的fov内检测到第二用户的第二计算设备之后在第一计算设备与第二计算设备之间建立通信链路的示例流程图。
28.图10示出了用于实现本公开内容的各方面的示例电子设备的框图。
29.在各个附图中，相同的附图标记和命名指示相同的元素。
具体实施方式
30.出于描述本公开内容的创新方面的目的，以下描述涉及某些实现。然而，本领域技术人员将容易认识到的是，本文的教导可以用多种不同的方式来应用。所描述的实现可以在能够根据以下各项来发送和接收射频(rf)信号的任何设备、系统或网络中实现：电气与电子工程师协会(ieee)16.11标准中的任何标准、或者ieee 802.11标准中的任何标准、
标准、码分多址(cdma)、频分多址(fdma)、时分多址(tdma)、全球移动通信系统(gsm)、gsm/通用分组无线电服务(gprs)、增强型数据gsm环境(edge)、陆地集无线电(tetra)、宽带-cdma(w-cdma)、演进数据优化(ev-do)、1xev-do、ev-do rev a、ev-do rev b、高速分组接入(hspa)、高速下行链路分组接入(hsdpa)、高速上行链路分组接入(hsupa)、演进型高速分组接入(hspa+)、长期演进(lte)、amps、或者用于在无线、蜂窝或物联网(iot)网络(例如，利用3g、4g或5g、或其另外的实现方式的技术的系统)内进行通信的其它已知信号。
31.随着iot技术的涌现，在家庭、企业、活动场所中以及在其它位置上的许多设备可以包括诸如通过局域网(lan)和互联网被联网在一起并且连接到现有的网络基础设施的iot设备(或很快将要利用iot设备进行升级)。许多iot设备都具有可以支持语音命令以及记录音频的麦克风。通常具有麦克风的示例iot设备包括智能电器、智能照明组件(诸如智能开关、照明灯具和灯泡)、智能恒温器、智能安全系统组件(诸如智能控制面板、相机和传感器)、智能媒体设备(诸如智能电视、家庭助理、投影仪和扬声器)、智能门锁、专用传感器等。基于计算机的设备(在本文中也被称为“计算设备”)可以用于与iot设备进行通信，以远程地访问iot设备，与iot设备交换命令和信息，以及控制iot设备改进、简化以及自动进行日常任务。
32.计算设备(诸如专用相机、移动电话、平板计算机、无人机、智能或增强现实(ar)眼镜等)的相机可以用于记录在相机的视场(fov)中的对象的音频和视频(a/v)。在一些情况下，正在被记录的对象可能不是紧密靠近计算设备的相机的(诸如位于大于几米(例如，三米、四米、五米或更多米)的距离处)，并且该对象位于嘈杂的环境中。例如，正在被记录的对象可能是在嘈杂的礼堂中的演示者、或者在婚礼或宴会上敬酒的人。在一些实现中，计算设备可以从位于紧密靠近正在被记录的对象的位置的一个或多个远程iot设备的一个或多个麦克风获得用于a/v记录的音频。例如，远程iot设备的麦克风可以记录用户的音频并且将该音频流式传输到计算设备。计算设备可以使用计算设备的相机来捕获用于a/v记录的视频。因此，计算设备可以在本地使用计算设备的相机组件来记录视频，并且从本地网络的一个或多个iot设备的一个或多个麦克风远程地获得音频以生成a/v记录。
33.当访问计算设备的相机应用以记录对象的a/v时，计算设备可以在相机的fov中显示视觉指示符(诸如图标或标记)，该视觉指示符用于示出具有麦克风并且能够远程地记录和流式传输音频的iot设备的位置。例如，计算设备可以从本地网络的主设备获得本地网络的iot设备的地图。计算设备可以使用该地图来确定iot设备的位置，以便在相机的fov中显示视觉指示符。
34.在一些实现中，计算设备可以选择能够远程地记录和流式传输用于a/v记录的音频的具有麦克风的单个iot设备。例如，计算设备可以选择最接近正在被记录的对象的iot设备。在另一示例中，计算设备可以选择具有优选的麦克风类型和性能特性(或规格)的iot设备。在另一示例中，计算设备可以选择正在将最佳质量的音频流式传输到计算设备的iot设备。在一些实现中，计算设备可以选择两个或更多个iot设备来远程地记录和流式传输音频。还可以基于以下各项中的至少一项来选择两个或更多个iot设备：与正在被记录的对象的接近度、麦克风类型和麦克风的性能特性、以及在计算设备处接收的经流式传输的音频的质量。在一些实现中，可以基于两个或更多个iot设备与彼此的接近度以及与正在被记录
的对象的接近度来选择该两个或更多个iot设备。在一些实现中，相机的用户还可以覆盖计算设备对一个或多个iot设备的自动选择，而替代地使用计算设备的显示器来选择一个或多个iot设备。此外，在与一个或多个iot设备的通信链路丢失或者其它问题影响对音频的远程记录和流式传输的情况下，计算设备可以将计算设备的本地麦克风指定为备用麦克风。
35.在选择一个或多个iot设备之后，计算设备可以在a/v记录期间开始从一个或多个iot设备接收音频流。在一些实现中，当在a/v记录期间相机的fov改变(诸如通过用户移动相机或者用户进行放大或缩小)时，计算设备可以动态地从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流。
36.在一些实现中，第一用户的第一计算设备可以检测被显示在第一计算设备的相机的fov内的、第二用户的第二计算设备。例如，佩戴一副智能眼镜的第一用户朝着同样佩戴一副智能眼镜的第二用户的方向看。第一用户的智能眼镜可以在第一用户的智能眼镜的相机的fov中检测到第二用户的智能眼镜。第一计算设备可以向第二计算设备提供请求消息，以请求批准在第一计算设备与第二计算设备之间建立通信链路，以使第一用户从远处与第二用户进行通信。
37.在本公开内容中描述的主题的特定实现可以被实现为：实现以下潜在优势中的一个或多个优势。计算设备可以生成具有减少的环境噪声的、具有良好质量的音频的a/v记录，即使在嘈杂的环境中从远处记录a/v时也是如此。在从远处对对象的a/v记录期间，从一个或多个远程iot设备对音频进行远程记录和流式传输利用被联网的iot环境来极大地提高a/v记录的音频质量。计算设备可以使用被联网的iot环境和计算设备的相机的fov来动态地选择iot设备以及在iot设备之间切换，以提高音频质量。计算设备可以使用被联网的iot环境中的两个或更多个iot设备，以通过使用噪声消除来提高音频质量。此外，对一个或多个iot设备的选择以及对音频的远程记录和流式传输是自动且无缝的，这保持了用户的易用性。此外，第一计算设备可以基于第一计算设备的相机的fov来动态且无缝地连接到第二计算设备，以允许第一用户从远处与第二用户进行通信。
38.图1示出了计算设备显示iot环境并且选择iot设备中的一者以用于远程地记录和流式传输用于对象的a/v记录的音频的示例图。iot环境可以是在家庭、办公室、商业建筑物、政府建筑物、公园、活动场所等中的具有作为网络基础设施的一部分的iot设备的任何室内或室外空间。可能具有iot设备的室内或室外空间的示例包括礼堂、起居室、后院、会议室、舞台、大厅、教室、庭院、圆形剧场等。在图1中所示的iot环境100是礼堂，其包括iot设备120a、120b、120c、120d和120e(其可以被统称为iot设备120)。在图1中所示的示例中，iot设备120a是智能照明灯具或智能灯泡，iot设备120b是智能灯开关，iot设备120c是智能媒体设备(诸如智能投影仪)，iot设备120d是家庭/办公室助理或本地无线网络的主设备(诸如无线lan接入点(ap))，而iot设备120e是智能电源插头。注意的是，为了简单起见，iot环境可能包括未在图1中示出的额外iot设备。
39.计算设备150可以用于从远处记录iot环境100中的对象110的a/v。在图1中所示的示例中，计算设备150是移动电话，并且正在被记录的对象110是礼堂中的演示者。计算设备150可以是具有相机的各种类型的设备，诸如移动电话、专用相机、平板计算机、无人机、智能眼镜等。智能眼镜可以包括增强现实(ar)眼镜、虚拟现实(vr)眼镜或实现ar和vr两者的
各方面的混合现实(mr)眼镜。为了记录对象110的a/v，计算设备150的用户可以使用计算设备150的触摸屏幕(或物理按钮)或者使用语音命令来打开相机应用。然后，用户可以将计算设备150的相机指向对象110的方向，以便在计算设备150的相机的fov 155中显示对象110和iot环境100，如图1所示。例如，用户可以将对象110放在fov 155的聚焦区域140的中心附近。在一个示例中，当使用移动电话时，可以在移动电话的主显示器中将相机的fov 155显示给用户，并且用户可以移动该移动电话以将对象100放置在聚焦区域140的中心附近。在另一示例中，当使用智能眼镜时，可以在可以位于智能眼镜的一个或多个镜头中的一个或多个显示器中将相机的fov 155显示给用户，并且用户可以朝着对象100的方向看，以将对象100放在聚焦区域140的中心附近。聚焦区域140的中心也可以被称为fov 155的焦点145。一些相机将fov 155的聚焦区域140显示为具有虚线的矩形或正方形，并且利用十字或一点将焦点145显示在聚焦区域140的中心。一些相机显示聚焦区域140或焦点145，但不是将两者都显示。用户通常将正在被记录的对象110放在聚焦区域140内，这是因为相机的自动对焦和其它图像处理特征优化了对焦并且提高了视频或图像的正在聚焦区域140内被捕获的部分的总体质量。
40.在一些实现中，计算设备150可以确定iot设备120的大体位置，并且确定iot设备120中的每一者是否支持对音频的远程记录和流式传输。如图1所示，计算设备150的相机在该相机的fov 155内显示(或叠加)视觉指示符130a、130b、130c和130d(其可以被统称为视觉指示符130)。视觉指示符130示出了在iot环境100中具有麦克风并且支持对音频的远程记录和流式传输的iot设备120的大体位置。例如，将iot设备120a与视觉指示符130a一起显示，将iot设备120b与视觉指示符130b一起显示，将iot设备120c与视觉指示符130c一起显示，以及将iot设备120d与视觉指示符130d一起显示。没有将iot设备120e与视觉指示符一起显示在fov 155中，这是因为计算设备150确定iot设备120e不具有麦克风，或者其具有的麦克风不支持对音频的远程录制和流式传输。
41.在一些实现中，计算设备150可以与本地网络的主设备(诸如iot设备120d)进行通信以获得iot环境100中的iot设备120的地图。例如，主设备可以是wlan接入点、本地网络服务器、智能助理设备等。主设备可以将iot设备120的地图存储在本地，或者存储在经由本地网络或互联网访问的远程数据库中。在一个示例中，计算设备150可以从主设备获得示出iot设备120在iot环境100内的位置的室内定位系统(ips)地图。ips地图可以是由网络管理员使用本领域已知的各种室内定位技术来预先确定的。可以将ips地图本地存储在主设备处，或者远程地存储在数据库中。计算设备150可以将iot设备120的地图与相机的fov 155进行合并(或叠加)，以确定iot设备120的位置。
42.在一些实现中，从主设备获得的iot设备120的地图示出了iot环境100中的所有可用iot设备120(包括不具有麦克风的iot设备)的位置。因此，在一个示例中，计算设备150与主设备进行通信以请求关于iot设备120的信息，诸如以请求以下各项中的至少一项：iot设备的类型、每个iot设备的操作能力、以及每个iot设备的规格。在另一示例中，计算设备150可以与这些iot设备120中的每一者建立通信链路，并且直接从每个iot设备请求上文提及的信息。基于从主设备接收的或直接从iot设备120接收的信息，计算设备150可以识别出这些iot设备120中的哪些iot设备具有麦克风并且支持对音频的远程记录和流式传输。然后，计算设备150可以在相机的fov 155内显示(或叠加)视觉指示符130，以示出具有麦克风并
且支持对音频的远程记录和流式传输的iot设备120在iot环境100内的大体位置，如图1所示。
43.在一些实现中，计算设备150可以选择iot设备120中的具有麦克风并且能够远程地记录和流式传输用于对象110的a/v记录的音频的一个iot设备。例如，计算设备150选择与视觉指示符130一起被显示的iot设备120中的一个iot设备。视觉指示符130指示iot设备具有麦克风并且支持远程地记录和流式传输音频。如果在fov 155内显示的iot设备120中的仅一者是与视觉指示符130一起显示的，则计算设备150动态地选择该iot设备以用于对象110的a/v记录。当两个或更多个iot设备120是与视觉指示符130一起显示的时(如图1所示)，计算设备150可以选择这些iot设备中的一个iot设备。在一个示例中，计算设备150可以选择最接近fov155的焦点145的iot设备，这是因为当记录对象110的视频时，用户通常将对象110放置为接近fov 155的焦点145。例如，图1中的iot设备120a和iot设备120b被示为在聚焦区域140内，并且它们是最接近fov 155的焦点145(并且也最接近正在被记录的对象110)的iot设备120。在该示例中，计算设备150可以选择iot设备120a，因为其比iot设备120b更接近焦点145。在另一示例中，计算设备150可以比较iot设备120的麦克风类型和性能特性(或规格)，或者可以比较从iot设备120接收的音频的质量。计算设备150可以选择具有优选的麦克风类型和性能特性(或规格)的iot设备120中的一个，或者可以选择流式传输了最佳质量的音频的iot设备120，如将参照图4进一步描述的。
44.计算设备150的用户还可以使用计算设备150的触摸屏幕或通过语音命令来手动地选择iot设备120中的一个iot设备(诸如iot设备120a)以用于对象110的a/v记录。计算设备150还可以检测其它类型的命令，诸如基于用户的眼睛运动和眨眼的命令或者其它类型的生物计量命令。用户还可以覆盖计算设备150对iot设备120中的一个iot设备的自动选择，并且使用计算设备150的触摸屏幕(或语音命令)来手动地选择不同的iot设备(诸如iot设备120b)。当计算设备150(或用户)选择iot设备120中的一个iot设备以用于a/v记录时，如果与所选择的iot设备的通信链路丢失或者存在其它网络问题，计算设备150将计算设备150的本地麦克风指定为备用麦克风。在选择iot设备120中的一个iot设备之后，计算设备150与所选择的iot设备进行通信，并且在a/v记录期间开始从所选择的iot设备接收音频流，如将在图2和图3中进一步描述的。
45.在一些实现中，在用户启动相机应用之后，计算设备150最初可以与和相机的fov 155一起显示的iot设备120中的每一者建立通信链路，或者仅与被显示在fov 155的聚焦区域140内的iot设备120建立通信链路。当通信链路被建立时，可以动态地打开与计算设备150建立通信链路的iot设备120的麦克风。没有与计算设备150建立通信链路的iot设备120的麦克风可以保持在关闭或低功率状态。另外，在计算设备150选择iot设备120中的用于远程音频记录和流式传输的一个或多个iot设备之后，没有被选择的iot设备120的麦克风可以被关闭或者可以切换为低功率状态。根据计算设备150是否正在使用麦克风来动态地打开和关闭它们，这可以减少功耗，并且还可以帮助延长电池供电的iot设备120的电池寿命。
46.图2示出了示例计算设备和示例iot设备的框图。计算设备150可以包括通信单元210、相机模块220、麦克风模块230、a/v处理单元240和用户接口250。iot设备120可以表示图1中的iot设备120中的任何一者，诸如iot设备120a。iot设备120可以包括通信单元260和麦克风模块270。通信单元210和260可以分别包括模拟前端(afe)、一个或多个天线、一个或
多个调制解调器(诸如蓝牙调制解调器和802.11调制解调器)以及其它相关的通信组件。相机模块220可以包括相机镜头、闪光灯以及其它相关的相机组件。麦克风模块230和270可以分别包括一个或多个麦克风以及其它相关的麦克风组件。a/v处理单元240可以包括一个或多个处理器核、高速缓存、存储器以及其它相关的组件。在一些实现中，a/v处理单元240可以是计算设备150的移动处理器或图形处理器的一部分。用户接口250可以包括显示器、触摸屏幕、扬声器、物理按钮以及其它相关的用户接口组件。相机模块220、麦克风模块230以及其它相关的传感器也可以是计算设备150的用户接口组件的一部分，以便检测语音命令、眼睛运动命令和其它类型的生物计量命令。注意的是，为了简单起见，计算设备150和iot设备120可以具有未在图2中示出的额外组件。
47.在计算设备150选择iot设备120中的一个iot设备(诸如iot设备120a)之后，计算设备150与所选择的iot设备120进行通信。例如，计算设备150可以使用通信单元210来向所选择的iot设备120发送具有命令的请求消息290(或其它类型的请求消息)，该命令用于请求所选择的iot设备120启动对音频的远程记录和流式传输。所选择的iot设备120可以可选地向计算设备150发送确认消息。然后，所选择的iot设备120可以开始使用麦克风模块270来记录音频，并且还使用通信单元260来向计算设备150发送音频流280。计算设备150可以使用通信单元210来接收音频流280，并且将音频提供给a/v处理单元240以用于进一步处理。计算设备150还可以将使用相机模块220所记录的视频提供给a/v处理单元240以用于进一步处理。当计算设备150的本地麦克风正在记录音频时，麦克风模块230将音频提供给a/v处理单元240。a/v处理单元240将所记录的音频和视频进行合并以生成a/v记录。a/v处理单元240可以存储a/v记录，并且还将a/v记录提供给用户接口250的组件(诸如显示器和扬声器)，以将a/v记录呈现给用户。
48.如图3中所描述的，在对象110的a/v记录期间，当相机的fov 155改变(诸如通过用户移动计算设备150或者用户进行放大或缩小)时，计算设备150可以从接收来自第一iot设备(诸如iot设备120a)的音频流切换为接收来自第二iot设备(诸如iot设备120b)的音频流。
49.图3示出了计算设备显示iot环境并且在计算设备的相机的fov被改变之后从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流的另一示例图。图3的图示出了与图1的图相同的iot环境100和相同的对象110(礼堂中的演示者)，除了在图3中，当对象110朝着演示屏幕向左移动时，计算设备150的相机的fov 155已经向左移位(从计算设备150的角度来看)。例如，当对象110朝着演示屏幕向左移动时，用户将计算设备150向左移动，以便使对象110保持在fov 155的聚焦区域140的焦点145附近。当fov 155被向左移位时，iot设备120e(图1中所示的智能电源插头)现在位于在图3中所示的fov 155之外，而iot设备320f和320g现在被显示在图3中所示的fov 155内。iot设备320f可以是另一智能灯开关，而iot设备320g可以是另一智能电源插头。
50.当用户在任何方向(诸如左、右、上、下、前向、后向或这些方向的某种组合)上移动计算设备150时，计算设备150的相机的fov 155被改变。当用户通过使用在大多数相机中可用的缩放特征进行放大或缩小时，相机的fov 155也可能被改变。相机可以具有可能改变fov 155、聚焦区域140和焦点145中的至少一项的各种其它特征。例如，在一些相机中，用户可以将聚焦区域140和焦点145移动到fov 155内的不同区域。
51.在图1中，计算设备150最初可以选择iot设备120a来远程地记录和流式传输用于对象110的a/v记录的音频。在一些实现中，当相机的fov 155改变时，计算设备150可以从接收来自第一iot设备(诸如iot设备120a)的音频流切换为接收来自第二iot设备的音频流。例如，当相机的fov 155改变时，计算设备150可以确定iot设备120中的哪一者最接近焦点145(其可以对应于对象110的位置)，并且然后，如果第二iot设备比第一iot设备更接近焦点145，则切换为从第二iot设备接收音频流。在图1中所示的示例中，当对象110向左移动并且用户通过将计算设备150向左移动来将相机的fov 155移位时，fov 155的焦点145移位到更接近iot设备120b(与iot设备120a相比)。因此，当计算设备150检测到fov 155的改变时，计算设备150可以确定在iot设备120中的每一者与焦点145之间的距离。在该示例中，计算设备150确定iot设备120b现在比iot设备120a更接近焦点145。然后，计算设备150自动地且无缝地切换为从iot设备120b接收音频流，如将参照图5进一步描述的。此外，当从iot设备120中的一者接收音频流时并且当从一个iot设备切换为另一iot设备时，如果通信链路存在技术问题，或者如果从一个iot设备切换为另一iot设备存在问题，则计算设备150可以将计算设备150的本地麦克风指定为备用麦克风。
52.图4示出了计算设备选择iot设备中的一者以用于在对象的a/v记录期间远程地记录和流式传输音频的示例消息流程图。消息流程图400包括在计算设备150、主设备475、第一iot设备420a和第二iot设备420b之间的消息。注意的是，主设备475、第一iot设备420a和第二iot设备420b可以分别对应于图1中的iot设备120d、iot设备120a和iot设备120b。然而，主设备475、第一iot设备420a和第二iot设备420b也可以是iot环境100中的不同设备，或者可以是在未示出的不同iot环境中的设备。
53.在405处，计算设备150响应于从用户接收到输入而启动相机应用。相机的fov 155显示iot环境和将被记录的对象。在410处，计算设备150向本地网络的主设备475发送用于请求iot环境中的iot设备的地图的请求消息。请求消息还可以请求关于iot设备的额外信息，诸如以下各项中的至少一项：iot设备的类型、每个iot设备的操作能力以及每个iot设备的规格。主设备475可以将iot设备的地图(以及有关iot设备的其它信息)存储在本地或者存储在经由本地网络或互联网访问的远程数据库中。在415处，主设备475向计算设备150发送包括iot设备的地图的响应消息。该地图示出了iot设备在iot环境内的位置，其包括第一iot设备420a和第二iot设备420b的位置。响应消息还可以包括计算设备150所请求的关于iot设备的额外信息。如果主设备475不具有关于iot设备的额外信息，则主设备475仅向计算设备150发送iot设备的地图。如果主设备475不具有iot设备的地图，则请求消息可以指示主设备不具有iot设备的地图。
54.在420处，计算设备150将iot设备的地图与相机的fov 155进行合并以确定iot设备的位置。当计算设备150从主设备475接收到所请求的关于iot设备的信息(诸如iot设备的类型、每个iot设备的操作能力或每个iot设备的规格)时，计算设备150可以确定第一iot设备420a和第二iot设备420b具有麦克风并且支持远程地记录和流式传输音频。当计算设备150将iot设备的地图与相机的fov 155进行合并时，计算设备150将视觉指示(诸如图标)添加到fov 155，该视觉指示用于示出第一iot设备420a和第二iot设备420b在iot环境内的位置并且指示第一iot设备420a和第二iot设备420b支持对音频的远程记录和流式传输。如果主设备475没有提供所请求的关于iot设备的信息，则在425处，计算设备150可选地向第
一iot设备420a和第二iot设备420b两者发送请求该信息的请求消息。第一iot设备420a和第二iot设备420b接收请求消息并且发送回包括所请求的信息的响应消息。每个iot设备的操作能力和规格还可以包括每个设备的麦克风的特性和规格。直接发送给每个iot设备的请求消息是可选的，因为在一些情况下，主设备475可能已经提供了所请求的信息。
55.在430处，计算设备150选择第一iot设备420a或第二iot设备420b来远程地记录和流式传输用于对象的a/v记录的音频。在一些实现中，计算设备150可以选择最接近相机的fov 155的焦点145(其通常对应于正在被记录的对象的位置)的iot设备。在图4的示例中，计算设备150确定在第一iot设备420a与fov 155的焦点145之间的距离，并且还确定在第二iot设备420b与fov 155的焦点145之间的距离。在一些实现中，计算设备150可以使用网格来执行一些测量，并且将fov 155的焦点145指定为x、y轴上的原点。因此，焦点具有为(0,0)的x、y坐标。计算设备150可以确定第一iot设备420a具有为(4,9)的x、y坐标，并且第二iot设备420b具有为(-15,0)的x、y坐标。因此，在该示例中，第一iot设备420a比第二iot设备420b更接近焦点。如果计算设备150确定第一iot设备420a比第二iot设备402b更接近焦点，则计算设备150选择第一iot设备420a来远程地记录和流式传输用于a/v记录的音频。在一些实现中，计算设备150选择具有优选的麦克风类型和性能特性(或规格)的iot设备。例如，计算设备150可以使用表1来确定iot设备中的一者是否包含具有最佳性能特性的优选麦克风类型。出于说明目的，表1列出了三种不同的麦克风类型(铝带式(ribbon)、动圈式(dynamic)和电容式)，并且还列出了针对与麦克风相关联的输出、耐用性、音质和声距(throw)而确定的评级(以及被指派给每个评级的对应值)。表1
–
不同麦克风类型的比较麦克风类型输出耐用性音质声距铝带式最差(+1)最差(+1)最佳(+3)次佳(+2)动圈式次佳(+2)最佳(+3)最差(+1)最佳(+3)电容式最佳(+3)次佳(+2)次佳(+2)最差(+1)
56.基于被指派给每个评级的值以及与每种麦克风类型相关联的值的平均值，计算设备150可以确定动圈式麦克风类型是优选的麦克风类型。如果计算设备150确定第一iot设备420a具有动圈式麦克风类型并且第二iot设备420b具有铝带式麦克风类型，则计算设备150可以选择第一iot设备420a。如果第一iot设备420a和第二iot设备420b两者具有相同的麦克风类型(诸如动圈式麦克风类型)，则计算设备150可以比较麦克风的额外性能特性和规格以确定要选择哪个iot设备用于a/v录制。例如，计算设备150可以比较灵敏度、过载、失真、噪声和与麦克风相关联的其它参数，以确定要选择哪个iot设备。如果计算设备150确定麦克风具有相同的品质，则计算设备150可以选择最接近fov 155的焦点145的iot设备。
57.在一些实现中，计算设备150可以从第一iot设备420a和第二iot设备420b中的每一者接收音频流，并且计算设备150可以处理音频流以选择流式传输了最佳质量的音频的iot设备。例如，第一iot设备420a和第二iot设备420b可以分别响应于在425处从计算设备150接收到请求消息，来向计算设备150发送音频流。在另一示例中，当在410处计算设备150与主设备进行通信时，计算设备150可以与第一iot设备420a和第二iot设备420b中的每一者建立通信链路。在第一iot设备420a和第二iot设备420b与计算设备150之间建立通信链路之后，这些iot设备可以开始流式传输音频。在接收到音频流之后，计算设备150可以对每
个音频流进行采样并且处理来自每个音频流的采样以确定最佳质量的音频流。例如，计算设备可以比较各种音频质量特性(诸如音质、失真、噪声以及其它特性或参数)，以确定最佳质量的音频流。计算设备150可以基于从第一iot设备420a接收的音频流的音频质量特性来选择第一iot设备420a。
58.在435处，计算设备150将具有关于开始记录音频并且将音频流式传输到计算设备150的命令的消息发送给第一iot设备420a。在440处，第一iot设备420a处理从计算设备150接收的命令，并且在445处，可选地发送回确认消息。在450处，第一iot设备420a开始记录音频并且将其流式传输到计算设备150。在455处，计算设备150从第一iot设备420a接收音频流，并且将音频与所记录的视频进行进行合并以生成对象的a/v记录。
59.图5示出了在计算设备的相机的fov被改变之后计算设备从接收来自第一iot设备的音频流切换为接收来自第二iot设备的音频流的示例消息流程图。与图4类似，图5的消息流程图500包括在计算设备150、第一iot设备420a和第二iot设备420b之间的消息。
60.在505处，第一iot设备420a继续为计算设备150记录和流式传输音频，如图4中所描述的。在图5中，计算设备150从第一iot设备420a接收的音频流可以被称为音频流1。在510处，计算设备150继续处理音频流1，并且同时监测计算设备150的相机的fov 155。在515处，计算设备150确定计算设备150的相机的fov 155已经改变。例如，计算设备150可以确定用户移动了计算设备150，或者用户使用缩放相机特征来进行放大或缩小。当计算设备150检测到相机的fov已经改变时，计算设备150可以确定要将从第一iot设备420a接收音频流1改变为从第二iot设备420b接收音频流(诸如音频流2)。出于各种原因，诸如确定在相机的fov改变之后第二iot设备420b现在比第一iot设备420a更接近fov的焦点，计算设备150可以确定要切换为从不同的iot设备接收音频流。在520处，计算设备150将具有关于开始远程地记录音频并且将音频流式传输到计算设备150的命令的消息发送给第二iot设备420b。
61.在一些实现中，计算设备150可以协调向iot设备发送用于开始和停止对音频的记录和流式传输的命令，以便从接收来自第一iot设备420a的音频流1无缝地切换为接收来自第二iot设备420b的音频流2。例如，当计算设备150、第一iot设备420a和第二iot设备420b使用来自ieee802.11标准的协议(诸如802.11b/g/n/ac/ax)进行通信时，计算设备150可以向第二iot设备420b发送关于开始远程地记录和流式传输音频的命令，同时仍然从第一iot设备420a接收音频流1。换句话说，由于ieee 802.11标准和相应的设备支持在多个会话中接收多个流，因此计算设备150可以在一段时间内接收音频流1和音频流2两者以从第一iot设备420a无缝地切换为第二iot设备420b。在一些实现中，在计算设备150接收音频流1和音频流2两者的时间段期间，计算设备150可以可选地向第一iot设备420a发送消息，该消息用于请求第一iot设备420a开始逐渐地减小音频的幅度或音量直到第一iot设备420a停止流式传输音频为止。
62.在525处，计算设备150开始在一段时间内既从第一iot设备420a接收音频流1也从第二iot设备420b接收音频流2。在530处，计算设备150处理音频流1和音频流2两者，并且将具有很少或没有毛刺或音频损失的两个音频流无缝地混合。在计算设备150继续处理两个音频流的同时，在535处，计算设备150向第一iot设备420a发送具有用于停止记录和流式传输音频的命令的消息。在540处，第二iot设备420b继续发送音频流2，并且在545处，计算设备150开始仅接收和处理来自第二iot设备420b的音频流2。
63.由于蓝牙标准和相应的设备不支持在多个会话中接收多个流，因此当计算设备150、第一iot设备420a和第二iot设备420b使用蓝牙协议进行通信时，计算设备150无法同时接收音频流1和音频流2两者。替代地，在一些实现中，当计算设备150正在准备切换为第二iot设备420b时，计算设备150可以向第一iot设备420a发送具有用于逐渐地减小音频的幅度或音量的命令的消息。当计算设备150检测到来自第二iot设备420b的通信时，计算设备150向第一iot设备420a发送具有用于停止发送音频流1的命令的消息，并且开始从第二iot设备420b接收音频流2。
64.在一些实现中，计算设备150可以实现滞后定时器，滞后定时器可以防止计算设备150过于频繁地在iot设备之间切换。在一些实现中，滞后定时器可以被预先配置有滞后时间段，并且还可以是用户可配置的。预先配置的滞后时间段可以是任何合适的时间段(诸如50、75、100毫秒)，并且用户可以将配置改变为任何合适时间段。在一个示例中，当在515处计算设备150确定计算设备150的相机的fov 155已经改变时，计算设备150启动滞后定时器。如果在计算设备150未检测到相机的fov 155的额外改变的情况下滞后时间段到期，则计算设备150继续进行以确定是否在iot设备之间切换。然而，如果在滞后时间段到期之前检测到fov 155的额外改变，则计算设备150重新开始滞后时间段，并且不开始用于在iot设备之间切换的过程。
65.图6示出了用于确定和选择用于在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图。流程图600在框610处开始。
66.在框610处，计算设备150确定被显示在计算设备150的相机的fov155内并且能够远程地记录和流式传输用于记录对象的a/v的音频的iot设备。例如，计算设备150从本地网络的主设备获得iot设备的位置的地图。计算设备150可以根据从主设备获得的信息或者根据从iot设备中的每一者获得的信息，来确定iot设备分别具有麦克风并且能够进行远程音频记录和音频流式传输。计算设备150可以在相机的fov 155内显示针对能够进行远程音频记录和音频流式传输的iot设备中的每一者的视觉指示符。视觉指示符还指示iot设备中的每一者在相机的fov 155内的位置。
67.在框620处，计算设备150从被显示在fov 155中的iot设备中选择第一iot设备。第一iot设备包括能够远程地记录对象的音频以用于a/v记录的麦克风，并且支持将音频流式传输到计算设备150。例如，计算设备150可以在计算设备150的相机的fov 155内确定从iot设备中的每一者到fov 155的焦点145的距离测量。计算设备150可以至少部分地基于距离测量来从iot设备中选择第一iot设备。例如，计算设备150可以确定与其余的iot设备相比，第一iot设备位于最接近fov 155的焦点145的位置，并且因此可以选择第一iot设备来远程地记录和流式传输对象的音频。在另一示例中，计算设备150可以确定并且比较与iot设备的每个麦克风相关联的麦克风类型和性能特性。如图4所描述的，计算设备150可以在确定第一iot设备具有优选的麦克风类型和性能特性之后选择第一iot设备。在另一示例中，计算设备150可以基于麦克风类型和性能特性以及距离测量这两者来选择第一iot设备。此外，在另一示例中，计算设备150可以基于从用户接收的输入来选择第一iot设备。
68.在框630处，在计算设备150选择第一iot设备之后，计算设备150从第一iot设备接收音频流。所接收的音频流包括由第一iot设备远程地记录的对象的音频。计算设备150还使用计算设备150的相机来记录对象的视频。计算设备150使用由计算设备150的相机记录
的视频以及由第一iot设备远程地记录的音频来生成对象的a/v记录。
69.图7示出了用于识别和选择能够在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图。流程图700在框705处开始。
70.在框705处，计算设备150启动相机应用。例如，计算设备150响应于接收到用户输入来启动相机应用。
71.在框710处，计算设备150从本地网络的主设备获得在iot环境中的iot设备的位置的地图。
72.在框715处，计算设备150将地图与计算设备150的相机的fov 155重叠(或合并)。
73.在框720处，计算设备150可选地开始使用计算设备150的本地麦克风来记录用于a/v记录的音频。在一些实现中，如果用户在计算设备150有用于选择远程iot设备中的一者的时间之前开始a/v记录，则计算设备150的相机最初开始使用计算设备150的本地麦克风来记录音频。在计算设备150选择iot设备中的一者之后，计算设备150无缝地切换为使用由所选择的iot设备流式传输的音频用于a/v记录。在一些实现中，在用户开始a/v记录之前，计算设备150可以具有足够的时间来选择iot设备。因此，在一些情况下，计算设备150可以使用从所选择的iot设备流式传输的音频来开始a/v记录，而无需最初使用计算设备150的本地麦克风。
74.在框725处，计算设备150确定具有麦克风并且能够远程地记录和流式传输音频的iot设备的数量。计算设备150可以根据从主设备获得的信息或者根据从iot设备中的每一者获得的信息，来确定具有麦克风并且能够远程地记录和流式传输音频的iot设备的数量。在一些实现中，计算设备150在计算设备150的相机的fov 155内显示视觉指示，该视觉指示用于指示具有麦克风并且能够远程地记录和流式传输音频的iot设备的位置。
75.在框730处，如果计算设备150确定具有麦克风并且能够远程地记录和流式传输音频的iot设备的数量大于一，则流程在图8的框740处继续进行。否则，如果计算设备150确定仅存在一个具有麦克风并且能够远程地记录和流式传输音频的iot设备，则流程在框735处继续进行。
76.在框735处，计算设备150确定存在一个可用的iot设备，选择该可用的iot设备并与该可用的iot设备进行连接，并且开始从该iot设备接收用于a/v记录的音频流。如果计算设备150最初开始使用本地麦克风记录音频(在可选框720处)，则计算设备150从使用本地麦克风记录音频切换为使用iot设备的麦克风记录音频。
77.图8是图7的用于识别和选择能够在对象的a/v记录期间远程地记录和流式传输音频的iot设备的示例流程图的延续。流程图700在框740处继续进行。
78.在框740处，计算设备150选择具有麦克风并且能够远程地记录和流式传输音频的可用iot设备中的一者。计算设备150可以基于在iot设备与fov 155的焦点145之间的距离测量，基于与麦克风中的每一者相关联的麦克风类型和性能特性，基于从iot设备接收的音频流的质量，或者基于从用户接收的输入，来选择iot设备，如图4中所描述的。
79.在框745处，计算设备150开始从由计算设备150选择用于a/v记录的第一iot设备接收音频流。如果计算设备150最初开始使用本地麦克风记录音频(在可选框720处)，则计算设备150从使用本地麦克风记录音频切换为使用第一iot设备的麦克风记录音频。
80.在框750处，计算设备150确定计算设备150的相机的fov 155是否已经改变。如果
相机的fov 155尚没有改变，则流程返回到框745，并且计算设备150继续从所选择的iot设备接收音频流。如果相机的fov 155已经改变，则流程在框755处继续进行。
81.在框755处，计算设备150确定是否切换为从第二iot设备接收音频流。例如，如果计算设备150当前正在从第一iot设备接收音频流，则计算设备150确定是继续从第一iot设备接收音频流，还是切换为从第二iot设备接收音频流。如果在相机的fov 155的改变之后第二iot设备比第一iot设备更接近fov 155的焦点，则计算设备150可以确定要切换为从第二iot设备接收音频流。如果计算设备150确定不切换为从第二iot设备接收音频，则流程返回到框745，并且计算设备150继续从第一iot设备接收音频流。如果计算设备150确定要切换为从第二iot设备接收音频，则流程在框760处继续进行。
82.在框760处，计算设备150开始从第二iot设备接收用于a/v记录的音频流。计算设备150可以实现如下的技术：所述技术用于协调从第一iot设备到第二iot设备的改变，以无缝地从接收和处理来自第一iot设备的音频流切换为接收和处理来自第二iot设备的音频流以用于a/v记录。
83.在一些实现中，计算设备150可以选择两个或更多个远程iot设备来远程地记录和流式传输对象的音频以用于a/v记录。计算设备150可以使用所描述的用于选择iot设备中的一者的相同技术来选择两个或更多个iot设备。在一个示例中，在计算设备150的相机的fov 155内，计算设备150可以测量从iot设备中的每一者到fov 155的焦点145的距离，并且使用距离测量来选择iot设备中的两个或更多iot设备。例如，计算设备150可以基于距离测量来选择最接近焦点145的两个iot设备。在另一示例中，计算设备150可以基于与iot设备中的每一者的每个麦克风相关联的麦克风类型和性能特性来选择iot设备中的两个或更多iot设备。例如，计算设备150可以比较所有麦克风的麦克风类型和性能特性，并且可以选择具有优选的麦克风类型和性能特性的两个iot设备。在另一示例中，计算设备150可以从iot设备中的每一者接收音频流，并且计算设备150可以处理这些音频流以选择iot设备中的两个或更多iot设备。例如，计算设备可以选择流式传输最佳质量的音频的两个iot设备。在另一示例中，当选择两个或更多个iot设备时，计算设备150还可以考虑iot设备与彼此之间的接近度。例如，如果计算设备150确定在相机的fov 155的聚焦区域140内存在多个iot设备，则计算设备150可以选择彼此最接近的两个iot设备。计算设备150可以使用距离测量(类似于在图4中描述的)来确定彼此最接近的iot设备。因此，除了位于紧密靠近fov的焦点145的位置之外，所选择的iot设备还可以彼此紧密靠近。此外，计算设备150可以实现所描述的用于当相机的fov 155改变时在麦克风之间切换的相同技术。例如，当相机的fov 155改变时，计算设备150可以确定两个iot设备是否仍然是最接近fov 155的焦点145的两个iot设备。如果不是，则计算设备150可以利用更接近fov 155的焦点145的对应数量的iot设备来切换这些iot设备中的一者或两者。
84.在一些实现中，当设备使用来自ieee 802.11标准的协议进行通信时，计算设备150可以实现三信道远程音频记录和音频流式传输。在这种实现中，计算设备150可以从三个不同的iot设备的三个不同的麦克风接收音频流，以改善噪声消除和抑制。例如，计算设备150可以选择主要麦克风和两个辅助麦克风，其中每个麦克风向计算设备150提供单独的音频流。在该示例中，计算设备150可以接收三个音频流，应用噪声消除和抑制技术，并且在生成用于a/v记录的音频时将三个音频流进行组合和混合。在一个示例中，主要麦克风可以
用于记录音频，并且至少一个辅助麦克风可以用于噪声消除和抑制。
85.在一些实现中，本地网络的主设备可以从一个或多个远程iot设备接收一个或多个音频流，处理音频流，并且将经处理的音频提供给计算设备150，而不是计算设备150从一个或多个远程iot设备接收音频流。在一个示例中，计算设备150向具有麦克风的一个或多个远程iot设备发送具有关于开始记录音频并且将音频流式传输到主设备的命令的消息。在另一示例中，计算设备150将计算设备的位置和计算设备的相机的fov 155提供给主设备，并且主设备基于计算设备的位置和相机的fov 155来确定哪些iot设备能够开始记录和流式传输音频。
86.图9示出了用于在第一用户的第一计算设备的相机的fov内检测到第二用户的第二计算设备之后，在该第一计算设备与该第二计算设备之间建立通信链路的示例流程图。流程图900在框910处开始。
87.在框910处，第一用户的第一计算设备检测被显示在第一计算设备的相机的fov内的、第二用户的第二计算设备。在一个示例中，如果第一计算设备和第二计算设备两者都是一副智能眼镜(或ar眼镜)，则当第一用户从远处朝着第二用户的方向看时，第一用户的智能眼镜可以在第一用户的智能眼镜的相机的fov中检测到第二用户的智能眼镜。当第一用户朝着第二用户的方向看时，第一用户可以将佩戴智能眼镜的第二用户定位在第一用户的智能眼镜的相机的fov中，并且然后第一用户可以提供指示第一用户想要与第二用户进行通信的输入。
88.在框920处，响应于在第一计算设备的相机的fov内检测到第二计算设备，第一计算设备将用于请求批准在第一计算设备与第二计算设备之间建立通信链路的请求消息提供给第二计算设备。例如，第一用户的智能眼镜可以向第二用户的智能眼镜发送请求消息，该请求消息用于请求批准在两个设备之间建立通信链路。例如，第一用户的智能眼镜可以使用ieee802.11或蓝牙标准中的协议来发送请求消息。
89.在框930处，第一计算设备从第二计算设备接收准许关于建立通信链路的请求的响应消息。例如，在第二用户的智能眼镜检测到来自第二用户的指示接受用于建立通信链路的请求的输入之后，第一用户的智能眼镜可以从第二用户的智能眼镜接收用于接受该请求的响应消息。在另一示例中，第一用户的智能眼镜可以接收拒绝关于建立通信链路的请求的响应消息。
90.在框940处，第一计算设备在第一计算设备与第二计算设备之间建立通信链路，以使第一用户与第二用户进行通信。例如，第一用户的智能眼镜和第二用户的智能眼镜交换消息以建立双向通信链路。在建立通信链路之后，第一用户可以通过对着第一用户的智能眼镜的麦克风讲话来与第二用户进行通信，并且第二用户将会经由第二用户的智能眼镜的扬声器听到第一用户，反之亦然。
91.在一些实现中，在建立第一计算设备与第二计算设备之间的通信链路之后，第一用户或第二用户可以尝试与第三用户的第三计算设备建立通信链路以便在三个用户之间开始电话会议。例如，第一用户可以朝着第三用户的方向看，并且将佩戴智能眼镜的第三用户定位在第一用户的智能眼镜的相机的fov中。然后，第一用户可以提供用于指示第一用户想要与第二用户进行通信的输入，并且第一计算设备可以向第三用户发送请求消息。类似于关于第二用户描述的过程，第三用户可以准许或拒绝关于建立通信链路的请求。
92.在一些实现中，如果第一用户正佩戴着智能眼镜但是第二用户没有智能眼镜，则第一用户可以将第二用户的移动电话或接近第二用户的另一iot设备放置在智能眼镜的相机的fov中以尝试建立通信链路。如果iot设备仅具有麦克风，则第一用户的智能眼镜可以与iot设备的麦克风进行连接。例如，礼堂中的佩戴智能眼镜的讲话者可以连接到接近正在提问的听众的具有麦克风的iot设备，从而使得讲话者可以经由麦克风听到听众的问题。在另一示例中，如果第二用户经由移动电话接受了通信请求，则佩戴智能眼镜的第一用户可以从远处与具有移动电话的第二用户进行通信。
93.在一些实现中，佩戴智能眼镜的第一用户可以将在某个位置(诸如陈列室、贸易展览或商店)处的产品放置在智能眼镜的相机的fov中，以从远处动态地获得产品信息。例如，当第一用户朝着产品的方向看并且将产品放置在智能眼镜的相机的fov中时，智能眼镜可以与该产品建立通信链路并且(直接从产品或者从主设备)动态地获得产品信息。例如，在与产品建立通信链路之后，用户可以经由通信链路来向该产品发送请求产品信息的语音命令。此外，第一用户可以通过如下操作来从远处从许多产品获得产品信息：从远处与不同的产品建立通信链路并且使用语音命令来请求所述信息。
94.图10示出了用于实现本公开内容的各方面的示例电子设备1000的框图。在一些实现中，电子设备1000可以类似于计算设备150。电子设备1000可以是膝上型计算机、平板计算机、移动电话、游戏控制台、智能手表、虚拟或增强现实设备(诸如一副智能眼镜)、无人机或另一电子系统。电子设备1000包括处理器1002(可能包括多个处理器、多个内核、多个节点或者实现多线程等)。电子设备1000包括存储器1006。存储器1006可以是系统存储器或以下描述的机器可读介质或计算机可读介质的可能实现中的任何一种或多种。电子设备1000还可以包括总线1001(诸如pci、isa、pci-express、hypertransportnubus、ahb、axi等)。电子设备可以包括一个或多个网络接口1004，其可以是无线网络接口(诸如wlan接口、接口、wimax接口、接口、无线usb接口等)或有线网络接口(例如电力线通信接口、以太网接口等)。在一些实现中，电子设备1000可以支持多个网络接口1004，每个网络接口可以被配置为将电子设备1000耦合到不同的通信网络。
95.存储器1006包括用于支持各种实现方式的功能。存储器1006可以包括一种或多种功能，这些功能促进实现识别和选择用于在a/v记录期间远程地记录和流式传输音频的一个或多个iot设备。例如，存储器1006可以实现计算设备150的一个或多个方面。存储器1006可以体现用于实现在图1-9中描述的实现方式的功能。电子设备1000还可以包括额外组件，诸如相机模块1010、麦克风模块1012、用户接口1015和其它输入/输出组件。
96.这些功能中的任何功能都可以部分地(或全部地)用硬件来实现，诸如在处理器1002上实现。例如，所述功能可以利用专用集成电路、用在处理器1002中实现的逻辑单元、用外围设备或卡上的协处理器等来实现。此外，实现方式可以包括更少的组件或者未在图10中示出的额外组件(诸如视频卡、音频卡、额外的网络接口、外围设备等)。处理器1002和存储器1006可以耦合到总线1001。尽管被示为耦合到总线1001，但是存储器1006可以直接耦合到处理器1002。
97.如本文中使用地，提及项目列表中的“至少一个”的短语指代那些项目的任意组
合，包括单一成员。例如，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
98.结合本文公开的实现所描述的各个说明性的逻辑单元、逻辑框、模块、电路和算法过程均可以实现成电子硬件、计算机软件或者这二者的组合。硬件和软件的可互换性已经围绕功能被总体描述，并且在自始至终描述的各个说明性的组件、框、模块、电路和过程中被示出。至于这种功能是用硬件还是软件来实现，取决于特定的应用和对整个系统所施加的设计约束。
99.可以利用被设计为执行本文所述功能的通用单芯片或者多芯片处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，实现或执行用于实现结合本文公开的方面所描述的各个说明性的逻辑单元、逻辑框、模块和电路的硬件和数据处理装置。通用处理器可以是微处理器或者任何常规的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算设备的组合，诸如dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp核、或者任何其它这种配置。在一些实现中，特定的过程和方法可以由专用于给定功能的电路来执行。
100.在一个或多个方面中，所描述的功能可以用硬件、数字电子电路、计算机软件、固件(包括在本说明书中公开的结构以及其结构等效物)或者其任意组合来实现。在本说明书中描述的主题的实现还可以被实现为一个或多个计算机程序，即被编码在计算机存储介质上供数据处理装置执行或者供执行用以控制数据处理装置的操作的计算机程序指令的一个或多个模块。
101.如果用软件来实现，所述功能可以被存储在计算机可读介质上或作为计算机可读介质上的一个或多个指令或代码进行发送。本文公开的方法或者算法的过程可以在处理器可执行软件模块中实现，处理器可执行软件模块可以位于计算机可读介质上。计算机可读介质包括计算机存储介质和通信介质二者，通信介质包括使得能够将计算机程序从一个地方传输到另一个地方的任何介质。存储介质可以是可以由计算机访问的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括高速缓存存储器、ram(包括sram、dram、零电容ram、双晶体管ram、edram、edo ram、ddr ram、eeprom、nram、rram、sonos、pram等)、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或者其它磁存储设备、或者可以用于存储具有指令或数据结构形式的期望程序代码并且可以由计算机访问的任何其它介质。另外，任何连接可以被适当地称为计算机可读介质。如本文中所使用地，磁盘(disk)和光盘(disc)包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光tm光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。组合也可能被包括在计算机可读介质的范围之内。另外，方法或者算法的操作可以作为代码和指令中的一种或者任意组合或集合位于机器可读介质和计算机可读介质上，其可以并入计算机程序产品中。
102.对于本领域技术人员而言，对本公开内容中描述的实现的各种修改将是容易显而易见的，并且在不脱离本公开内容的精神或者范围的情况下，本文中定义的总体原理可以适用于其它实现。因此，权利要求书并非旨在限于本文中所示出的实现，而是要被赋予与本公开内容、本文公开的原理和新颖特征相一致的最广范围。
103.另外，本领域技术人员将容易明白，术语“上面”和“下面”有时是为了便于描述图而使用的，并且指示与在正确定向的页面上的图的朝向相对应的相对位置，而可能并不反
映所实现的任何设备的正确朝向。
104.在本说明书中在分开的实现的情况下描述的某些特征还可以在单一实现中组合地实现。相反，在单个实现的情况下描述的各个特征还可以在多种实现中分别地或者以任何适当的子组合来实现。此外，虽然可能将特征描述为以某种组合起作用并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中去除，并且所要求保护的组合可以涉及子组合或者子组合的变型。
105.类似地，虽然在附图中以特定的次序描绘了操作，但是这不应当理解为要求这样的操作以所示出的特定次序或者序列次序来执行，或者所有示出的操作被执行以实现期望的结果。此外，附图可能以流程图的形式示意性地描绘了一个或多个示例过程。然而，可以在示意性地示出的示例过程中并入没有描绘的其它操作。例如，一个或多个额外的操作可以在所示出的操作中的任何操作之前、之后、同时或者之间执行。在某种情况下，多任务和并行处理可以是有利的。此外，在所描述的实现中的各个系统组件的分开不应当被理解为在所有的实现中要求这样的分开，而其应当被理解为所描述的程序组件和系统通常能够一起被集成在单个软件产品中或者被封装为多个软件产品。另外，其它实现方式处于所附权利要求书的范围内。在一些情况中，可以以不同的次序执行权利要求书中记载的动作，并且仍然实现期望的结果。

技术特征：

1.一种用于由记录音频和视频(a/v)的计算设备执行的网络通信的方法，包括：由所述计算设备确定被显示在所述计算设备的相机的视场(fov)内并且能够进行远程音频记录和音频流式传输的多个物联网(iot)设备；在所述计算设备的所述相机的所述fov内，确定从被显示在所述fov内的所述多个iot设备中的每个iot设备到所述fov的焦点的距离测量，其中，待记录的对象放置于靠近所述fov的所述焦点；由所述计算设备至少部分地基于所述距离测量来从所述多个iot设备中选择第一iot设备，所述第一iot设备具有能够为所述计算设备远程地记录所述对象的音频的第一麦克风；以及由所述计算设备在选择所述第一iot设备之后，从所述第一iot设备接收音频流，所述音频流包括由所述第一iot设备为所述计算设备远程地记录的所述对象的所述音频。2.根据权利要求1所述的方法，其中，至少部分地基于所述距离测量来从所述多个iot设备中选择所述第一iot设备包括：基于所述距离测量来确定所述多个iot设备当中的所述第一iot设备位于最接近所述fov的所述焦点的位置；以及至少部分地基于确定所述第一iot设备位于最接近所述fov的所述焦点的位置，来从所述多个iot设备中选择所述第一iot设备。3.根据权利要求1所述的方法，还包括：确定与所述多个iot设备中的每个iot设备的每个麦克风相关联的麦克风类型和性能特性；以及比较与所述多个iot设备中的每个iot设备的每个麦克风相关联的所述麦克风类型和性能特性，其中，从所述多个iot设备中选择所述第一iot设备还是至少部分地基于与所述第一iot设备的所述第一麦克风相关联的所述麦克风类型和性能特性的。4.根据权利要求1所述的方法，还包括：确定所述多个iot设备中的所述第一iot设备和第二iot设备被显示在所述计算设备的所述相机的所述fov的聚焦区域内；从所述第一iot设备接收第一音频流，并且从所述第二iot设备接收第二音频流；以及将所述第一音频流的音频质量特性与所述第二音频流的音频质量特性进行比较，其中，选择所述第一iot设备还是至少部分地基于从所述第一iot设备接收的所述第一音频流的所述音频质量特性的。5.根据权利要求1所述的方法，还包括：由所述计算设备接收选择具有所述第一麦克风的所述第一iot设备的用户输入，其中，从所述多个iot设备中选择所述第一iot设备还是至少部分地基于所述用户输入的。6.根据权利要求1所述的方法，还包括：由所述计算设备接收从所述多个iot设备中选择第二iot设备的用户输入，所述第二iot设备具有能够远程地记录所述对象的所述音频的第二麦克风；由所述计算设备至少部分地基于接收到选择所述第二iot设备的所述用户输入，来覆
盖对所述第一iot设备的选择；以及至少部分地基于所述用户输入来从所述多个iot设备中选择所述第二iot设备。7.根据权利要求1所述的方法，还包括：使用所述计算设备的所述相机来记录所述对象的视频；以及使用由所述计算设备的所述相机所记录的所述对象的所述视频、以及由所述第一iot设备的所述第一麦克风远程地记录的所述对象的所述音频，来生成所述对象的a/v记录。8.根据权利要求1所述的方法，还包括：检测所述计算设备的所述相机的所述fov的改变；以及在检测到所述相机的所述fov的所述改变之后，确定从接收来自所述第一iot设备的所述音频流切换为接收来自第二iot设备的音频流，所述第二iot设备具有能够远程地记录所述对象的所述音频的第二麦克风。9.根据权利要求8所述的方法，其中，在检测到所述相机的所述fov的所述改变之后，确定从接收来自所述第一iot设备的所述音频流切换为接收来自所述第二iot设备的所述音频流包括：在检测到所述相机的所述fov的所述改变之后，确定所述第二iot设备位于与所述第一iot设备相比更接近所述fov的所述焦点的位置；以及响应于在检测到所述相机的所述fov的所述改变之后确定所述第二iot设备位于与所述第一iot设备相比更接近所述fov的所述焦点的位置，来确定从接收来自所述第一iot设备的所述音频流切换为接收来自所述第二iot设备的所述音频流。10.根据权利要求1所述的方法，还包括：确定在一段时间内在所述计算设备处没有接收到来自所述第一iot设备的所述音频流；以及响应于确定在所述一段时间内在所述计算设备处没有接收到来自所述第一iot设备的所述音频流，来确定要切换为使用所述计算设备的所述相机的本地麦克风来记录所述对象的所述音频。11.根据权利要求1所述的方法，其中，确定被显示在所述计算设备的所述相机的所述fov内并且能够进行远程音频记录和音频流式传输的所述多个iot设备包括：从本地网络的主设备获得所述多个iot设备在所述本地网络中的位置的地图；确定所述多个iot设备均具有麦克风并且能够进行远程音频记录和音频流式传输；以及在所述相机的所述fov内显示针对所述多个iot设备中的每个iot设备的视觉指示符，所述视觉指示符用于指示所述多个iot设备中的每个iot设备在所述相机的所述fov内的位置并且指示所述多个iot设备中的每个iot设备能够进行远程音频记录和音频流式传输。12.根据权利要求1所述的方法，其中，确定被显示在所述计算设备的所述相机的所述fov内并且能够进行远程音频记录和音频流式传输的所述多个iot设备包括从由以下各项组成的组中选择的至少一个成员：从本地网络的主设备获得信息，所述信息用于指示所述多个iot设备中的哪些iot设备能够进行远程音频记录和音频流式传输；以及从所述多个iot设备中的每个iot设备获得信息，所述信息用于指示所述多个iot设备
中的哪些iot设备能够进行远程音频记录和音频流式传输。13.根据权利要求1所述的方法，其中，所述计算设备是移动电话、平板计算机、一副智能眼镜、专用相机或无人机。14.根据权利要求1所述的方法，其中，在所述计算设备的所述相机的所述fov内，确定从被显示在所述fov内的所述多个iot设备中的每个iot设备到所述fov的所述焦点的所述距离测量还包括：在所述相机的所述fov内，确定针对所述fov的所述焦点的坐标、针对被显示在所述fov内的所述第一iot设备的坐标、和针对被显示在所述fov内的第二iot设备的坐标；至少部分地基于在所述相机的所述fov内的所述坐标，在所述相机的所述fov内，确定从被显示在所述fov内的所述多个iot设备中的每个iot设备到所述fov的所述焦点的所述距离测量。15.一种计算设备，包括：处理器；以及存储器，其具有被存储在其中的指令，所述指令在被所述处理器执行时使得所述计算设备进行以下操作：确定被显示在所述计算设备的相机的视场(fov)内并且能够进行远程音频记录和音频流式传输的多个物联网(iot)设备；在所述计算设备的所述相机的所述fov内，确定从被显示在所述fov内的所述多个iot设备中的每个iot设备到所述fov的焦点的距离测量，其中，待记录的对象放置于靠近所述fov的所述焦点；至少部分地基于所述距离测量来从所述多个iot设备中选择第一iot设备，所述第一iot设备具有能够为所述计算设备远程地记录所述对象的音频的第一麦克风；以及在选择所述第一iot设备之后，从所述第一iot设备接收音频流，所述音频流包括由所述第一iot设备为所述计算设备远程地记录的所述对象的所述音频。16.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行以至少部分地基于所述距离测量来从所述多个iot设备中选择所述第一iot设备时，还使得所述计算设备进行以下操作：基于所述距离测量来确定所述多个iot设备当中的所述第一iot设备位于最接近所述fov的所述焦点的位置；以及至少部分地基于确定所述第一iot设备位于最接近所述fov的所述焦点的位置，来从所述多个iot设备中选择所述第一iot设备。17.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：确定与所述多个iot设备中的每个iot设备的每个麦克风相关联的麦克风类型和性能特性；以及比较与所述多个iot设备中的每个iot设备的每个麦克风相关联的所述麦克风类型和性能特性，其中，从所述多个iot设备中选择所述第一iot设备还是至少部分地基于与所述第一iot设备的所述第一麦克风相关联的所述麦克风类型和性能特性的。
18.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：接收选择具有所述第一麦克风的所述第一iot设备的用户输入，其中，从所述多个iot设备中选择所述第一iot设备还是至少部分地基于所述用户输入的。19.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：使用所述计算设备的所述相机来记录所述对象的视频；以及使用由所述计算设备的所述相机所记录的所述对象的所述视频、以及由所述第一iot设备的所述第一麦克风远程地记录的所述对象的所述音频，来生成所述对象的a/v记录。20.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：检测所述计算设备的所述相机的所述fov的改变；以及在检测到所述相机的所述fov的所述改变之后，确定从接收来自所述第一iot设备的所述音频流切换为接收来自第二iot设备的音频流，所述第二iot设备具有能够远程地记录所述对象的所述音频的第二麦克风。21.根据权利要求15所述的计算设备，其中，所述指令在被所述处理器执行以确定被显示在所述计算设备的所述相机的所述fov内并且能够进行远程音频记录和音频流式传输的所述多个iot设备时，还使得所述计算设备进行以下操作：从本地网络的主设备获得所述多个iot设备在所述本地网络中的位置的地图；确定所述多个iot设备均具有麦克风并且能够进行远程音频记录和音频流式传输；以及在所述相机的所述fov内显示针对所述多个iot设备中的每个iot设备的视觉指示符，所述视觉指示符用于指示所述多个iot设备中的每个iot设备在所述相机的所述fov内的位置并且指示所述多个iot设备中的每个iot设备能够进行远程音频记录和音频流式传输。22.一种具有被存储在其中的指令的非暂时性计算机可读存储介质，所述指令在被计算设备的处理器执行时使得所述计算设备进行以下操作：确定被显示在所述计算设备的相机的视场(fov)内并且能够进行远程音频记录和音频流式传输的多个物联网(iot)设备；在所述计算设备的所述相机的所述fov内，确定从被显示在所述fov内的所述多个iot设备中的每个iot设备到所述fov的焦点的距离测量，其中，待记录的对象放置于靠近所述fov的所述焦点；至少部分地基于所述距离测量来从所述多个iot设备中选择第一iot设备，所述第一iot设备具有能够为所述计算设备远程地记录所述对象的音频的第一麦克风；以及在选择所述第一iot设备之后，从所述第一iot设备接收音频流，所述音频流包括由所述第一iot设备为所述计算设备远程地记录的所述对象的所述音频。23.根据权利要求22所述的非暂时性计算机可读存储介质，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：基于所述距离测量来确定所述多个iot设备当中的所述第一iot设备位于最接近所述
fov的所述焦点的位置；以及至少部分地基于确定所述第一iot设备位于最接近所述fov的所述焦点的位置，来从所述多个iot设备中选择所述第一iot设备。24.根据权利要求22所述的非暂时性计算机可读存储介质，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：确定与所述多个iot设备中的每个iot设备的每个麦克风相关联的麦克风类型和性能特性；以及比较与所述多个iot设备中的每个iot设备的每个麦克风相关联的所述麦克风类型和性能特性，其中，从所述多个iot设备中选择所述第一iot设备还是至少部分地基于与所述第一iot设备的所述第一麦克风相关联的所述麦克风类型和性能特性的。25.根据权利要求22所述的非暂时性计算机可读存储介质，其中，所述指令在被所述处理器执行时，还使得所述计算设备进行以下操作：检测所述计算设备的所述相机的所述fov的改变；以及在检测到所述相机的所述fov的所述改变之后，确定从接收来自所述第一iot设备的所述音频流切换为接收来自第二iot设备的音频流，所述第二iot设备具有能够远程地记录所述对象的所述音频的第二麦克风。

技术总结

本公开内容提供了用于当记录对象的音频和视频(A/V)时的网络通信的系统、方法和装置，包括被编码在计算机存储介质上的计算机程序。在一个方面中，设备可以确定被显示在该设备的相机的视场(FoV)内、并且能够进行远程音频记录和音频流式传输的一个或多个物联网(IoT)设备。该设备可以选择具有第一麦克风的第一IoT设备。该设备可以在选择第一IoT设备之后从第一IoT设备接收音频流，音频流包括由第一IoT设备为该设备远程地记录的对象的音频。当相机的FoV改变时，该设备可以动态地从接收来自第一IoT设备的音频流切换为接收来自第二IoT设备的音频流。的音频流。的音频流。