一种应用于VR的环境音透传方法、装置、设备和存储介质与流程

阅读：评论：0

一种应用于vr的环境音透传方法、装置、设备和存储介质
技术领域
1.本发明实施例涉及vr领域，尤其涉及一种应用于vr的环境音透传方法、装置、设备和存储介质。

背景技术：

2.vr(virtual reality，虚拟现实)设备可以通过视觉处理技术可在光学镜片上虚拟出类似真实环境的3d图像。对于头戴式vr设备，在佩戴状态下，由于视线被镜片等结构遮挡，vr设备的用户无法看到外界环境。为了增强vr设备的用户的听觉体验的沉浸感，头戴式vr设备通常配有有线耳机接口，用户在佩戴耳机使用vr设备进行观影或游戏时，可以隔绝一部分外界环境噪声。外界环境噪声的隔绝程度取决于耳机的降噪性能，对于降噪性能较好的耳机，当用户将vr切换到透视模式时，虽然视觉上可以看到外界环境，但听觉上无法清楚地听到外界声音。例如在与外界交谈场景中，必须摘下耳机才能听清对话，降低了用户对vr设备的使用体验。因此，如何使vr设备实现环境音透传功能，令vr设备在透视模式下可以通过扬声器清楚地听到外界声音，是需要解决的问题。

技术实现要素：

3.本发明提供了一种应用于vr的环境音透传方法、装置、设备和存储介质，可以使vr设备实现环境音透传功能，令vr设备在透视模式下可以通过扬声器清楚地听到外界声音。
4.根据本发明的一方面，提供了一种应用于vr的环境音透传方法，包括：
5.基于vr设备的透视模式，通过所述vr设备上的麦克风获取外界环境的环境音频信息；
6.根据所述环境音频信息到达vr设备上各麦克风的时间差，对所述环境音频信息进行定位，确定声源位置信息，并对所述环境音频信息进行滤波处理，确定滤波音频信息；
7.根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息；
8.根据所述vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过所述vr设备的扬声器播放所述目标音频信息。
9.根据本发明的另一方面，提供了一种应用于vr的环境音透传装置，该装置包括：
10.环境音频信息获取模块，用于基于vr设备的透视模式，通过所述vr设备上的麦克风获取外界环境的环境音频信息；
11.滤波音频信息确定模块，用于根据所述环境音频信息到达vr设备上各麦克风的时间差，对所述环境音频信息进行定位，确定声源位置信息，并对所述环境音频信息进行滤波处理，确定滤波音频信息；
12.定向拾音模块，用于根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息；
13.目标音频信息确定模块，用于根据所述vr设备的降噪程度和扬声器频响特性，对所述待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过所述vr设备的扬声器播放所述目标音频信息。
14.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的应用于vr的环境音透传方法。
18.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的应用于vr的环境音透传方法。
19.本发明实施例的技术方案，基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息；根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息；根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息；根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。解决了vr产品在使用过程中开启透视模式后，vr产品的用户只能看到外界环境画面，但无法听清外界环境声音的问题。上述方案，在vr设备切换至透视模式时，通过麦克风获取环境音频信息，并定位环境音频信息的声源位置信息，且对环境音频信息进行滤波处理，提高环境音频信息的清晰度。根据声源位置信息对滤波音频信息进行定向拾音，可以提高待处理音频信息的提取效率和提取精确度。根据vr设备的扬声器的特性，对待处理音频信息的信号幅度和透传响度进行调整，可以保证扬声器播放出的目标音频信息不回出现忽大忽小的问题，提高目标音频信息音量的稳定性，同时使调整后的目标音频信息更加接近真实的环境音，提高用户对vr设备的使用体验。
20.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明实施例一提供的一种应用于vr的环境音透传方法的流程图；
23.图2为本发明实施例二提供的一种应用于vr的环境音透传方法的流程图；
24.图3为本发明实施例三提供的一种应用于vr的环境音透传方法的流程图；
25.图4为本发明实施例四提供的一种应用于vr的环境音透传装置的结构示意图；
26.图5为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“等”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供了一种应用于vr的环境音透传方法的流程图，本实施例可适用于通过vr设备实现环境音透传的情况。该方法可以由应用于vr的环境音透传装置来执行，该应用于vr的环境音透传装置可以采用硬件和/或软件的形式实现，该应用于vr的环境音透传装置可配置于电子设备中。如图1所示，该方法包括：
31.s110、基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息。
32.需要说明的是，为了方便vr设备的用户在无需摘下设备的情况下就能看到外界环境，目前通常采用透视技术，即see-through技术，利用vr设备的摄像头实时捕捉外界环境画面并将其显示在vr设备的镜片上。用户通过按键等触发操作即可将镜片的显示内容在虚拟画面和现实画面之间切换。在vr设备普通模式下时，用户佩戴vr设备进行游戏或观影时，vr设备的光学镜片显示的是游戏或电影画面。为了增强用户的沉浸式体验，避免用户被外界光线干扰，通常vr设备壳体和光学镜片等结构会在眼部形成遮光区域，此时用户无法看到vr设备的外界环境。同时，vr设备的扬声器播放的是vr设备正在进行的游戏声音或电影声音。外界环境的环境音频信息由于经过vr设备本身的降噪处理或耳机的主动或被动降噪，传入人耳后已经衰减得较弱，用户可能无法听清环境音中的部分声音。
33.其中，透视模式即vr设备通过see-through技术实现的vr设备的see-through模式。环境音频信息是指vr设备周围的外界环境中的声音信息。
34.具体的，在vr设备的用户使用vr设备的过程中需要感知外界环境时，可以通过触发vr设备的透视功能，向vr设备发出模式切换指令。vr设备响应于模式切换指令，将设备模式切换至透视模式，即see-through模式，在see-through模式下，采用see-through算法，通过vr设备的控制单元开启vr设备的摄像头，通过摄像头实时采集外界环境图像，并将外界环境图像显示在vr设备的光学镜片上，使得用户能够通过光学镜片看到外界环境图像。同时，通过vr设备的控制单元开启麦克风，采用麦克风实时采集外接环境的环境音频信息。
35.示例性的，通过vr设备上的麦克风获取外界环境的环境音频信息的方法可以是：通过vr设备上的麦克风获取混合音频信息；对混合音频信息进行回声消除处理，确定外界
环境的环境音频信息。
36.其中，混合音频信息中可以包括环境音频信息、耳机噪声音频信息或vr自身扬声器发出的声音。
37.可以理解的是，对麦克风采集到的混合音频信息做回声消除处理，可以消除混合音频信息中可能存在的耳机或vr自身扬声器发出的声音，提高环境音频信息的声音清晰度。
38.s120、根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息。
39.其中，声源位置信息是指发出环境音频信息的声源所在的位置方向信息。
40.具体的，vr设备上安装有多个麦克风，例如，vr设备上可以安装有2个或4个麦克风。获取vr设备上各麦克风获取环境音频信息的音频获取时间，并对各麦克风对应的音频获取时间进行两两相减，分别确定每一麦克风与其他麦克风获取环境音频信息的时间差。根据时间差，对环境音频信息进行定位，可以确定声源位置信息。采用滤波器对环境音频信息进行滤波处理，确定滤波音频信息。
41.例如，若vr设备上安装有2个麦克风，即1号麦克风和2号麦克风。若环境音频信息到达1号麦克风和2号麦克风的时间差为2毫秒，且环境音频信息先到达1号麦克风，则声源位置信息位于vr设备的0
°
方向；若环境音频信息同时到达1号麦克风和2号麦克风，则声源位置信息位于vr设备的90
°
方向；若环境音频信息先到达2号麦克风，则声源位置信息位于vr设备的180
°
方向。
42.示例性的，确定滤波音频信息的方法可以是：确定环境音频信息的声音频带，并根据声音频带确定环境音频信息的音频属性，且根据音频属性，以及候选属性和滤波器通带之间的对应关系，确定目标通带；基于目标通带对环境音频信息进行滤波处理，确定滤波音频信息。
43.其中，音频属性是指表征发出环境音频信息的声源的数据。发出环境音频信息的声源可以是人，也可以是车辆。目标通带是指滤波器对环境音频信息进行滤波处理时所采用的滤波器的通带。
44.具体的，不同音频属性所对应的声音频带不同。可以在获取环境音频信息后，确定环境音频信息的声音频带，并确定环境音频信息的声音频带所对应的音频属性为环境音频信息的音频属性。根据音频属性，以及预先设置的候选属性和滤波器通带之间的对应关系，确定目标通带。基于目标通带对环境音频信息进行滤波处理，确定滤波音频信息。
45.示例性的，若根据音频属性确定环境音频信息为人发出的声音，则目标可设置为200～3khz；若根据音频属性确定环境音频信息为车辆发出的声音，则滤波器的通带可设计为1k～5khz。
46.s130、根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息。
47.其中，定向拾音是指只获取所需要获取的音频信息，而忽略掉背景噪声的技术。
48.具体的，可以根据声源位置信息，估算并规划环境音频信息的声源范围，声源范围是指环境音频信息的声源可能存在的区域范围。对声源范围内的滤波音频信息进行定向拾音，确定待处理音频信息。
49.s140、根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度
和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。
50.其中，目标音频信息是指需要通过vr设备的扬声器播放的音频信息。透传响度是指目标音频信息通过vr设备的扬声器播放的响度。
51.具体的，可以根据vr设备本身的降噪程度或外接耳机上的降噪程度，对待处理音频信息的信号幅度进行调整，以保证用户听到的透传音量大小接近真实的环境音大小。扬声器频响特性，对待处理音频信息的透传响度进行调整，以保证目标音频信息的频率特性处于稳定状态。
52.可选的，通过vr设备的扬声器播放目标音频信息的同时，还可以控制扬声器屏蔽除目标音频信息以外的其他音频信息。
53.此外，当用户将vr设备由透视模式切换为普通模式时，vr设备的控制单元将摄像头和麦克风关闭，vr设备的光学镜片返回到普通模式下的图像，扬声器也继续播放普通模式下的游戏音频信息或电影音频信息。
54.上述方案可以保证在播放目标音频信息时，避免其他音频信息对目标音频信息造成声音干扰。
55.本实施例提供的技术方案，基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息；根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息；根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息；根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。解决了vr产品在使用过程中开启透视模式后，vr产品的用户只能看到外界环境画面，但无法听清外界环境声音的问题。上述方案，在vr设备切换至透视模式时，通过麦克风获取环境音频信息，并定位环境音频信息的声源位置信息，且对环境音频信息进行滤波处理，提高环境音频信息的清晰度。根据声源位置信息对滤波音频信息进行定向拾音，可以提高待处理音频信息的提取效率和提取精确度。根据vr设备的扬声器的特性，对待处理音频信息的信号幅度和透传响度进行调整，可以保证扬声器播放出的目标音频信息不回出现忽大忽小的问题，提高目标音频信息音量的稳定性，同时使调整后的目标音频信息更加接近真实的环境音，提高用户对vr设备的使用体验。
56.实施例二
57.图2为本发明实施例二提供的一种应用于vr的环境音透传方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息的优选实施方式。具体的，如图2所示，该方法包括：
58.s210、基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息。
59.s220、根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息。
60.s230、根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息。
61.s240、通过对待处理音频信息进行自动增益控制，调整待处理音频信息的音频幅度。
62.其中，自动增益控制即agc，是指待处理音频的音频幅度的增益随着音频幅度的大小而调整的自动控制方法。
63.具体的，在vr设备处于透视模式，并接收外接环境的环境音频信息时，环境音频信息的音量可能不稳定，因此用户需要频繁的调整播放音量来满足听感的需要，因此，环境音频信息的音量均衡处理尤为重要。可以根据待处理音频信息的实际音频，对待处理音频信息进行自动增益控制，调整待处理音频信息的音频幅度，以使待处理音频信息的音频幅度维持在稳定的，用户可感知的范围内。
64.示例性的，可以通过如下子步骤实现对待处理音频信息进行自动增益控制：
65.s2401、若待处理音频信息的幅度变化值大于变化阈值，且待处理音频信息的音频幅度小于第一音频阈值，则根据幅度变化值，对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的增强调整。
66.其中，幅度变化值是指上一时刻获取的待处理音频信息的音频幅度和当前时刻获取的待处理音频信息的音频幅度之间的差值。变化阈值和第一音频阈值可以根据实际需要进行设置。
67.具体的，将上一时刻获取的待处理音频信息的音频幅度和当前时刻获取的待处理音频信息的音频幅度之间的差值，作为待处理音频信息的幅度变化值。将幅度变化值和变化阈值进行比较，同时，将待处理音频信息的音频幅度和第一音频阈值进行比较。若幅度变化值大于预设的变化阈值，且待处理音频信息的音频幅度小于第一音频阈值，则根据幅度变化值，确定对待处理音频信息的音频幅度进行自动增益控制时的音频幅度的增益数值，并基于音频幅度的增益数值对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的增强调整。
68.s2402、若幅度变化值大于变化阈值，且待处理音频信息的音频幅度大于第二音频阈值，则根据幅度变化值，对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的减弱调整。
69.其中，第二音频阈值大于第一音频阈值。第二音频阈值可以根据实际需要进行设置。
70.具体的，若幅度变化值小于预设的变化阈值，且待处理音频信息的音频幅度大于第二音频阈值，则根据幅度变化值，确定对待处理音频信息的音频幅度进行自动增益控制时的音频幅度的增益数值，并基于音频幅度的增益数值对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的减弱调整。
71.上述方案，可以在待处理音频信息的幅度变化值较大时，根据幅度变化值对待处理音频信息进行自动增益控制，调整待处理音频信息的音频幅度，可以保证调整后的处理音频信息的音频幅度的稳定性。
72.s250、根据vr设备的降噪程度，对调整后的待处理音频信息进行信号幅度放大处理，确定放大音频信息。
73.其中，vr设备的降噪程度可以是vr设备本身的降噪程度，也可以是vr设备的外接耳机的降噪程度。vr设备本身的降噪程度或外接耳机上的降噪程度是指经过vr设备或外接耳机上主动或被动降噪后信号所衰减的程度。
74.具体的，根据vr设备本身的降噪程度或vr设备的外接耳机的降噪程度，确定待处
理音频信息的信号幅度放大数值，并基于信号幅度放大数值对调整后的待处理音频信息进行信号幅度放大处理，确定放大音频信息。
75.例如，对于降噪程度为20db的vr设备或vr设备的外接耳机，可确定待处理音频信息的信号幅度放大数值为20db，以此保证扬声器发出的音量大小接近真实的环境音大小。此外，同一个vr设备可能连接具有不同降噪程度的耳机，因此，可以设置信号幅度调节功能，以使用户根据用户需要，调整待处理音频信息的信号幅度。
76.s260、根据vr设备上的扬声器频响特性，对放大音频信息进行音频均衡处理，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。
77.其中，音频均衡处理即eq(paragraphic eq，参数均衡)调节，可以通过参数均衡器实现。频响通常与电子放大器或扬声器联系在一起，频响特性即扬声器的频率响应特性，频率响应是指将一个以恒电压输出的音频信号与系统相连接时,扬声器产生的声压随频率的变化而发生增大或衰减、相位随频率而发生变化的现象。
78.示例性的，对于高频响应不足的扬声器，为了保证扬声器对高频环境音的透传响度，可在对放大音频信息进行音频均衡处理时，将eq参数中的高频增益适当提高。由于不同扬声器的频响特性可能不同，为了保证扬声器发出的目标音频信息的频率特性稳定，可以设置eq调节功能，以使用户根据用户需要，调整待处理音频信息的eq参数。
79.此外，vr设备的麦克风一般距离耳部较远，采集到的取外界环境的环境音频信息与人耳位置处的环境音频信息会存在频率特性差。为了实现环境音频信息的准确透传，对放大音频信息进行音频均衡处理时需要对频率特性差进行补偿。例如，可以通过声学仿真或测试等方法确定频率特性差的差异曲线，再根据差异曲线确定一组滤波器参数，并基于该组滤波器参数对频率特性差进行补偿。
80.本实施例的技术方案，通过vr设备上的麦克风获取外界环境的环境音频信息，并确定环境音频信息的声源位置信息，以及对环境音频信息进行滤波处理，确定滤波音频信息，再对滤波音频信息进行定向拾音，确定待处理音频信息后，通过对待处理音频信息进行自动增益控制，调整待处理音频信息的音频幅度，根据vr设备的降噪程度，对调整后的待处理音频信息进行信号幅度放大处理，确定放大音频信息，根据vr设备上的扬声器频响特性，对放大音频信息进行音频均衡处理，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。对待处理音频信息进行自动增益控制，可以目标音频信息出现忽大忽小的情况，使目标音频信息的音量维持在相对稳定的范围内；对待处理音频信息进行信号幅度放大处理，可以保证目标音频信息更加接近外接环境的实际环境音；对放大音频信息进行音频均衡处理，可以保证目标音频信息具有符合扬声器频响特性的声音透传响度，从而提高vr设备的用户的使用体验。
81.实施例三
82.图3为本发明实施例三提供的一种应用于vr的环境音透传方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息的优选实施方案。具体的，如图3所示，该方法包括：
83.s310、基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息。
84.s320、根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行
定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息。
85.s330、根据声源位置信息，确定声源位置信息相对于vr设备的位置方向和位置角度，并根据位置方向和位置角度，确定滤波音频信息的拾音范围。
86.具体的，根据声源位置信息，确定声源位置信息相对于vr设备的位置方向和位置角度，并根据位置方向和位置角度，估算滤波音频信息的音束所在拾音范围。例如声源位置信息相对于vr设备的位置方向和位置角度可以是：正前方90
°
，此时估算滤波音频信息的拾音范围可以是vr设备正前方的60
°
到120
°
范围。
87.s340、基于拾音范围，对滤波音频信息进行定向拾音，确定待处理音频信息。
88.具体的，在确定滤波音频信息的拾音范围后，在拾音范围内对滤波音频信息进行定向拾音，确定待处理音频信息。
89.s350、根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。
90.本实施例的技术方案，提供了一种根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息的可选实施方式。上述方案，在获取外界环境的环境音频信息，并对环境音频信息进行定位和滤波处理，获得声源位置信息和滤波音频信息后，根据声源位置信息确定滤波音频信息的拾音范围，并基于拾音范围对滤波音频信息进行定向拾音，以确定待处理音频信息；再对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。可以在对滤波音频信息进行定向拾音时，提高定向拾音的准确性和效率。
91.实施例四
92.图4为本发明实施例四提供的一种应用于vr的环境音透传装置的结构示意图。本实施例可适用于通过vr设备实现环境音透传的情况。如图4所示，该应用于vr的环境音透传装置包括：环境音频信息获取模块410、滤波音频信息确定模块420、定向拾音模块430和目标音频信息确定模块440。
93.其中，环境音频信息获取模块410，用于基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息；
94.滤波音频信息确定模块420，用于根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息；
95.定向拾音模块430，用于根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息；
96.目标音频信息确定模块440，用于根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过vr设备的扬声器播放目标音频信息。
97.本实施例提供的技术方案，基于vr设备的透视模式，通过vr设备上的麦克风获取外界环境的环境音频信息；根据环境音频信息到达vr设备上各麦克风的时间差，对环境音频信息进行定位，确定声源位置信息，并对环境音频信息进行滤波处理，确定滤波音频信息；根据声源位置信息，对滤波音频信息进行定向拾音，确定待处理音频信息；根据vr设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定
目标音频信息，并通过vr设备的扬声器播放目标音频信息。解决了vr产品在使用过程中开启透视模式后，vr产品的用户只能看到外界环境画面，但无法听清外界环境声音的问题。上述方案，在vr设备切换至透视模式时，通过麦克风获取环境音频信息，并定位环境音频信息的声源位置信息，且对环境音频信息进行滤波处理，提高环境音频信息的清晰度。根据声源位置信息对滤波音频信息进行定向拾音，可以提高待处理音频信息的提取效率和提取精确度。根据vr设备的扬声器的特性，对待处理音频信息的信号幅度和透传响度进行调整，可以保证扬声器播放出的目标音频信息不会出现忽大忽小的问题，提高目标音频信息音量的稳定性，同时使调整后的目标音频信息更加接近真实的环境音，提高用户对vr设备的使用体验。
98.示例性的，目标音频信息确定模块440，包括：
99.音频幅度确定单元，用于通过对待处理音频信息进行自动增益控制，调整待处理音频信息的音频幅度；
100.放大音频信息确定单元，根据vr设备的降噪程度，对调整后的待处理音频信息进行信号幅度放大处理，确定放大音频信息；
101.目标音频信息确定单元，用于根据vr设备上的扬声器频响特性，对放大音频信息进行音频均衡处理，确定目标音频信息。
102.示例性的，音频幅度确定单元具体用于：
103.若待处理音频信息的幅度变化值大于变化阈值，且待处理音频信息的音频幅度小于第一音频阈值，则根据幅度变化值，对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的增强调整；
104.若幅度变化值大于变化阈值，且待处理音频信息的音频幅度大于第二音频阈值，则根据幅度变化值，对待处理音频信息的音频幅度进行自动增益控制，以实现对待处理音频信息的减弱调整；其中，第二音频阈值大于第一音频阈值。
105.示例性的，定向拾音模块430具体用于：
106.根据声源位置信息，确定声源位置信息相对于vr设备的位置方向和位置角度，并根据位置方向和位置角度，确定滤波音频信息的拾音范围；
107.基于拾音范围，对滤波音频信息进行定向拾音，确定待处理音频信息。
108.示例性的，滤波音频信息确定模块420具体用于：
109.确定环境音频信息的声音频带，并根据声音频带确定环境音频信息的音频属性，且根据音频属性，以及候选属性和滤波器通带之间的对应关系，确定目标通带；
110.基于目标通带对环境音频信息进行滤波处理，确定滤波音频信息。
111.示例性的，环境音频信息获取模块410具体用于：
112.通过vr设备上的麦克风获取混合音频信息；
113.对混合音频信息进行回声消除处理，确定外界环境的环境音频信息。
114.示例性的，上述应用于vr的环境音透传装置还包括：
115.音频信息屏蔽模块，用于控制扬声器屏蔽除目标音频信息以外的其他音频信息。
116.本实施例提供的应用于vr的环境音透传装置可适用于上述任意实施例提供的应用于vr的环境音透传方法，具备相应的功能和有益效果。
117.实施例五
118.图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
119.如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
120.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
121.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如应用于vr的环境音透传方法。
122.在一些实施例中，应用于vr的环境音透传方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的应用于vr的环境音透传方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行应用于vr的环境音透传方法。
123.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
124.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在
机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
125.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
126.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
127.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
128.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
129.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
130.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：

1.一种应用于vr的环境音透传方法，其特征在于，包括：基于vr设备的透视模式，通过所述vr设备上的麦克风获取外界环境的环境音频信息；根据所述环境音频信息到达vr设备上各麦克风的时间差，对所述环境音频信息进行定位，确定声源位置信息，并对所述环境音频信息进行滤波处理，确定滤波音频信息；根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息；根据所述vr设备的降噪程度和扬声器频响特性，对所述待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过所述vr设备的扬声器播放所述目标音频信息。2.根据权利要求1所述的方法，其特征在于，对所述待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，包括：通过对所述待处理音频信息进行自动增益控制，调整所述待处理音频信息的音频幅度；根据所述vr设备的降噪程度，对调整后的待处理音频信息进行信号幅度放大处理，确定放大音频信息；根据所述vr设备上的扬声器频响特性，对所述放大音频信息进行音频均衡处理，确定目标音频信息。3.根据权利要求2所述的方法，其特征在于，通过对所述待处理音频信息进行自动增益控制，调整所述待处理音频信息的音频幅度，包括：若所述待处理音频信息的幅度变化值大于变化阈值，且所述待处理音频信息的音频幅度小于第一音频阈值，则根据所述幅度变化值，对所述待处理音频信息的音频幅度进行自动增益控制，以实现对所述待处理音频信息的增强调整；若所述幅度变化值大于变化阈值，且所述待处理音频信息的音频幅度大于第二音频阈值，则根据所述幅度变化值，对所述待处理音频信息的音频幅度进行自动增益控制，以实现对所述待处理音频信息的减弱调整；其中，所述第二音频阈值大于第一音频阈值。4.根据权利要求1所述的方法，其特征在于，根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息，包括：根据所述声源位置信息，确定所述声源位置信息相对于所述vr设备的位置方向和位置角度，并根据所述位置方向和所述位置角度，确定所述滤波音频信息的拾音范围；基于所述拾音范围，对所述滤波音频信息进行定向拾音，确定待处理音频信息。5.根据权利要求1所述的方法，其特征在于，对所述环境音频信息进行滤波处理，确定滤波音频信息，包括：确定所述环境音频信息的声音频带，并根据所述声音频带确定所述环境音频信息的音频属性，且根据所述音频属性，以及候选属性和滤波器通带之间的对应关系，确定目标通带；基于所述目标通带对环境音频信息进行滤波处理，确定滤波音频信息。6.根据权利要求1所述的方法，其特征在于，通过所述vr设备上的麦克风获取外界环境的环境音频信息，包括：通过所述vr设备上的麦克风获取混合音频信息；对所述混合音频信息进行回声消除处理，确定外界环境的环境音频信息。
7.根据权利要求1所述的方法，其特征在于，还包括：控制所述扬声器屏蔽除所述目标音频信息以外的其他音频信息。8.一种应用于vr的环境音透传装置，其特征在于，包括：环境音频信息获取模块，用于基于vr设备的透视模式，通过所述vr设备上的麦克风获取外界环境的环境音频信息；滤波音频信息确定模块，用于根据所述环境音频信息到达vr设备上各麦克风的时间差，对所述环境音频信息进行定位，确定声源位置信息，并对所述环境音频信息进行滤波处理，确定滤波音频信息；定向拾音模块，用于根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息；目标音频信息确定模块，用于根据所述vr设备的降噪程度和扬声器频响特性，对所述待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过所述vr设备的扬声器播放所述目标音频信息。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的应用于vr的环境音透传方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的应用于vr的环境音透传方法。

技术总结

本发明公开了一种应用于VR的环境音透传方法、装置、设备和存储介质，包括：基于VR设备的透视模式，通过所述VR设备上的麦克风获取外界环境的环境音频信息；根据所述环境音频信息到达VR设备上各麦克风的时间差，对所述环境音频信息进行定位，确定声源位置信息，并对所述环境音频信息进行滤波处理，确定滤波音频信息；根据所述声源位置信息，对所述滤波音频信息进行定向拾音，确定待处理音频信息；根据所述VR设备的降噪程度和扬声器频响特性，对待处理音频信息的信号幅度和透传响度进行调整，确定目标音频信息，并通过所述VR设备的扬声器播放所述目标音频信息。可以令VR设备在透视模式下可以通过扬声器清楚地听到外界声音。下可以通过扬声器清楚地听到外界声音。下可以通过扬声器清楚地听到外界声音。