一种基于虚拟现实的发音装置空间方向参数获取方法与流程

阅读: 评论:0



1.本技术涉及数据获取技术领域,具体而言,涉及一种基于虚拟现实的发音装置空间方向参数获取方法。


背景技术:



2.虚拟现实技术(vr)是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质,通过三维模型表现出来。
3.在实际生活中,声音是通过不同方向传输过来,这样一来,听到的声音具有层次感。然而,声音通过不同方向传输的,在此期间存在着各种干扰因素,从而导致获取到的发音方向的参数不准确的问题。因此,亟需一种技术方案以改善上述技术问题。


技术实现要素:



4.为改善相关技术中存在的技术问题,本技术提供了一种基于虚拟现实的发音装置空间方向参数获取方法。
5.第一方面,提供一种基于虚拟现实的发音装置空间方向参数获取方法,所述方法至少包括:从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集;基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从所述不少于一个待处理声源信号中挑选与所述参考挖掘声源信号相关联的参考关联声源信号;基于参考关联声源信号的待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集;对所述参考发音方向集进行参数分析,确定所述参考关联声源信号的发音方向参数。
6.在一种独立实施的实施例中,所述从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集,包括:对所述参考声源数据进行重要信息识别,生成所述参考声源数据中包括的不少于一个待处理声源信号中的各个待处理声源信号的音频对应的参考重要节点;针对不少于一个待处理声源信号中的各个待处理声源信号,基于该待处理声源信号对应的参考重要节点,生成该待处理声源信号对应的待处理声纹数据集。
7.在一种独立实施的实施例中,所述基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从所述不少于一个待处理声源信号中挑选与所述参考挖掘声源信号相关联的参考关联声源信号,包括:将所述参考挖掘声源信号的音频对应的第一声源数据关键描述与各个待处理声纹数据集对应的第二声源数据关键描述进行关联,并将与第一声源数据关键描述相关联的第二声源数据关键描述所对应的待处理声源信号确定为所述参考关联声源信号。
8.在一种独立实施的实施例中,在所述从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集之前,还包括:获得挖掘声源数据;结合所述挖掘声源数据,生成参考挖掘声源信号以及所述参考挖掘声源信号的音频在所述挖掘声源数据中对应的第一声源数据关键描述。
9.在一种独立实施的实施例中,所述结合所述挖掘声源数据,生成参考挖掘声源信号,包括:对所述挖掘声源数据进行重要信息识别,生成所述挖掘声源数据中包括的不少于一个原始声源信号中的各个原始声源信号的音频对应的参考重要节点;基于各个原始声源信号的音频对应的参考重要节点的重要节点偏置度信息,从所述不少于一个原始声源信号中挑选确定所述参考挖掘声源信号。
10.在一种独立实施的实施例中,所述基于参考关联声源信号的待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集,包括:结合所述音频与所述发音方向的第一映射关系数据,生成所述待处理声纹数据集和所述参考发音方向集之间的第二映射关系数据;结合所述第二映射关系数据和所述待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集。
11.在一种独立实施的实施例中,所述方法还包括:在确定不存在与第一声源数据关键描述相关联的第二声源数据关键描述的基础上,基于各个待处理声源信号的音频对应的参考重要节点的重要节点偏置度信息,生成新的参考挖掘声源信号。
12.在一种独立实施的实施例中,所述对所述参考发音方向集进行参数分析,确定所述参考关联声源信号的发音方向参数,包括:结合所述参考发音方向集,从所述参考声源数据读取出所述参考发音方向集对应的声源特征数据;通过在先配置好的人工智能线程,获取所述声源特征数据的声源振动描述和声源方位描述;获取所述声源特征数据中与存在差异的特征指示逐一对应的声源振动描述;其中,若干个特征指示中包括相似的第一特征指示和第二特征指示,所述第一特征指示小于所述第二特征指示;所述第一特征指示对应的声源振动描述是结合所述第二特征指示对应的声源振动描述以及第二特征指示对应的声源振动描述的声源方位描述所得的;所述第二特征指示对应的声源振动描述的声源方位描述为通过在先配置好的所述人工智能线程获取得到的;基于存在差异的特征指示逐一对应的声源振动描述对所述声源特征数据进行参数分析,确定所述参考关联声源信号的发音方向参数。
13.在一种独立实施的实施例中,所述基于存在差异的特征指示逐一对应的声源振动描述对所述声源特征数据进行参数分析,包括:针对所述存在差异的特征指示中的各个特征指示,基于该特征指示对应的声源振动描述,生成所述声源特征数据在该特征指示下的第一声源分析结果;结合所述声源特征数据在各个特征指示下的第一声源分析结果,生成所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性;结合所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性和指定挖掘可能性向量,对所述声源特征数据进行参数分析。
14.在一种独立实施的实施例中,所述结合所述声源特征数据在各个特征指示下的第一声源分析结果,生成所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性,包括:依照所述存在差异的特征指示进行多轮拼接处理之后,确定所述声源特征数据
中各个声源定位为发音方向对应的声源定位的可能性;其中,所述多轮拼接处理中第m轮拼接处理包括:生成所述第一特征指示下的第一声源分析结果的第一偏置度信息;通过所述第一特征指示下的第一声源分析结果的第一偏置度信息,对所述第一特征指示下的第一声源分析结果和所述第二特征指示下的第一声源分析结果进行拼接,确定所述第二特征指示下的参考声源分析结果;将所述参考声源分析结果优化为第m+1轮拼接过程中第一特征指示的第一声源分析结果。
15.在一种独立实施的实施例中,在所述确定所述参考关联声源信号的发音方向参数之后,还包括:结合所述发音方向参数,将所述参考声源数据中的发音方向对应的声源定位的分析变量配置为第一参考变量;将所述参考声源数据中的除所述发音方向以外的声源定位的分析变量配置为第二参考变量。
16.本技术实施例所提供的一种基于虚拟现实的发音装置空间方向参数获取方法,基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声源信号对应的待处理声纹数据集的第二声源数据关键描述,能够在若干个第二声源数据关键描述中,能够精确地挑选出与第一声源数据关键描述相关联的第二声源数据关键描述,即能够能够精确地挑选出与参考挖掘声源信号相关联的参考关联声源信号,实现了对参考挖掘声源信号的精确挖掘。然后通过挑选出的待处理声纹数据集,生成与发音方向相对的参考发音方向集,从而,只需要对参考发音方向集进行参数分析,不需要对参考声源数据中的剩余数据进行处理,既能够减少声源数据处理的工作量,还能够保障需要处理的声源数据的精确性,在降低需要处理的声源数据片段的前提下,降低了数据处理的工作量。并且,由于只需要对参考发音方向集的声源数据进行处理,所以有利于提高识别发音方向的参数识别准确性,从而能够更加准确的发音方向参数。
附图说明
17.为了更清楚地说明本技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
18.图1为本技术实施例所提供的一种基于虚拟现实的发音装置空间方向参数获取方法的流程图。
具体实施方式
19.为了更好的理解上述技术方案,下面通过附图以及具体实施例对本技术技术方案做详细的说明,应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明,而不是对本技术技术方案的限定,在不冲突的情况下,本技术实施例以及实施例中的技术特征可以相互组合。
20.请参阅图1,示出了一种基于虚拟现实的发音装置空间方向参数获取方法,该方法可以包括以下步骤s101-s104所描述的技术方案。
21.s101:从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集。
22.其中,参考声源数据可以为发音片段中的一个声源数据,可以包括不少于一个待处理声源信号。
23.待处理声源信号可以为参考声源数据中出现的声源信号,也可以出现在参考声源数据对应的发音片段中的剩余声源数据中。待处理声源信号可以是参考声源数据中人发出的声音以及设备发出的声音等。
24.针对获得参考声源数据,可以是在获得到发音片段之后,将正在处理的当前声源数据确定为参考声源数据。或者,也可以是指定获得的参考声源数据。
25.举例而言,在获得到参考声源数据之后,可以对参考声源数据进行声源数据处理,生成参考声源数据中包括的待处理声源信号,然后针对各个待处理声源信号,生成该待处理声源信号的音频以及音频在参考声源数据中的定位,从而,可以基于所得的该待处理声源信号的音频在参考声源数据中对应的定位,生成该待处理声源信号的音频对应的待处理声纹数据集。
26.s102:基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从不少于一个待处理声源信号中挑选与参考挖掘声源信号相关联的参考关联声源信号。
27.进一步地,参考挖掘声源信号为所得的需要进行发音方向识别的声源信号,参考挖掘声源信号的音频对应的第一声源数据关键描述可以是在进行声源数据处理之前就在先缓存的,也可以是在进行声源信号挖掘和声源数据识别的过程中,基于在先处理的声源数据得到的,在此不进行逐一限定。
28.参考关联声源信号为待处理声源信号中与参考挖掘声源信号为同一声源信号的待处理声源信号。声源数据关键描述可以包括声源数据对应的重要节点信息、声波信息、声波振动信息等。
29.在本实施例中,针对不少于一个待处理声源信号中的各个待处理声源信号,在确定该待处理声源信号的音频对应的待处理声纹数据集之后,可以确定该待处理声纹数据集对应的第二声源数据关键描述。基于此,可以确定不少于一个待处理声源信号中的各个待处理声源信号对应的第二声源数据关键描述。
30.然后,可以基于各个待处理声源信号对应的第二声源数据关键描述和参考挖掘声源信号的音频对应的第一声源数据关键描述,挑选出声源数据关键描述对应的音频与第一声源数据关键描述对应的音频相一致的第二声源数据关键描述,从而,基于该第二声源数据关键描述,可以确定其对应的待处理声源信号为参考关联声源信号。
31.s103:基于参考关联声源信号的待处理声纹数据集,从参考声源数据中获得参考关联声源信号的发音方向对应的参考发音方向集。
32.举例而言,可以根据待处理声纹数据集对应的音频和发音方向之间的匹配情况,生成待处理声纹数据集和参考发音方向集之间的定位关系、声音音频关系等,然后基于待处理声纹数据集、所得的定位关系和声音音频关系等,从参考声源数据中确定参考关联声源信号的发音方向对应的参考发音方向集。
33.在一种可能实施的实施例中,在确定参考发音方向集之后,可以在参考声源数据中将参考发音方向集对应的声源数据读取出来,得到参考发音方向集对应的声源特征数据。
34.s104:对参考发音方向集进行参数分析,得到参考关联声源信号的发音方向参数。
35.在本实施例中,在确定出参考发音方向集之后,可以通过参数分析的方式对参考发音方向集进行参数分析,生成参考发音方向集中的各个声源定位的第一信息。
36.从而,可以根据发音方向对应的声源定位的第一信息和各个声源定位的第一信息,生成参考发音方向集中属于发音方向的声源定位。然后可以基于属于发音方向的声源定位对参考发音方向集进行识别,得到参考关联声源信号的发音方向参数。
37.另外,若确定出参考发音方向集对应的声源特征数据,可以直接对声源特征数据进行参数分析,得到参考关联声源信号的发音方向参数。
38.进一步地,基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声源信号对应的待处理声纹数据集的第二声源数据关键描述,能够在若干个第二声源数据关键描述中,能够精确地挑选出与第一声源数据关键描述相关联的第二声源数据关键描述,即能够能够精确地挑选出与参考挖掘声源信号相关联的参考关联声源信号,实现了对参考挖掘声源信号的精确挖掘。然后通过挑选出的待处理声纹数据集,生成与发音方向相对的参考发音方向集,从而,只需要对参考发音方向集进行参数分析,不需要对参考声源数据中的剩余数据进行处理,既能够减少声源数据处理的工作量,还能够保障需要处理的声源数据的精确性,在降低需要处理的声源数据片段的前提下,降低了数据处理的工作量。并且,由于只需要对参考发音方向集的声源数据进行处理,所以有利于提高识别发音方向的参数识别准确性,从而能够更加准确的发音方向参数。
39.在一种可替换的实施例中,针对s101,为本公开实施例所提供的一种确定待处理声纹数据集的方法,具体可以包括以下内容。
40.s201:对参考声源数据进行重要信息识别,生成参考声源数据中包括的不少于一个待处理声源信号中的各个待处理声源信号的音频对应的参考重要节点。
41.进一步地,可以通过重要信息识别线程对参考声源数据进行重要信息识别,以确定参考声源数据中的音频对应的参考重要节点。
42.举例而言,可以将参考声源数据加载至在先配置好的重要信息识别线程,通过该重要信息识别线程对参考声源数据进行处理,生成参考声源数据中的所有重要节点。然后可以根据各个参考重要节点之间的定位关系,生成属于同一个待处理声源信号的音频的参考重要节点,从而,可以确定参考声源数据中包括的不少于一个待处理声源信号中的各个待处理声源信号的音频对应的参考重要节点。
43.s202:针对不少于一个待处理声源信号中的各个待处理声源信号,基于该待处理声源信号对应的参考重要节点,生成该待处理声源信号对应的待处理声纹数据集。
44.举例而言,针对各个待处理声源信号,基于该待处理声源信号对应的参考重要节点,可以确定由参考重要节点决定的声源数据范围。从而,可以将所得的声源数据范围确定为该待处理声源信号对应的待处理声纹数据集。
45.优选地,可以确定参考声源数据中的各个待处理声源信号对应的待处理声纹数据集。这样一来,由于配置好的重要信息识别线程携带有高性能的计算能力,因此,能够输出准确地重要节点信息,从而,通过所得的重要节点信息,可以准确地确定出个待处理声源信号对应的待处理声纹数据集。
46.在一种可替换的实施例中,参考挖掘声源信号的音频的声源数据关键描述在不同
的声源数据中一定是相同的或相似的,因此,针对s102,在确定各个待处理声源信号对应的第二声源数据关键描述之后,可以获得参考挖掘声源信号的音频对应的第一声源数据关键描述,然后,将参考挖掘声源信号对应的第一声源数据关键描述与各个第二声源数据关键描述进行关联,生成是否存在相关联的声源数据关键描述,也即,生成是否存在声源数据关键描述对应的音频与第一声源数据关键描述对应的音频相一致的第二声源数据关键描述。若是,则可以将所得的关联的第二声源数据关键描述对应的待处理声源数据确定为与参考挖掘声源信号相关联的参考关联声源数据。也即,挑选出了参考挖掘声源信号。
47.在一种可替换的实施例中,每当确定一个待处理声源信号对应的第二声源数据关键描述之后,可以将其与第一声源数据关键描述进行关联,生成是否与第一声源数据关键描述相关联,若是,则可以直接确定该第二声源数据关键描述对应的待处理声源数据确定为参考关联声源数据;若否,则可以在确定下一个待处理声源信号对应的第二声源数据关键描述之后,返回执行与第一声源数据关键描述进行关联的步骤。这样,若先所得的第一声源数据关键描述为关联的声源数据关键描述,就可以直接确定参考关联声源信号,不需要再确定剩余待处理声源信号对应的第二声源数据关键描述,可以提高关联效率。
48.在一种可替换的实施例中,在确定参考声源数据中的待处理声纹数据集之前,还需要先获得参考挖掘声源信号对应的挖掘声源数据。然后,可以基于挖掘声源数据,生成参考挖掘声源信号以及参考挖掘声源信号的音频在挖掘声源数据中对应的声源数据关键描述,然后将其确定为用于关联的第一声源数据关键描述。这样,基于所得的第一声源数据关键描述,能够实现对参考挖掘声源信号的精确挖掘。
49.举例而言,可以依照以下步骤确定参考挖掘声源信号。
50.(1)、对挖掘声源数据进行重要信息识别,生成挖掘声源数据中包括的不少于一个原始声源信号中的各个原始声源信号的音频对应的参考重要节点。
51.进一步地,原始声源信号可以为挖掘声源数据中包括的声源信号。
52.在本实施例中,在获得到挖掘声源数据之后,可以通过在先配置好的重要信息识别线程对挖掘声源数据进行重要信息识别,生成挖掘声源数据中包括的不少于一个原始声源信号中的各个原始声源信号的音频对应的参考重要节点。
53.进一步地,重要信息识别线程在确定音频对应的参考重要节点的并行地,还可以输出各个原始声源信号对应的参考重要节点的重要节点偏置度信息。
54.(2)、基于各个原始声源信号的音频对应的参考重要节点的重要节点偏置度信息,从不少于一个原始声源信号中挑选得到参考挖掘声源信号。
55.举例而言,可以基于各个原始声源信号对应的参考重要节点的重要节点偏置度信息对应的偏置度,挑选出偏置度最佳的参考重要节点,然后可以基于该参考重要节点,生成其对应的声纹数据集,从而,可以确定该声纹数据集对应的原始声源信号,并将该原始声源信号确定为参考挖掘声源信号。
56.在一种可替换的实施例中,在获得挖掘声源数据之后,还可以确挖掘声源数据指定的挖掘范围,然后可以直接对指定的挖掘范围进行重要信息识别,生成该范围的原始声源信号,并将该原始声源信号确定为参考挖掘声源信号。
57.此外,在确定出偏置度最佳的参考重要节点或确定出指定的挖掘范围对应的参考重要节点之后,还需要确定参考重要节点对应的音频在挖掘声源数据或参考声源数据中对
应的第一声源数据关键描述,以便于后续基于第一声源数据关键描述进行声源信号挖掘。
58.在一种可替换的实施例中,针对s102,在确定不存在与第一声源数据关键描述相关联的第二声源数据关键描述的基础上,可以说明需要挖掘的参考挖掘声源信号不在参考声源数据中。从而,可以基于各个待处理声源信号的音频对应的参考重要节点的重要节点偏置度信息,生成出偏置度最高的参考重要节点对应的待处理声源信号,并将其确定为新的参考挖掘声源信号。并行地,可以确定上述新的参考挖掘声源信号对应的声纹数据集的声源数据关键描述,将其确定为新的第一声源数据关键描述并进行缓存。这样,可以实现对新的参考挖掘声源信号的挖掘。
59.或者,在一种可替换的实施例中,若确定出不存在与第一声源数据关键描述相关联的第二声源数据关键描述,还可以放弃对当前的参考声源数据的识别,继续获得发音片段中的剩余声源数据,并返回执行确定参考关联声源数据的步骤。
60.在一种可替换的实施例中,针对s103:可以依照以下步骤确定发音方向对应的参考发音方向集。
61.(1)、基于音频与发音方向的第一映射关系数据,生成待处理声纹数据集和参考发音方向集之间的第二映射关系数据。
62.进一步地,第一映射关系数据用于表示音频和发音方向之间的定位关系和振幅大小关系等。第二映射关系数据用于表示待处理声纹数据集和参考发音方向集之间的关联关系。
63.举例而言,可以根据音频与发音方向的第一映射关系数据,生成音频和发音方向在参考声源数据中的相对定位关系以及振幅大小关系,然后,可以根据所得的相对定位关系、振幅大小关系以及音频对应待处理声纹数据集,生成发音方向对应的参考发音方向集和待处理声纹数据集之间的关联关系。也即,生成待处理声纹数据集和参考发音方向集之间的第二映射关系数据。
64.(2)、基于第二映射关系数据和待处理声纹数据集,从参考声源数据中获得参考关联声源信号的发音方向对应的参考发音方向集。
65.在本实施例中,可以以待处理声纹数据集为基准,通过所得的第二映射关系数据对应的关联关系,在参考声源数据中将待处理声纹数据集转换为参考发音方向集,也即,获得发音方向对应的参考发音方向集。
66.在一种可替换的实施例中,针对s104,对参考发音方向集进行参数分析,以得到参考关联声源信号的发音方向参数,为本公开实施例所提供的一种对参考发音方向集进行参数分析的方法,具体可以包括如下内容。
67.s501:基于参考发音方向集,从参考声源数据读取出参考发音方向集对应的声源特征数据。
68.进一步地,在确定出参考发音方向集之后,可以基于参考发音方向集对应于参考声源数据中的定位,将参考发音方向集对应的局部声源数据从参考声源数据中读取出来,生成为参考发音方向集对应的声源特征数据。
69.s502:通过在先配置好的人工智能线程,获取声源特征数据的声源振动描述和声源方位描述。
70.举例而言,在确定参考发音方向集之后,可以将参考发音方向集对应的声源特征
数据加载至在先配置好的人工智能线程,之后,该人工智能线程可以获取出声源特征数据的声源振动描述,同时,也可以获取出声源特征数据的声源方位描述。
71.s503:获取声源特征数据中与存在差异的特征指示逐一对应的声源振动描述。
72.其中,若干个特征指示中包括相似的第一特征指示和第二特征指示,第一特征指示小于所述第二特征指示。
73.第一特征指示对应的声源振动描述是基于第二特征指示对应的声源振动描述以及第二特征指示对应的声源振动描述的声源方位描述所得的。
74.第二特征指示对应的声源振动描述的声源方位描述为通过在先配置好的所述人工智能线程获取得到的。
75.在本实施例中,获取声源特征数据中与存在差异的特征指示逐一对应的声源振动描述的步骤为在先配置好的人工智能线程执行的。在先配置好的人工智能线程包括分别与若干个特征指示对应的特征获取单元;各个特征获取单元可以获取其对应的特征指示下的声源振动描述。基于若干个特征获取单元,可以分别获取出声源特征数据中与存在差异的特征指示逐一对应的声源振动描述。
76.其中,特征指示可以为声源数据识别度,且参考发音方向集对应的声源特征数据具有原始声源数据识别度。具体的,原始声源数据识别度也可以为参考声源数据具有的声源数据识别度。
77.举例而言,首先可以通过在先配置好的人工智能线程获取出与声源特征数据的原始声源数据识别对应的声源振动描述和声源方位描述。然后将该原始声源数据识别度确定为第二特征指示,基于该第二特征指示对应的声源振动描述和声源方位描述,生成与第一特征指示对应的声源振动描述。并且,在确定与第一特征指示对应的声源振动描述的同时,还可以确定该声源振动描述的声源方位描述。
78.之后,可以将该第一特征指示确定为新的第二特征指示,生成小于该新的第二特征指示的、下一个第一特征指示对应的声源振动描述和声源方位描述。从而,可以实现分别获取出声源特征数据中与存在差异的特征指示逐一对应的声源振动描述以及声源振动描述中的声源方位描述。其中,原始声源数据识别对应的特征指示为最佳的特征指示。
79.s504:基于存在差异的特征指示逐一对应的声源振动描述对声源特征数据进行参数分析,得到参考关联声源信号的发音方向参数。
80.进一步的,基于所得的发音方向对应的范围,能够完成对声源特征数据的参数分析,得到参考关联声源信号的发音方向参数。
81.在一种可替换的实施例中,第二特征指示对应的声源振动描述的声源方位描述包括第二特征指示对应的声源振动描述中的第一特征指示之间的定位关系。为本公开实施例所提供的一种确定第一特征指示对应的声源振动描述的方法,具体可以包括如下内容。
82.s601:针对第一特征指示中的各个第二特征指示,基于该第二特征指示的定位信息,从第二特征指示对应的第一特征指示中挑选与该第二特征指示对应的第一参考特征指示。
83.这里,各个特征指示对应的声源振动描述包括不同数目的特征指示,第一特征指示对应的声源振动描述中的第二特征指示的数目小于第二特征指示对应的声源振动描述中的第一特征指示的数目。也即,低声源数据识别度对应的特征指示的数目小于高声源数
据识别度对应的特征指示的数目。
84.第一特征指示对应的各个第二特征指示,在第二特征指示中都存在一个与该第二特征指示对应的第一特征指示。
85.在本实施例中,针对第一特征指示中的各个第二特征指示,可以确定该第二特征指示的定位信息,针对第二特征指示中的各个第一特征指示,也可以确定该第一特征指示的定位信息。之后,基于第一特征指示中各个第二特征指示的定位信息和第二特征指示中的各个第一特征指示的定位信息,可以分别在第一特征指示中和第二特征指示中确定定位相同的第一特征指示和第二特征指示,并将上述第二特征指示确定为挑选出的与上述第一特征指示对应的第一参考特征指示。也即,可以从第二特征指示对应的第一特征指示中,生成与第一特征指示中的各个第二特征指示对应的第一参考特征指示。
86.s602:基于第一特征指示和第二特征指示,生成第一特征指示中的一个第二特征指示对应于第二特征指示中的第一特征指示的参考数目。
87.进一步地,第一特征指示中的一个第二特征指示的声源振动描述可以根据第二特征指示中的若干个第一特征指示的声源振动描述确定。
88.举例而言,可以基于第一特征指示和第二特征指示之间的关联关系,生成第一特征指示中一个第二特征指示对应于第二特征指示中的第一特征指示的参考数目。
89.s603:基于第一特征指示之间的定位关系以及第一参考特征指示的定位信息,从第二特征指示对应的第一特征指示中挑选参考数目的第二参考特征指示。
90.在本实施例中,基于第二特征指示对应的声源方位描述,可以确定第二特征指示中的第一特征指示之间的定位关系,然后,针对所得的各个第一参考特征指示,可以根据该第一参考特征指示的定位信息和第一特征指示之间的定位关系,从第二特征指示对应的第一特征指示选挑选出参考数目的第一特征指示,生成为第二参考特征指示。
91.举例而言,可以根据该第一参考特征指示的定位信息和第一特征指示之间的定位关系,从第二特征指示对应的第一特征指示中挑选出与第一参考特征指示具有指定差异的、参考数目的第一特征指示确定为第二参考特征指示。
92.s604:基于第二参考特征指示的声源振动描述,生成该第二特征指示的声源振动描述,并基于所得的第一特征指示中的各个第二特征指示的声源振动描述,生成第一特征指示对应的声源振动描述。
93.进一步地,根据所得的参考数目的第二参考特征指示中各个第二参考特征指示的声源振动描述,可以确定第二参考特征指示对应的第一特征指示中的第二特征指示的声源振动描述。
94.从而,基于上述步骤,可以确定第一特征指示中的各个第二特征指示的声源振动描述,基于各个第二特征指示的声源振动描述,可以确定第一特征指示对应的声源振动描述。
95.这样一来,能够分别获取出参考发音方向集对应的声源特征数据中与存在差异的特征指示逐一对应的声源振动描述。
96.在得到存在差异的特征指示逐一对应的声源振动描述之后,为本公开实施例所提供的一种对参考发音方向集进行参数分析的方法,具有可以包括如下内容。
97.s701:针对存在差异的特征指示中的各个特征指示,基于该特征指示对应的声源
振动描述,生成声源特征数据在该特征指示下的第一声源分析结果。
98.s702:基于声源特征数据在各个特征指示下的第一声源分析结果,生成声源特征数据中各个声源定位为发音方向对应的声源定位的可能性。
99.这里,在得到各个特征指示下的第一声源分析结果之后,可以依照存在差异的特征指示进行多轮拼接处理,之后,可以得到声源特征数据中各个声源定位为发音方向对应的声源定位的可能性。
100.s703:基于声源特征数据中各个声源定位为发音方向对应的声源定位的可能性和指定挖掘可能性向量,对声源特征数据进行参数分析。
101.举例而言,可以将声源特征数据中各个声源定位为发音方向对应的声源定位的可能性与指定挖掘可能性向量比对,在确定上述可能性大于指定挖掘可能性向量的基础上,将该声源定位确定为发音方向对应的声源定位,在确定上述可能性不大于指定挖掘可能性向量的基础上,生成该声源定位不是发音方向对应的声源定位。
102.从而,可以确定声源特征数据中属于发音方向的声源定位和非发音方向的声源定位,并基于所得的结果,完成对声源特征数据的参数分析,得到发音方向参数。
103.举例而言,发音方向参数可以是发音方向对应的发音方向分割声源数据。
104.在一种可替换的实施例中,针对多轮拼接处理中第m轮拼接处理,为本公开实施例所提供一种拼接处理过程,具体可以包括如下步骤。
105.s801:确定第一特征指示下的第一声源分析结果的第一偏置度信息。
106.s802:通过第一特征指示下的第一声源分析结果的第一偏置度信息,对第一特征指示下的第一声源分析结果和第二特征指示下的第一声源分析结果进行拼接,得到第二特征指示下的参考声源分析结果。
107.在本实施例中,在得到第一特征指示下的第一声源分析结果的第一偏置度信息之后,拼接结构可以基于该第一偏置度信息,对第一特征指示下的第一声源分析结果和第二特征指示下的第一声源分析结果进行拼接,得到第二特征指示下的参考声源分析结果。
108.举例而言,根据各个声源定位的第一声源分析结果的第一偏置度信息,生成各个声源定位的第一声源分析结果的第一偏置度,将各个声源定位的第一声源分析结果的第一偏置度与指定的偏置度目标值进行比较,在确定第一偏置度不小于指定的偏置度目标值的基础上,将该第一偏置度对应的声源定位的第一声源分析结果确定为第二特征指示下的第一声源分析结果。在确定第一偏置度小于指定的偏置度目标值的基础上,将该第一偏置度对应的声源定位在第二特征指示下的第一声源分析结果确定为参考声源分析结果。
109.s803:将参考声源分析结果优化为第m+1轮拼接过程中第一特征指示的第一声源分析结果。
110.举例而言,可以将上述第二特征指示确定为新的第一特征指示,将上述第二特征指示下的参考声源分析结果优化为第m+1轮拼接过程中的新的第一特征指示第一声源分析结果。
111.基于上述步骤,可以确定最佳特征指示下的参考声源分析结果,其中,参考声源分析结果也用于表示声源特征数据中各个声源定位为发音方向对应的声源定位的可能性。
112.从而,基于最佳特征指示下的参考声源分析结果,可以确定声源特征数据中每个声源定位为发音方向对应的声源定位的可能性。
113.另外,本公开实施例所提及的重要信息识别线程,也可以是基于获取的参考声源数据在存在差异的特征指示下的关键描述和声源方位描述,生成出各个待处理声源信号的音频对应的参考重要节点的。具体的实施过程,可以参考获取参考发音方向集对应的声源特征数据的声源振动描述和声源方位描述的过程,在此不进行一一限定。
114.在一种可替换的实施例中,在确定发音方向的发音方向参数之后,还可以基于所得的发音方向参数,将参考声源数据中的发音方向对应的声源定位的分析变量配置为第一参考变量。并且将参考声源数据中的除发音方向以外的声源定位的分析变量配置为第二参考变量。
115.在上述基础上,提供了一种基于虚拟现实的发音装置空间方向参数获取装置200,应用于基于虚拟现实的发音装置空间方向参数获取系统,所述装置包括:数据获得模块210,用于从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集;信号挑选模块220,用于基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从所述不少于一个待处理声源信号中挑选与所述参考挖掘声源信号相关联的参考关联声源信号;方向确定模块230,用于基于参考关联声源信号的待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集;参数确定模块240,用于对所述参考发音方向集进行参数分析,确定所述参考关联声源信号的发音方向参数。
116.在上述基础上,示出了一种基于虚拟现实的发音装置空间方向参数获取系统300,包括互相之间通信的处理器310和存储器320,所述处理器310用于从所述存储器320中读取计算机程序并执行,以实现上述的方法。
117.在上述基础上,还提供了一种计算机可读存储介质,其上存储的计算机程序在运行时实现上述的方法。
118.综上,基于上述方案,基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声源信号对应的待处理声纹数据集的第二声源数据关键描述,能够在若干个第二声源数据关键描述中,能够精确地挑选出与第一声源数据关键描述相关联的第二声源数据关键描述,即能够能够精确地挑选出与参考挖掘声源信号相关联的参考关联声源信号,实现了对参考挖掘声源信号的精确挖掘。然后通过挑选出的待处理声纹数据集,生成与发音方向相对的参考发音方向集,从而,只需要对参考发音方向集进行参数分析,不需要对参考声源数据中的剩余数据进行处理,既能够减少声源数据处理的工作量,还能够保障需要处理的声源数据的精确性,在降低需要处理的声源数据片段的前提下,降低了数据处理的工作量。并且,由于只需要对参考发音方向集的声源数据进行处理,所以有利于提高识别发音方向的参数识别准确性,从而能够更加准确的发音方向参数。
119.应当理解,上述所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、cd或dvd-rom的
载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本技术的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
120.需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
121.上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本技术的限定。虽然此处并没有明确说明,本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议,所以该类修改、改进、修正仍属于本技术示范实施例的精神和范围。
122.同时,本技术使用了特定词语来描述本技术的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
123.此外,本领域技术人员可以理解,本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本技术的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
124.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、rf、或类似介质,或任何上述介质的组合。
125.本技术各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb、python等,常规程序化编程语言如c语言、visual basic、fortran 2003、perl、cobol 2002、php、abap,动态编程语言如python、ruby和groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(lan)或广域网(wan),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(saas)。
126.此外,除非权利要求中明确说明,本技术所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本技术流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本技术实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
127.同理,应当注意的是,为了简化本技术披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本技术实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本技术对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
128.一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有适应性的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本技术一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
129.针对本技术引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本技术作为参考。与本技术内容不一致或产生冲突的申请历史文件除外,对本技术权利要求最广范围有限制的文件(当前或之后附加于本技术中的)也除外。需要说明的是,如果本技术附属材料中的描述、定义、和/或术语的使用与本技术所述内容有不一致或冲突的地方,以本技术的描述、定义和/或术语的使用为准。
130.最后,应当理解的是,本技术中所述实施例仅用以说明本技术实施例的原则。其他的变形也可能属于本技术的范围。因此,作为示例而非限制,本技术实施例的替代配置可视为与本技术的教导一致。相应地,本技术的实施例不仅限于本技术明确介绍和描述的实施例。
131.以上仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。

技术特征:


1.一种基于虚拟现实的发音装置空间方向参数获取方法,其特征在于,所述方法至少包括:从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集;基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从所述不少于一个待处理声源信号中挑选与所述参考挖掘声源信号相关联的参考关联声源信号;基于参考关联声源信号的待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集;对所述参考发音方向集进行参数分析,确定所述参考关联声源信号的发音方向参数。2.根据权利要求1所述的方法,其特征在于,所述从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集,包括:对所述参考声源数据进行重要信息识别,生成所述参考声源数据中包括的不少于一个待处理声源信号中的各个待处理声源信号的音频对应的参考重要节点;针对不少于一个待处理声源信号中的各个待处理声源信号,基于该待处理声源信号对应的参考重要节点,生成该待处理声源信号对应的待处理声纹数据集。3.根据权利要求1或2所述的方法,其特征在于,所述基于参考挖掘声源信号的音频对应的第一声源数据关键描述和各个待处理声纹数据集对应的第二声源数据关键描述,从所述不少于一个待处理声源信号中挑选与所述参考挖掘声源信号相关联的参考关联声源信号,包括:将所述参考挖掘声源信号的音频对应的第一声源数据关键描述与各个待处理声纹数据集对应的第二声源数据关键描述进行关联,并将与第一声源数据关键描述相关联的第二声源数据关键描述所对应的待处理声源信号确定为所述参考关联声源信号。4.根据权利要求3所述的方法,其特征在于,在所述从参考声源数据中,获得不少于一个待处理声源信号的音频对应的待处理声纹数据集之前,还包括:获得挖掘声源数据;结合所述挖掘声源数据,生成参考挖掘声源信号以及所述参考挖掘声源信号的音频在所述挖掘声源数据中对应的第一声源数据关键描述。5.根据权利要求4所述的方法,其特征在于,所述结合所述挖掘声源数据,生成参考挖掘声源信号,包括:对所述挖掘声源数据进行重要信息识别,生成所述挖掘声源数据中包括的不少于一个原始声源信号中的各个原始声源信号的音频对应的参考重要节点;基于各个原始声源信号的音频对应的参考重要节点的重要节点偏置度信息,从所述不少于一个原始声源信号中挑选确定所述参考挖掘声源信号。6.根据权利要求5所述的方法,其特征在于,所述基于参考关联声源信号的待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集,包括:结合所述音频与所述发音方向的第一映射关系数据,生成所述待处理声纹数据集和所述参考发音方向集之间的第二映射关系数据;结合所述第二映射关系数据和所述待处理声纹数据集,从所述参考声源数据中获得所述参考关联声源信号的发音方向对应的参考发音方向集。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:在确定不存在与第一声源数据关键描述相关联的第二声源数据关键描述的基础上,基于各个待处理声源信号的音频对应的参考重要节点的重要节点偏置度信息,生成新的参考挖掘声源信号。8.根据权利要求7所述的方法,其特征在于,所述对所述参考发音方向集进行参数分析,确定所述参考关联声源信号的发音方向参数,包括:结合所述参考发音方向集,从所述参考声源数据读取出所述参考发音方向集对应的声源特征数据;通过在先配置好的人工智能线程,获取所述声源特征数据的声源振动描述和声源方位描述;获取所述声源特征数据中与存在差异的特征指示逐一对应的声源振动描述;其中,若干个特征指示中包括相似的第一特征指示和第二特征指示,所述第一特征指示小于所述第二特征指示;所述第一特征指示对应的声源振动描述是结合所述第二特征指示对应的声源振动描述以及第二特征指示对应的声源振动描述的声源方位描述所得的;所述第二特征指示对应的声源振动描述的声源方位描述为通过在先配置好的所述人工智能线程获取得到的;基于存在差异的特征指示逐一对应的声源振动描述对所述声源特征数据进行参数分析,确定所述参考关联声源信号的发音方向参数。9.根据权利要求8所述的方法,其特征在于,所述基于存在差异的特征指示逐一对应的声源振动描述对所述声源特征数据进行参数分析,包括:针对所述存在差异的特征指示中的各个特征指示,基于该特征指示对应的声源振动描述,生成所述声源特征数据在该特征指示下的第一声源分析结果;结合所述声源特征数据在各个特征指示下的第一声源分析结果,生成所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性;结合所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性和指定挖掘可能性向量,对所述声源特征数据进行参数分析。10.根据权利要求9所述的方法,其特征在于,所述结合所述声源特征数据在各个特征指示下的第一声源分析结果,生成所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性,包括:依照所述存在差异的特征指示进行多轮拼接处理之后,确定所述声源特征数据中各个声源定位为发音方向对应的声源定位的可能性;其中,所述多轮拼接处理中第m轮拼接处理包括:生成所述第一特征指示下的第一声源分析结果的第一偏置度信息;通过所述第一特征指示下的第一声源分析结果的第一偏置度信息,对所述第一特征指示下的第一声源分析结果和所述第二特征指示下的第一声源分析结果进行拼接,确定所述第二特征指示下的参考声源分析结果;将所述参考声源分析结果优化为第m+1轮拼接过程中第一特征指示的第一声源分析结果;其中,在所述确定所述参考关联声源信号的发音方向参数之后,还包括:结合所述发音方向参数,将所述参考声源数据中的发音方向对应的声源定位的分析变量配置为第一参考变量;
将所述参考声源数据中的除所述发音方向以外的声源定位的分析变量配置为第二参考变量。

技术总结


本申请提供的一种基于虚拟现实的发音装置空间方向参数获取方法,只需要对参考发音方向集进行参数分析,不需要对参考声源数据中的剩余数据进行处理,既能够减少声源数据处理的工作量,还能够保障需要处理的声源数据的精确性,在降低需要处理的声源数据片段的前提下,降低了数据处理的工作量。并且,由于只需要对参考发音方向集的声源数据进行处理,所以有利于提高识别发音方向的参数识别准确性,从而能够更加准确的发音方向参数。够更加准确的发音方向参数。够更加准确的发音方向参数。


技术研发人员:

王灏宏 黎建华 杨尉

受保护的技术使用者:

广州市影擎电子科技有限公司

技术研发日:

2022.10.25

技术公布日:

2023/2/3

本文发布于:2023-02-24 11:21:58,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/3/55302.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:声源   数据   特征   所述
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图