一种广义旁瓣抵消器及语音增强方法

阅读: 评论:0



1.本发明涉及语音增强技术领域,特别是涉及一种广义旁瓣抵消器及语音增强方法。


背景技术:



2.阵列语音增强算法采用多个阵元进行信号采集,由于空间排布上的差异性,导致不同阵元之间接收到的信号出现时延相位差。阵列信号增强通常利用这一特点,借助阵列的空时信息对语音进行降噪处理,相较于单通道语音增强算法表现出更为鲁棒的效果。该算法使用信号到达麦克风的时延差估计来波方向并在该方向上为信号提供增益,或者通过滤波达到语音增强的目的,波束形成就是其中一类成熟的算法。最早提出的波束形成器是固定波束形成器,但是固定波束形成器在面对移动的干扰源或者当目标声源位置发生变化时,表现出了算法的局限性,因此出现了改进的自适应波束形成算法。率先提出的是最小方差无失真响应(minimum variance distortion-less response,mvdr)波束形成,以在信号无失真输出的同时使得零均值信号的方差最小为目标。
3.mvdr是一种约束优化问题,计算复杂,因此后续进一步提出了广义旁瓣抵消器(generalized sidelobe canceller,gsc),gsc是一种无约束优化问题,相较于mvdr波束形成器而言更能够适用于变化的环境噪声,因而被广泛使用。图1为广义旁瓣抵消器的原理图,从图中可以看到,gsc主要可以分为三部分,分别是固定波束形成(fixed beamformer,fbf),阻塞矩阵(blocking matrix,bm)以及自适应噪声控制(adaptive noise control,anc)。信号经由上支路固定波束形成部分,得到降噪后的目标信号,经由下支路的阻塞矩阵输出只保留噪声和干扰部分,再通过自适应噪声控制不断逼近上支路输出信号中的残留噪声,最终输出信号由两部分信号相减所得。
4.但是当对来波方向的估计出现偏差时,gsc中下支路中的bm将无法完全阻塞目标语音信号,产生信号泄露问题,造成在后续的anc模块中输出的信号与上支路的期望语音信号之间相互抵消,造成最终输出的语音信号失真。


技术实现要素:



5.本发明所要解决的技术问题是提供一种广义旁瓣抵消器及语音增强方法,能够提升广义旁瓣抵消器的降噪效果。
6.本发明解决其技术问题所采用的技术方案是:提供一种广义旁瓣抵消器,包括:
7.固定波束形成部分,用于对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;
8.阻塞矩阵部分,用于过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;
9.自适应噪声控制部分,用于采用nlms算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;
10.输出部分,用于将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。
11.所述的广义旁瓣抵消器还包括预处理部分,所述预处理部分位于所述固定波束形成部分的前端,用于对所述阵列信号进行预加重以补偿信号传播过程中损失的高频分量,并对所述阵列信号进行分帧加窗以确保所述阵列信号的短时平稳性。
12.所述自适应噪声控制部分的滤波系数更新公式为:其中,wa(n)表示自适应噪声控制部分中第n个滤波系数,αs是平滑因子,μa为步长因子,x(n)表示当前帧语音信号,e(n)为当前所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号的误差,c为常数。
13.所述的广义旁瓣抵消器还包括语音活性检测部分,所述语音活性检测部分位于所述阻塞矩阵部分和所述自适应噪声控制部分之间,用于判定所述阻塞矩阵部分输出信号的当前帧性质;所述自适应噪声控制部分根据所述语音活性检测部分的判定结果更新步长因子。
14.所述自适应噪声控制部分根据所述语音活性检测部分的判定结果更新步长因子具体为:当所述语音活性检测部分的判定结果为语音帧时,μa=0.01μ;当所述语音活性检测部分的判定结果为噪声帧时,μa=μ,其中,μ为经验常数。
15.本发明解决其技术问题所采用的技术方案是:提供一种语音增强方法,包括以下步骤:
16.对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;
17.过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;
18.采用nlms算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;
19.将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。
20.所述对阵列信号进行时延估计以及时延补偿前,还包括:
21.对所述阵列信号进行预加重以补偿信号传播过程中损失的高频分量,并对所述阵列信号进行分帧加窗以确保所述阵列信号的短时平稳性。
22.所述采用nlms算法对所述噪声和干扰信号进行迭代计算时,通过更新滤波系数,其中,wa(n)表示自适应噪声控制部分中第n个滤波系数,αs是平滑因子,μa为步长因子,x(n)表示当前帧语音信号,e(n)为当前所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号的误差,c为常数。
23.所述采用nlms算法对所述噪声和干扰信号进行迭代计算前,还包括:
24.判定所述阻塞矩阵部分输出信号的当前帧性质;
25.所述采用nlms算法对所述噪声和干扰信号进行迭代计算时,根据所述阻塞矩阵部分输出信号的当前帧性质更新步长因子。
26.所述根据所述阻塞矩阵部分输出信号的当前帧性质更新步长因子时,当所述根据所述阻塞矩阵部分输出信号的当前帧为语音帧时,μa=0.01μ;当所述根据所述阻塞矩阵部分输出信号的当前帧为噪声帧时,μa=μ,其中,μ为经验常数。
27.有益效果
28.由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明采用了nlms算法代替广义旁瓣抵消器中传统的anc部分,以加快迭代更新的速度,使得gsc能够适用于更多的应用场景。其次,在自适应噪声控制部分前对阻塞矩阵的输出进行了语音活性(voice activity detection,vad)检测,根据vad检测的检测结果实时更新anc中的迭代步长因子,并且在迭代过程中引入平滑因子实现对滤波系数的计算,考虑了语音的连续性同时也保证了其鲁棒性。
附图说明
29.图1是现有技术中广义旁瓣抵消器的原理图;
30.图2是本发明实施方式的广义旁瓣抵消器原理图。
具体实施方式
31.下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本技术所附权利要求书所限定的范围。
32.本发明的实施方式涉及一种广义旁瓣抵消器,如图2所示,包括:固定波束形成部分,用于对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;阻塞矩阵部分,用于过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;自适应噪声控制部分,用于采用nlms算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;输出部分,用于将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。
33.本实施方式中的广义旁瓣抵消器还包括语音活性检测部分,所述语音活性检测部分位于所述阻塞矩阵部分和所述自适应噪声控制部分之间,用于判定所述阻塞矩阵部分输出信号的当前帧性质;所述自适应噪声控制部分根据所述语音活性检测部分的判定结果更新步长因子。
34.由此可见,本实施方式采用的技术方案是,对期望语音存在与不存在的情况进行分别讨论,以不同方式更新anc的滤波系数的方式来减少语音失真。首先,在进行自适应噪声控制部分前对阻塞矩阵的输出信号引入语音活性检测(voice activity detection,vad)部分,通过vad检测部分的检测结果选取不同的步长因子进行滤波系数的迭代更新,使迭代步长可以在不同的信号下实现实时的更新与变化,提高迭代的精度。其次,anc最常使用的是最小均方(least mean square,lms)算法进行权重的迭代更新,在本实施方式中采用归一化lms(normalized lms,nlms)算法进行改进以加快迭代更新的速度,同时对于nlms中滤波系数的迭代加入平滑因子以保证语音的连续性与算法的鲁棒性。
35.其在进行语音增强时,包括以下步骤:
36.步骤1:采用均匀线性麦克风阵列接收信号,对接收到的信号进行预处理,例如分帧加窗、预加重等。
37.本步骤中,假设阵列接收到的信号为x(t)=[x1(t),x2(t),

,xm(t)]
τ
,其中m为阵列当中的阵元数目,若信号源的数目为d,θ为信源入射到阵列上的角度,选取第一个阵元为参考阵元,第k个信源入射到第m个阵元相对于参考阵元的时延计算可得:
[0038][0039]
其中,d为均匀线阵中阵元之间的间距,c为光速。
[0040]
由于理想状况下,g
mk
为1,因此阵列接收信号x(t)可以表示为:
[0041][0042]
其中,λ表示信号波长,s(t)=[s1(t),s2(t),

,sm(t)]
τ
、n(t)=[n1(t),n2(t),

,nm(t)]
τ
分别为空间源信号及阵列加性噪声。
[0043]
对于阵列接收到的信号,首先需要进行预加重以补偿在语音信号传播过程中损失的高频分量,其次,对信号进行分帧加窗可以获得语音信号的短时平稳性。经预处理后的信号可以进行后续的gsc算法的处理流程。
[0044]
如图1所示,gsc的权重矢量写成w=w
q-bwa的形式,其中,wq是上支路中fbf的权重矢量,wa是下支路中anc的权重矢量,b为阻塞矩阵bm。因此gsc的最终输出可以写成y=w
τ
x。
[0045]
步骤2:gsc上支路的fbf首先对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号。
[0046]
本步骤中,上支路中fbf的权重矢量为wq=[w
q0
,w
q1
,

,w
q(m-1)
]
τ
,经延时求和后得到初步降噪后的语音信号为:
[0047][0048]
步骤3:gsc下支路首先通过bm过滤期望信号,并输出剩余的噪声及干扰信号。
[0049]
本步骤中,选取的阻塞矩阵为:
[0050][0051]
步骤4:通过vad算法得到阻塞矩阵输出信号当前帧的判定,并根据判定结果是语
音帧或者噪声帧来决定计算当前anc滤波系数时迭代更新的步长因子的大小;anc滤波系数更新时,采用改进的nlms算法进行迭代计算,通过平滑因子对滤波系数进行计算。具体为:
[0052]
首先对当前误差进行估计:
[0053]
e(n)=yf(n)-yb(n)
ꢀꢀꢀ
(5)
[0054]
对滤波系数进行更新时,由于采用的是nlms算法,因此滤波系数的更新公式为:
[0055][0056]
式中,wa(n)表示自适应噪声控制部分中第n个滤波系数,x(n)表示当前帧语音信号,c通常取一个很小的常数以保证步长不会过大,μa是一个实时更新的步长因子,αs是平滑因子。nlms以牺牲精度为代价加快了滤波系数的迭代更新,因此通过根据当前帧调整μa的值以保证gsc的稳健性。根据当前帧的vad判定结果,μa的更新方式如下:
[0057][0058]
式中,μ是一个经验常数。
[0059]
步骤5:将上支路输出的信号与下支路最终输出的信号相减得到最终gsc输出的增强信号,经由上支路fbf输出的增强后的语音信号与经由下支路输出的残留噪声之间的相互抵消采取相减的形式,得到最终输出的gsc增强后的目标信号。
[0060]
不难发现,本发明相较于传统的gsc算法,选择了迭代更新更快的nlms算法而非lms算法,在保证鲁棒性的同时提高了计算速度,适用于更多的应用场景。在广义旁瓣抵消器的bm部分后面添加了vad算法对当前输出信号进行语音帧和噪声帧的判定,为了在期望的目标信号不存在的情况下加快对于anc的滤波系数的更新,以获得对噪声更为准确的估计。其次,在改进的anc部分,根据vad算法的检测结果,对于滤波系数采用了不同的计算方式,有效地在下支路存在信号泄露的情况下输出噪声。同时,考虑到语音信号的连续性以及权重系数迭代更新时的关联性,采用了平滑因子对滤波系数进行改进。
[0061]
总体来说,针对广义旁瓣抵消器中常出现的信号泄露问题,本发明主要从下支路的自适应噪声控制部分进行改进,一方面提高了算法的迭代更新的速度,另一方面保证了算法的鲁棒性。本发明可以适用于不同的噪声环境,对于移动的声源或者混响环境也能够获得更好的表现。

技术特征:


1.一种广义旁瓣抵消器,其特征在于,包括:固定波束形成部分,用于对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;阻塞矩阵部分,用于过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;自适应噪声控制部分,用于采用nlms算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;输出部分,用于将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。2.根据权利要求1所述的广义旁瓣抵消器,其特征在于,还包括预处理部分,所述预处理部分位于所述固定波束形成部分的前端,用于对所述阵列信号进行预加重以补偿信号传播过程中损失的高频分量,并对所述阵列信号进行分帧加窗以确保所述阵列信号的短时平稳性。3.根据权利要求1所述的广义旁瓣抵消器,其特征在于,所述自适应噪声控制部分的滤波系数更新公式为:其中,w
a
(n)表示自适应噪声控制部分中第n个滤波系数,α
s
是平滑因子,μ
a
为步长因子,x(n)表示当前帧语音信号,e(n)为当前所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号的误差,c为常数。4.根据权利要求3所述的广义旁瓣抵消器,其特征在于,还包括语音活性检测部分,所述语音活性检测部分位于所述阻塞矩阵部分和所述自适应噪声控制部分之间,用于判定所述阻塞矩阵部分输出信号的当前帧性质;所述自适应噪声控制部分根据所述语音活性检测部分的判定结果更新步长因子。5.根据权利要求4所述的广义旁瓣抵消器,其特征在于,所述自适应噪声控制部分根据所述语音活性检测部分的判定结果更新步长因子具体为:当所述语音活性检测部分的判定结果为语音帧时,μ
a
=0.01μ;当所述语音活性检测部分的判定结果为噪声帧时,μ
a
=μ,其中,μ为经验常数。6.一种语音增强方法,其特征在于,包括以下步骤:对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;采用nlms算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。7.根据权利要求6所述的语音增强方法,其特征在于,所述对阵列信号进行时延估计以及时延补偿前,还包括:对所述阵列信号进行预加重以补偿信号传播过程中损失的高频分量,并对所述阵列信号进行分帧加窗以确保所述阵列信号的短时平稳性。
8.根据权利要求6所述的语音增强方法,其特征在于,所述采用nlms算法对所述噪声和干扰信号进行迭代计算时,通过更新滤波系数,其中,w
a
(n)表示自适应噪声控制部分中第n个滤波系数,α
s
是平滑因子,μ
a
为步长因子,x(n)表示当前帧语音信号,e(n)为当前所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号的误差,c为常数。9.根据权利要求8所述的语音增强方法,其特征在于,所述采用nlms算法对所述噪声和干扰信号进行迭代计算前,还包括:判定所述阻塞矩阵部分输出信号的当前帧性质;所述采用nlms算法对所述噪声和干扰信号进行迭代计算时,根据所述阻塞矩阵部分输出信号的当前帧性质更新步长因子。10.根据权利要求9所述的语音增强方法,其特征在于,所述根据所述阻塞矩阵部分输出信号的当前帧性质更新步长因子时,当所述根据所述阻塞矩阵部分输出信号的当前帧为语音帧时,μ
a
=0.01μ;当所述根据所述阻塞矩阵部分输出信号的当前帧为噪声帧时,μ
a
=μ,其中,μ为经验常数。

技术总结


本发明涉及一种广义旁瓣抵消器及语音增强方法,其中,广义旁瓣抵消器包括:固定波束形成部分,用于对阵列信号进行时延估计以及时延补偿,并通过加权求和的方式获得初步降噪后的语音信号;阻塞矩阵部分,用于过滤掉所述时延补偿后的阵列信号中的期望信号,输出噪声和干扰信号;自适应噪声控制部分,用于采用NLMS算法对所述噪声和干扰信号进行迭代计算,使得所述噪声和干扰信号逼近所述初步降噪后的语音信号中的残留噪声;输出部分,用于将所述初步降噪后的语音信号与迭代计算后的所述噪声和干扰信号相减,输出目标语音信号。本发明能够提升降噪效果。提升降噪效果。提升降噪效果。


技术研发人员:

肖思 李宝清

受保护的技术使用者:

中国科学院上海微系统与信息技术研究所

技术研发日:

2022.07.25

技术公布日:

2022/11/15

本文发布于:2022-11-27 05:11:35,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/4/6906.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   信号   语音   噪声
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图