1.本发明涉及机器学习技术领域,更具体地,涉及一种基于
声学信号的人体摔倒检测方法和系统。
背景技术:
2.自从医疗技术发展以来,人类的寿命大大延长,许多国家出现老龄化现象。老年人容易因摔倒导致骨折和软组织挫伤,如果没有及时检测到摔倒并采取措施,很可能会导致死亡。因此,迫切需要一种方便、有效且能自动检测老年人摔倒的技术方案,以便及时检测到摔倒事件并及时提供医疗援助,从而降低摔倒所造成伤害的严重程度。
3.现有的摔倒检测技术主要是基于可穿戴设备、基于视觉、基于无线信号或基于声音的方案。基于可穿戴设备的方案要求用户时刻佩戴可穿戴设备,并且在电源方面存在续航问题。当用户忘记随时携带设备、忘记充电或将设备取下充电时,则失去检测能力。基于视觉的检测方法可以有效地检测摔倒事件,但存在较大隐私问题且高度依赖于良好的光照环境,无法检测盲点中的人类活动。在基于无线信号的方案中,基于wifi的方案会影响其原有的通信功能,基于雷达的方案价格往往很昂贵。在基于声音的方案中,只采集跌倒声音的系统误报率较高且易受环境噪声干扰,只使用超声波的系统在非视线环境下由于超声被阻挡而导致性能急剧下降。
技术实现要素:
4.本发明的目的是克服上述现有技术的缺陷,提供一种基于声学信号的人体摔倒检测方法和系统,能够更加准确、低误报率、无隐私风险、免穿戴且不受噪声和障碍物影响,通过充分利用声学信号实现人体摔倒检测。
5.根据本发明的第一方面,提供一种基于声学信号的人体摔倒检测方法。该方法包括以下步骤:
6.控制扬声器以设定的频率产生超声波,并利用麦克风采集人体摔倒时产生的声学信号,
所述声学信号包括人体碰撞产生的声音信号以及对超声波的反射信号;
7.对所述声学信号进行分流和去噪,获得人体碰撞产生的
低频信号以及人体反射超声波的高频信号;
8.检测所述低频信号中人体活动的起始点和结束点,并检测所述高频信号中人体活动的起始点和结束点,进而确定所述声学信号的起始点和结束点;
9.分别对所述低频信号和所述高频信号进行特征提取,得到低频信号特征和高频信号特征;
10.将所述低频信号特征和所述高频信号特征输入预训练的双流长短时记忆网络分类模型,获得摔倒检测结果。
11.根据本发明的第二方面,提供一种基于充分利用声学信号的人体摔倒检测系统。该系统包括:
12.信号采集模块:用于控制扬声器以设定的频率产生超声波,并利用麦克风采集人体摔倒时产生的声学信号,所述声学信号包括人体碰撞产生的声音信号以及对超声波的反射信号;
13.信号处理模块:用于对所述声学信号进行分流和去噪,获得人体碰撞产生的低频信号以及人体反射超声波的高频信号;检测所述低频信号中人体活动的起始点和结束点,并检测所述高频信号中人体活动的起始点和结束点,进而确定所述声学信号的起始点和结束点;
14.特征提取模块:用于分别对所述低频信号和所述高频信号进行特征提取,得到低频信号特征和高频信号特征;
15.模型分类模块:用于将所述低频信号特征和所述高频信号特征输入预训练的双流长短时记忆网络分类模型,获得摔倒检测结果。
16.与现有技术相比,本发明的优点在于,利用普通的音频设备(扬声器和麦克风),充分利用摔倒时产生的声学信号(人体与地面碰撞产生的声音信号和对超声波的反射信号),实现针对摔倒的实时监测,对摔倒的识别准确且误报率低,使摔倒的用户能得到及时的干预和救治。
17.通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
18.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
19.图1是根据本发明一个实施例的基于声学信号的人体摔倒检测方法的流程图;
20.图2是根据本发明一个实施例的基于声学信号的人体摔倒检测系统的框架示意图;
21.图3是根据本发明一个实施例对端点分割后的信号进行频率泄露消除处理前的效果示意图;
22.图4是根据本发明一个实施例对端点分割后的信号进行频率泄露消除处理后的效果示意图。
具体实施方式
23.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
24.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
25.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
26.在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
27.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
28.参见图1所示,所提供的基于声学信号的人体摔倒检测方法包括以下步骤。
29.步骤s1,使用普通音箱发出超声波,麦克风采集人体摔倒时产生的声学信号。
30.具体地,将扬声器和麦克风(或其他能发射声波和采集声音的设备)布置于使用环境的角落,控制扬声器发出20000hz的超声波,麦克风采集人体摔倒时产生的声学信号(包括人体与地面碰撞产生的声音信号和对超声波的反射信号)并将其转化为数字电信号供后续处理。例如,麦克风采样频率设为48000hz。
31.步骤s2,对麦克风采集到的声学信号进行分流和去噪。
32.在一个实施例中,步骤s2包括以下子步骤:
33.步骤s21,对于麦克风接收到的原始声学信号,应用巴特沃斯低通滤波器滤波,得到人体与地面碰撞产生的声音信号(低频信号)。例如,将滤波器阶数设为二阶,截止频率设置为18000hz。
34.步骤s22,对原始声学信号分帧并使用快速傅里叶变换(fast fourier transform,fft)得到实时频谱图,从而得到人体对超声波反射部分(高频信号部分)的频谱图。
35.具体地,在48000hz的采样率下,将原始信号分解为一系列小的重叠信号,每个信号的长度为0.3s,两个连续信号的重叠率为90%。然后,将每帧信号乘以汉明窗,并对每帧应用16384点的快速傅里叶。最终得到频谱矩阵x(f)=[x1(f)x2(f)
…
xk(f)],k∈r,f∈[19.4khz,20.6khz]。高频频带[19400hz,20600hz]包含人体运动对超声波的大部分反射信号,因此通过截取f的频率范围[19400hz,20600hz]得到人体对超声波的反射信号的频谱图。
[0036]
步骤s23,利用谱减法去除高频信号频谱图中的噪声;
[0037]
首先,直接将19980到20020hz之间频谱上的能量置零,消除从扬声器发射后通过直接路径传输到麦克风的直接传输信号的影响。
[0038]
接下来,消除麦克风硬件缺陷导致的噪声。具体地,估计非活动频率(高于20600hz)的频谱噪声,并构建噪声的振幅直方图。频谱分割阈值n
th
可以定义为n
th
=μ+kσ,k∈r,其中,μ是平均值,σ是噪声直方图高斯近似的标准偏差。选择k值来调整不同环境中的分割阈值,以保留中心频率附近的弱能量分量并过滤噪声能量。然后,将阈值n
th
应用于频谱谱图,得到其中s(f,t)表示频谱图上频率f和时间t的功率。
[0039]
步骤s3,对去噪后的信号进行端点分割。
[0040]
在一个实施例中,步骤s3包括以下子步骤:
[0041]
步骤s31,利用基于帧能量均方根阈值法检测低频信号中的活动,假设从麦克风采集到的原始声学信号中分离出来的低频信号的时域信号为x(n),第n帧信号为xn(m)=x((n-1)*l+m),其中l为帧跳0.27s,m∈[0,n-1],n为帧长0.3s;则第n帧低频信号xn(m)的帧能量均方根为:在进行信号检测时,当信号持续超过阈值
并且维持了一段时间t时(t大于1s),则认为该信号是活动信号,进一步对这个信号进行切割,将其起始点t
s1
和结束点t
e1
提取出来。具体地,首先判断活动信号的起点,选择例如是在超过阈值的第一帧之前的(即上一帧的最后一个)采样点作为起始点;然后,判断该次信号的结束,例如,在信号连续m个帧的能量低于阈值后的第一个采样点。
[0042]
步骤s32,利用功率爆发曲线(pbc)阈值法检测高频信号中的活动,可通过以下公式计算pbc:其中pbc表示频率f
l
和fu之间的信号功率之和。对于正频率,f
l
=20020hz,fu=20600hz。设置了一个阈值pbc
th
:其中,nth是步骤s23中估计的噪声阈值。当高频信号频谱图的pbc超过预定义阈值pbc
th
时,它被视为活动信号。通过识别pbc和pbc
th
噪声阈值之间的两个交点,确定信号的起始位置t
s2
和结束位置t
e2
。
[0043]
步骤s33,确定信号的最终的起始点ts和结束点te。当低频信号有活动信号而高频信号无活动信号时,ts=t
s1
,te=t
e1
;相反,当低频信号无活动信号而高频信号有活动信号时,ts=t
s2
,te=t
e2
;当两者都有活动信号时,ts=min(t
s1
,t
s2
),te=max(t
e1
,t
e2
)。
[0044]
步骤s4,消除摔倒声音频率泄露对高频信号频谱的影响。
[0045]
当高频信号较弱时,摔倒或类似摔倒活动产生的声音会泄漏频率成分到20000hz处,并与超声波反射信号混合。在一个实施例中,提出了一种频率泄露消除算法。首先提取高频信号频谱包络线,然后计算包络线的导数。接下来求出导数的最高点和最低点的下一点,然后将这两点对应的包络线上的两个点连接起来获得新的包络线,最后将新包络线外的频谱置零。本实施例所述频率泄露消除算法能够很好地消除频率泄漏对多普勒信号的影响,其消除处理前和对齐处理后的效果图如图3和图4所示,由此可知,高频信号频谱在经过频率泄露消除处理后,活动信号的频谱更符合真实活动,有利于更加精准的判断摔倒信号。
[0046]
步骤s5,分别对低频信号和高频信号进行特征提取。
[0047]
在一个实施例中,步骤s5包括以下子步骤:
[0048]
步骤s51,求取低频信号的倒mel谱系数(mfcc)系数和线性预测编码(lpc),提取mfcc的前四个系数和lpc的第二到第五个系数,组成一个8维时间序列作为低频信号的特征。
[0049]
步骤s52,求取高频信号频谱区间[19400hz,20600hz]的三组特征,包括:速度曲线特征、极值比率曲线和频谱熵等。
[0050]
例如,对于速度曲线特征,提取频率曲线如下:
[0051][0052]
其中,表示与频率范围f
l
到f之间累积的能量,表示时间t处多普勒信号的总能量。将t(f,t)的阈值设置为30%、75%和95%,分别表示躯干运动、腿部运动和手臂运动对应的频率f。总共6条速度曲线,分别对应于正侧和负侧的手臂运动、腿部运动和躯干运动。
[0053]
对于极值比率曲线,表示为:
[0054][0055]
其中,f
+max
(t)表示20000hz以上的最大频率偏移;f-min
(t)表示20000hz以下的最小频移,计算方法类似于f
+max
(t)。
[0056]
对于频谱熵,某一时刻t的频谱熵h(t)表示如下:
[0057][0058]
其中p(f,t)是频率f和时间t处的归一化功率谱密度,其中p(f,t)是功率谱密度。
[0059]
进一步地,将上述三组特征形成一个8维时间序列作为高频信号频谱的特征。
[0060]
步骤s6,将提取的特征输入多模态分类网络进行摔倒检测。
[0061]
例如,采用双流lstm(长短时记忆)分类网络,将提取的特征输入神经网络模型进行摔倒检测。
[0062]
在一个实施例中,步骤s6包括以下子步骤:
[0063]
步骤s61,构造神经网络模型。
[0064]
双流lstm分类网络模型包括为低频信号和高频信号分别设计的两个lstm网络,两个lstm网络的输入维度均设置为8,对应低频信号和高频信号各自8个特征序列。lstm的输出类别设置为2,对应摔倒/非摔倒两种事件。lstm网络层数设置为2,隐藏维度设置为4。最后两个lstm网络通过trusted multi-view classification算法(han z,zhang c,fu h,et al.trusted multi-view classification[j].arxiv preprint arxiv:2102.02051,2021.)进行决策融合,共同训练。
[0065]
步骤s62,对双流lstm分类网络进行训练和测试。
[0066]
在训练阶段,将摔倒活动和非摔倒活动分别记为0和1,作为数据标签进行模型训练;在测试阶段,则输出已训练的双流lstm分类网络的测试结果。
[0067]
步骤s62,基于双流lstm分类网络的检测方法,将提取的低频特征和高频特征输入双流lstm分类网络模型并得到检测结果;
[0068]
步骤s7,将检测结果对用户进行反馈,如果检测到摔倒活动,及时在关联的智能手机app中显示。
[0069]
相应地,本发明还提供一种基于声学信号的摔倒检测系统,用于实现上述方法的一个方面或多个方面。例如,该系统包括:信号采集模块,用于控制扬声器发射超声波以及麦克风采集声学信号;信号处理模块,用于对麦克风接收到的声学信号进行分流、去噪、端点分割、频率泄露消除;特征提取模块,分别对低频信号和高频信号进行特征提取;模型分类模块,将提取的特征输入神经网络模型进行摔倒检测;结果反馈模块:用于将检测结果对用户进行反馈并在系统中显示。
[0070]
进一步地,所述信号采集模块还包括:
[0071]
信号采集单元,用于控制扬声器发射超声波并控制麦克风采集声学信号;
[0072]
进一步地,所述信号处理模块还包括:
[0073]
信号分流单元,对接收的原始声学信号进行分流,从而得到人体与地面碰撞产生的声音信号(低频信号)和人体对超声波反射部分(高频信号部分)的频谱图;
[0074]
频谱去噪模块,利用谱减法去除高频信号频谱图中的噪声;
[0075]
端点分割单元,利用基于帧能量均方根阈值法和功率爆发曲线阈值法检测用户活动信号的起始点和结束点,从而分割出单次活动信号;
[0076]
频率泄露消除单元,利用所提出消除频率泄漏消除算法消除摔倒声音频率泄露对超声波多普勒信号的影响。
[0077]
进一步地,所述特征提取模块还包括:
[0078]
低频信号特征提取单元,对低频信号提取mfcc前四个系数和lpc第二至第五个系数组成8维的时间序列特征;
[0079]
高频信号特征提取单元,对高频信号频谱区间[19400hz,20600hz]提取三组特征,包括速度曲线特征、极值比率曲线和频谱熵。以上三组特征形成8维的时间序列特征。
[0080]
进一步地,所述模型分类模块还包括:
[0081]
神经网络构造单元,基于lstm网络和多视图分类算法trusted multi-view classification构造出双流lstm分类网络。
[0082]
训练测试单元,双流lstm分类网络具有训练阶段和测试阶段。在训练阶段,将摔倒活动和非摔倒活动分别记为0和1,作为数据标签进行模型训练;在测试阶段,则输出已训练的双流lstm分类网络的测试结果。
[0083]
分类单元,基于双流lstm分类网络的检测方法,将提取的低频特征和高频特征输入双流lstm分类网络模型并得到检测结果。
[0084]
进一步地,所述结果反馈模块包含可视化单元,用于将检测结果在关联的智能设备app中进行可视化显示。
[0085]
综上所述,本发明解决了现有技术中穿戴设备麻烦,摄像头隐私泄露,无线信号鲁棒性差等问题,并解决了声音易受噪声干扰和超声波易受阻挡等问题。此外,本发明的检测方式新颖且方便可靠,能够被广泛部署在现在家庭音频设备中,且对人体无害。
[0086]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0087]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0088]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计
算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0089]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
[0090]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
[0091]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0092]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0093]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0094]
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也
不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
技术特征:
1.一种基于声学信号的人体摔倒检测方法,包括以下步骤:控制扬声器以设定的频率产生超声波,并利用麦克风采集人体摔倒时产生的声学信号,所述声学信号包括人体碰撞产生的声音信号以及对超声波的反射信号;对所述声学信号进行分流和去噪,获得人体碰撞产生的低频信号以及人体反射超声波的高频信号;检测所述低频信号中人体活动的起始点和结束点,并检测所述高频信号中人体活动的起始点和结束点,进而确定所述声学信号的起始点和结束点;分别对所述低频信号和所述高频信号进行特征提取,得到低频信号特征和高频信号特征;将所述低频信号特征和所述高频信号特征输入预训练的双流长短时记忆网络分类模型,获得摔倒检测结果。2.根据权利要求1所述的方法,其特征在于,所述麦克风的采样频率设为48000hz,所述扬声器被控制为发出20000hz的超声波。3.根据权利要求1所述的方法,其特征在于,对所述声学信号进行分流和去噪包括:对于所述声学信号,利用巴特沃斯低通滤波器滤波,得到人体碰撞产生的低频信号;对于所述声学信号分帧并使用快速傅里叶变换得到人体对超声波反射的高频信号频谱图;利用谱减法去除所述高频信号频谱图中的噪声。4.根据权利要求1所述的方法,其特征在于,所述声学信号的起始点和结束点根据以下步骤确定:利用基于帧能量均方根阈值法检测出所述低频信号中人体活动的起始点t
s1
和结束点t
e1
;利用功率爆发曲线阈值法检测出所述高频信号中的人体活动的起始点t
s2
和结束点t
e2
;确定所述声学信号的起始点t
s
和结束点t
e
,其中当低频信号有活动信号而高频信号无活动信号时,t
s
=t
s1
,t
e
=t
e1
;当低频信号无活动信号而高频信号有活动信号时,t
s
=t
s2
,t
e
=t
e2
;当低频信号和高频信号都有活动信号时,t
s
=min(t
s1
,t
s2
),t
e
=max(t
e1
,t
e2
)。5.根据权利要求1所述的方法,其特征在于,所述低频信号特征根据以下步骤获得:求取低频信号的倒mel谱系数mfcc和线性预测编码lpc,提取mfcc的前四个系数和lpc的第二到第五个系数,组成一个8维时间序列特征作为所述低频信号特征;所述高频信号特征对应设定频谱区间[19400hz,20600hz]的三组特征,分别是速度曲线特征、极值比率曲线和频谱熵,所述三组特征组成8维的时间序列特征。6.根据权利要求5所述的方法,其特征在于,对于所述速度曲线特征,提取频率曲线表示为:其中,表示与频率范围f
l
到f之间累积的能量,表示时间t处多普勒信号的总能量,将t(f,t)的阈值设置为30%、75%和95%,分别表示躯干运动、腿部运
动和手臂运动对应的频率f,总共6条速度曲线,分别对应于正侧和负侧的手臂运动、腿部运动和躯干运动;对于所述极值比率曲线,表示为:其中,f
+max
(t)表示20000hz以上的最大频率偏移,f-min
(t)表示20000hz以下的最小频移;对于所述频谱熵,某一时刻t的频谱熵h(t)表示为:其中,p(f,t)是频率f和时间t处的归一化功率谱密度,其中,p(f,t)是频率f和时间t处的归一化功率谱密度,p(f,t)是功率谱密度,f
l
和f
u
表示频率值。7.根据权利要求1所述的方法,其特征在于,在提取所述高频信号特征之前,根据以下步骤从所述高频信号中,消除摔倒声音的频率泄露:提取高频信号频谱包络线,并计算包络线的导数;求出导数的最高点作为第一点,求出导数的最低点的下一点作为第二点,将第一点和第二点对应的包络线上的两个点连接起来获得新的包络线;将新包络线外的频谱置零。8.根据权利要求1所述的方法,其特征在于,还包括:将所述检测结果对用户进行反馈,如果检测到摔倒活动,则在关联的智能设备app中进行显示。9.一种基于充分利用声学信号的人体摔倒检测系统,包括:信号采集模块:用于控制扬声器以设定的频率产生超声波,并利用麦克风采集人体摔倒时产生的声学信号,所述声学信号包括人体碰撞产生的声音信号以及对超声波的反射信号;信号处理模块:用于对所述声学信号进行分流和去噪,获得人体碰撞产生的低频信号以及人体反射超声波的高频信号;检测所述低频信号中人体活动的起始点和结束点,并检测所述高频信号中人体活动的起始点和结束点,进而确定所述声学信号的起始点和结束点;特征提取模块:用于分别对所述低频信号和所述高频信号进行特征提取,得到低频信号特征和高频信号特征;模型分类模块:用于将所述低频信号特征和所述高频信号特征输入预训练的双流长短时记忆网络分类模型,获得摔倒检测结果。10.一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。
技术总结
本发明公开了一种基于声学信号的人体摔倒检测方法和系统。该方法包括:控制扬声器以设定的频率产生超声波,并利用麦克风采集人体摔倒时产生的声学信号;对所述声学信号进行分流和去噪,获得人体碰撞产生的低频信号以及人体反射超声波的高频信号;检测所述低频信号中人体活动的起始点和结束点,并检测所述高频信号中人体活动的起始点和结束点,进而确定所述声学信号的起始点和结束点;分别对所述低频信号和所述高频信号进行特征提取,得到低频信号特征和高频信号特征;将所述低频信号特征和所述高频信号特征输入预训练的双流长短时记忆网络分类模型,获得摔倒检测结果。本发明能实现实时的摔倒监测,识别准确且误报率低。识别准确且误报率低。识别准确且误报率低。
技术研发人员:
伍楷舜 陈殿楠 王泰华
受保护的技术使用者:
深圳大学
技术研发日:
2022.11.02
技术公布日:
2023/3/24