一种基于AI视觉与语音的未来社区语音寻人系统及方法与流程

阅读：评论：0

一种基于ai视觉与语音的未来社区语音寻人系统及方法
技术领域
1.本发明涉及ai视觉领域，更具体地说，涉及一种基于ai视觉与语音的未来社区语音寻人系统及方法。

背景技术：

2.近几年来，随着人工智能技术不断发展进步，智能设备交互和感知的方式已经由单一场景升级为多模态融合，例如，传统小区的视频安防监控，现在已经演变为基于ai视觉的安防场景，如周界入侵监测、危险区域报警、离园预警等，这些新的功能场景使小区的治安更加便捷和高效，人脸识别是ai视觉最成功的应用之一，目前广泛应用于治安防控、小区/园区出入行等场景。
3.当前小区/社区主要使用视频分析平台+ai相机的组合，实现人脸识别、重点人员监控等功能，人脸识别算法，主要将识别到的人脸图片和已存在系统的人脸图片底库进行相似度比对、匹配，若两张图片的相似度大于设置的最大相似度（相对而言），达到一定基准范围（如98%相似），则人脸匹配成功，一般将人脸识别的视频安防事件，通过视频分析平台与社区运营管理中心打通并上报，这样，社区运营管理中心可以随时接收到事件信息，从而采取进一步的治安管控或其他措施。
4.现有技术中只单纯实现ai人脸检测或识别，与社区运营管理中心打通实现事件上报通知，完成视频安防场景，应用场景单一，且没有进一步挖掘ai多模态技术，没有通过数据融合充分联动社区系统、打通数据，同时居民除了人脸识别进出社区外，几乎未享受到ai技术带来的其他更便捷地服务体验。

技术实现要素：

5.针对现有技术中存在的问题，本发明的第一目的在于提供一种基于ai视觉与语音的未来社区语音寻人系统，它可以实现通过ai视觉、ai语音识别、声纹识别和室内智能终端的智能交互，在室内可实现便捷的语音寻人，为业主/居民带来极大的高效和便捷性，且可通过社区运营中心系统与边缘端ai视频分析系统以及智能终端厂家平台三方系统联动，实现业主信息、称谓标签信息、人脸信息、位置信息的融合打通，提升数据智能化融合以及使用价值，同时通过多模态数据融合，避免数据孤岛以及应用场景的单一性，创新地通过ai视觉与语音技术的结合，为业主提供未来社区衍生出的创新、智慧化生活服务；第二目的在于提供一种基于ai视觉与语音的未来社区语音寻人方法，实现社区运营中心管理系统负责与智能终端厂家平台互通，除接收上报的语音寻人以及设备信息外，还会维护家人称谓信息标签表，关联、映射业主基础信息，从而实现智能终端设备、居住空间、居民信息的融合与匹配。
6.为解决上述问题，本发明采用如下的技术方案。
7.一种基于ai视觉与语音的未来社区语音寻人系统，包括室内智能终端、智能终端厂家平台和社区运营管理中心；
所述室内智能终端与智能终端厂家平台信号连接，所述智能终端厂家平台与社区运营管理中心信号连接；所述室内智能终端包括超级屏、智能音箱和语音面板；所述超级屏与智能音箱电性连接，所述智能音箱与语音面板电性连接；所述社区运营管理中心包括ai语音平台、社区运营中心管理系统和边缘端ai视频分析系统；所述ai语音平台与超级屏电性连接，所述社区运营中心管理系统与边缘端ai视频分析系统电性连接；可以实现通过ai视觉、ai语音识别、声纹识别和室内智能终端的智能交互，在室内可实现便捷的语音寻人，为业主/居民带来极大的高效和便捷性，且可通过社区运营中心系统与边缘端ai视频分析系统以及智能终端厂家平台三方系统联动，实现业主信息、称谓标签信息、人脸信息、位置信息的融合打通，提升数据智能化融合以及使用价值，同时通过多模态数据融合，避免数据孤岛以及应用场景的单一性，创新地通过ai视觉与语音技术的结合，为业主提供未来社区衍生出的创新、智慧化生活服务。
8.一种基于ai视觉与语音的未来社区语音寻人方法，包括以下步骤：s1、将居民/业主信息通过社区运营中心进行身份认证并上传人脸照片，从而建立居民信息库；s2、在居民/业主户内部署有至少一套室内智能终端设备；s21、当居民/业主发起寻人时，可通过“唤醒词”唤醒室内智能终端设备；s22、在确定居民/业主寻人意图明确后，室内智能终端设备将语音数据叠加基础信息后上报至智能终端厂家平台，并通过智能终端厂家平台中转至社区运营中心管理系统进行解析；s23、社区运营中心管理系统解析后将查询到的家人位置信息，然后原路径返回至室内智能终端设备显示信息。
9.优选的，所述s1中的居民信息库具体建立流程为：居民/业主通过社区运营中心进行身份认证并上传人脸照片后，社区运营中心管理系统将人脸信息下发至边缘端ai视频分析系统，而后边缘端ai视频分析系统将居民人脸信息返回给社区运营中心管理系统，同时社区运营中心管理系统维护家属关系的标签，并根据返回的人员id、人脸照片id信息，建立业主/居民id、人脸信息以及家人称谓的对应关系，从而完成居民信息库的建立。
10.优选的，所述s22中的确定居民/业主寻人意图具体流程为：ai语音平台对上报的语音数据信息进行语音和声纹识别，当识别并确定本轮发起的是语音寻人的意图后，将转换后的结果回传给室内智能终端，并将叠加基础信息上报至智能终端厂家平台，同时向室内智能终端反馈语音寻人的查询信息已上报，否则，寻人意图不明确不进行动作。
11.优选的，所述转换后的结果具体为：文本格式的语音寻人意图信息和居民声纹识别信息；所述基础信息具体为：设备mac地址、位置、设备id、语音寻人的发起时间和语音寻人的意图。
12.优选的，所述s22中的社区运营中心管理系统进行解析具体流程为：根据上报的设备与空间信息，匹配业主信息；根据语音寻人解析到的家人称谓信息，匹配系统后台中的映射关系，关联得到待查的家人身份信息。
13.优选的，所述s23中的解析具体流程为：根据得到的家人id/业主id，向边缘端ai视频分析系统请求、查询人脸识别信息和ai相机的位置信息，边缘端ai视频分析系统根据业
主id，查询最近/最新识别到的人脸信息、ai相机位置信息和人脸图片信息，结合业主id统一返回至社区运营中心管理系统。
14.优选的，所述ai相机的位置信息具体为：相机位置对应于家人所在位置信息。
15.相比于现有技术，本发明的优点在于：一、本方案通过智能终端及ai视觉与ai语音的多模态融合，帮助居民在户内实现ai语音查老人、儿童或家人的位置信息，解决现有社区ai视觉应用场景单一的问题。
16.二、通过社区运营中心管理系统维护家人称谓信息的标签信息，同时建立与社区居民基础信息的映射，以及与边缘端ai视频分析系统联动匹配与映射，实现社区系统数据的打通和融合。
17.三、创造性地利用社区已有ai视觉能力以及整合ai语音识别能力，通过多模态数据融合衍生新的智慧便民服务。
18.四、室内智能终端设备以及智能终端厂家平台可以采用其他厂家的智能终端设备及平台，平台可采用对应的智能终端厂家平台，该平台负责与智能终端设备通信，并和社区运营中心管理系统打通。
19.五、通过社区运营中心管理系统打通智能终端厂家平台及边缘端ai视频分析系统，实现社区居民/业主信息、家人称谓标签信息、社区空间信息、人脸信息和ai相机位置信息，使信息与数据的融合、自动化映射，结合路径的地图绘制，使语音寻人的结果信息更为直观、便捷。
附图说明
20.图1为本发明的设备设施与平台系统组成示意图；图2为本发明的业主信息映射示意图；图3为本发明的语音寻人流程示意图。
具体实施方式
21.实施例1：请参阅图1-3，一种基于ai视觉与语音的未来社区语音寻人系统，包括室内智能终端、智能终端厂家平台和社区运营管理中心；所述室内智能终端与智能终端厂家平台信号连接，所述智能终端厂家平台与社区运营管理中心信号连接；所述室内智能终端包括超级屏、智能音箱和语音面板；所述超级屏与智能音箱电性连接，所述智能音箱与语音面板电性连接；超级屏/室内屏采用v39语音智能终端机，安装方式：86盒挂机板磁吸安装，屏幕为电容屏，语音面板采用语音液晶面板，两线（总线485和有线以太网），3.5寸液晶面板，用于家居设备语音控制、情景控制，智能音箱支持wifi及蓝牙；所述社区运营管理中心包括ai语音平台、社区运营中心管理系统和边缘端ai视频分析系统；所述ai语音平台与超级屏电性连接，所述社区运营中心管理系统与边缘端ai视频分析系统电性连接；可以实现通过ai视觉、ai语音识别、声纹识别和室内智能终端的智能交互，在室内可实现便捷的语音寻人，为业主/居民带来极大的高效和便捷性，且可通过社
区运营中心系统与边缘端ai视频分析系统以及智能终端厂家平台三方系统联动，实现业主信息、称谓标签信息、人脸信息、位置信息的融合打通，提升数据智能化融合以及使用价值，同时通过多模态数据融合，避免数据孤岛以及应用场景的单一性，创新地通过ai视觉与语音技术的结合，为业主提供未来社区衍生出的创新、智慧化生活服务；边缘端ai视频分析系统采用极视角边缘ai视频平台，主要实现社区边缘端ai人脸识别等ai能力，ai语音平台采用科大讯飞云平台，即讯飞aiui开放平台。
22.请参阅图2，一种基于ai视觉与语音的未来社区语音寻人方法，包括以下步骤：s1、将居民/业主信息通过社区运营中心进行身份认证并上传人脸照片，从而建立居民信息库；s2、在居民/业主户内部署有至少一套室内智能终端设备；s21、当居民/业主发起寻人时，可通过“唤醒词”唤醒室内智能终端设备；s22、在确定居民/业主寻人意图明确后，室内智能终端设备将语音数据叠加基础信息后上报至智能终端厂家平台，并通过智能终端厂家平台中转至社区运营中心管理系统进行解析；s23、社区运营中心管理系统解析后将查询到的家人位置信息，然后原路径返回至室内智能终端设备显示信息；所述s1中的居民信息库具体建立流程为：居民/业主通过社区运营中心进行身份认证并上传人脸照片后，社区运营中心管理系统将人脸信息下发至边缘端ai视频分析系统，而后边缘端ai视频分析系统将居民人脸信息返回给社区运营中心管理系统，同时社区运营中心管理系统维护家属关系的标签，并根据返回的人员id、人脸照片id信息，建立业主/居民id、人脸信息以及家人称谓的对应关系，从而完成居民信息库的建立。
23.请参阅图2，所述s22中的确定居民/业主寻人意图具体流程为：ai语音平台对上报的语音数据信息进行语音和声纹识别，当识别并确定本轮发起的是语音寻人的意图后，将转换后的结果回传给室内智能终端，并将叠加基础信息上报至智能终端厂家平台，同时向室内智能终端反馈语音寻人的查询信息已上报，否则，寻人意图不明确不进行动作。
24.请参阅图2，所述转换后的结果具体为：文本格式的语音寻人意图信息和居民声纹识别信息；所述基础信息具体为：设备mac地址、位置、设备id、语音寻人的发起时间和语音寻人的意图。
25.请参阅图2，所述s22中的社区运营中心管理系统进行解析具体流程为：根据上报的设备与空间信息，匹配业主信息；根据语音寻人解析到的家人称谓信息，匹配系统后台中的映射关系，关联得到待查的家人身份信息。
26.请参阅图2，所述s23中的解析具体流程为：根据得到的家人id/业主id，向边缘端ai视频分析系统请求、查询人脸识别信息和ai相机的位置信息，边缘端ai视频分析系统根据业主id，查询最近/最新识别到的人脸信息、ai相机位置信息和人脸图片信息，结合业主id统一返回至社区运营中心管理系统；所述ai相机的位置信息具体为：相机位置对应于家人所在位置信息。

技术特征：

1.一种基于ai视觉与语音的未来社区语音寻人系统，其特征在于：包括室内智能终端、智能终端厂家平台和社区运营管理中心；所述室内智能终端与智能终端厂家平台信号连接，所述智能终端厂家平台与社区运营管理中心信号连接；所述室内智能终端包括超级屏、智能音箱和语音面板；所述超级屏与智能音箱电性连接，所述智能音箱与语音面板电性连接；所述社区运营管理中心包括ai语音平台、社区运营中心管理系统和边缘端ai视频分析系统；所述ai语音平台与超级屏电性连接，所述社区运营中心管理系统与边缘端ai视频分析系统电性连接。2.根据权利要求1所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：包括以下步骤：s1、将居民/业主信息通过社区运营中心进行身份认证并上传人脸照片，从而建立居民信息库；s2、在居民/业主户内部署有至少一套室内智能终端设备；s21、当居民/业主发起寻人时，可通过“唤醒词”唤醒室内智能终端设备；s22、在确定居民/业主寻人意图明确后，室内智能终端设备将语音数据叠加基础信息后上报至智能终端厂家平台，并通过智能终端厂家平台中转至社区运营中心管理系统进行解析；s23、社区运营中心管理系统解析后将查询到的家人位置信息，然后原路径返回至室内智能终端设备显示信息。3.根据权利要求2所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述s1中的居民信息库具体建立流程为：居民/业主通过社区运营中心进行身份认证并上传人脸照片后，社区运营中心管理系统将人脸信息下发至边缘端ai视频分析系统，而后边缘端ai视频分析系统将居民人脸信息返回给社区运营中心管理系统，同时社区运营中心管理系统维护家属关系的标签，并根据返回的人员id、人脸照片id信息，建立业主/居民id、人脸信息以及家人称谓的对应关系，从而完成居民信息库的建立。4.根据权利要求2所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述s22中的确定居民/业主寻人意图具体流程为：ai语音平台对上报的语音数据信息进行语音和声纹识别，当识别并确定本轮发起的是语音寻人的意图后，将转换后的结果回传给室内智能终端，并将叠加基础信息上报至智能终端厂家平台，同时向室内智能终端反馈语音寻人的查询信息已上报，否则，寻人意图不明确不进行动作。5.根据权利要求4所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述转换后的结果具体为：文本格式的语音寻人意图信息和居民声纹识别信息；所述基础信息具体为：设备mac地址、位置、设备id、语音寻人的发起时间和语音寻人的意图。6.根据权利要求2所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述s22中的社区运营中心管理系统进行解析具体流程为：根据上报的设备与空间信息，匹配业主信息；根据语音寻人解析到的家人称谓信息，匹配系统后台中的映射关系，关联得到待查的家人身份信息。
7.根据权利要求2所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述s23中的解析具体流程为：根据得到的家人id/业主id，向边缘端ai视频分析系统请求、查询人脸识别信息和ai相机的位置信息，边缘端ai视频分析系统根据业主id，查询最近/最新识别到的人脸信息、ai相机位置信息和人脸图片信息，结合业主id统一返回至社区运营中心管理系统。8.根据权利要求7所述的一种基于ai视觉与语音的未来社区语音寻人系统的寻人方法，其特征在于：所述ai相机的位置信息具体为：相机位置对应于家人所在位置信息。

技术总结

本发明公开了一种基于AI视觉与语音的未来社区语音寻人系统及方法，属于AI视觉领域，包括室内智能终端、智能终端厂家平台和社区运营管理中心，可以实现AI视觉、AI语音识别、声纹识别和室内智能终端的智能交互，在室内可实现便捷的语音寻人，为业主/居民带来极大的高效和便捷性，且社区运营中心系统与边缘端AI视频分析系统以及智能终端厂家平台三方系统联动，实现业主信息、称谓标签信息、人脸信息、位置信息的融合打通，提升数据智能化融合以及使用价值，同时多模态数据融合，避免数据孤岛以及应用场景的单一性，创新地通过AI视觉与语音技术的结合，为业主提供未来社区衍生出的创新、智慧化生活服务。慧化生活服务。慧化生活服务。