1.本发明涉及人工智能技术领域,尤其涉及一种语音控制方法、装置、设备及存储介质。
背景技术:
2.随着语音识别技术的快速发展,用户可以通过语音对各种终端设备进行控制,例如,用户可以通过语音控制智能电视、智能扫地机等智能终端的操作。然而,目前无法通过语音对终端设备上的应用软件进行控制,例如,用户无法通过语音控制在某个社交软件上与另一用户进行交流等操作,造成用户需要花费大部分时间在查等操作上。
技术实现要素:
3.鉴于以上内容,有必要提供一种语音控制方法、装置、设备及存储介质,能够实现通过语音对电子设备上的应用软件进行控制。
4.一方面,本发明提出一种语音控制方法,应用于电子设备,
所述语音控制方法包括:
5.初始化设置所述电子设备的使用
模式;
6.对所述使用模式进行监测;
7.当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;
8.对所述录入音频进行预处理,得到目标音频;
9.基于预先训练好的
语义识别模型识别所述目标音频的语义
信息;
10.根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;
11.基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
12.根据本发明优选实施例,所述初始化设置所述电子设备的使用模式包括:
13.获取多个训练用户对所述电子设备的设置模式;
14.根据所述多个训练用户的设置模式计算所述设置模式为所述预设模式的第一设置比例;
15.若所述第一设置比例小于第一预设比例阈值,则计算所述持有用户将所述使用模式设置为所述预设模式的第二设置比例;
16.若所述第二设置比例大于或者等于第二预设比例阈值,则获取所述预设模式的模式动画信息,所述第二预设比例阈值大于所述第一预设比例阈值;
17.获取所述电子设备的启动代码信息;
18.将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。
19.根据本发明优选实施例,所述对所述使用模式进行监测包括:
20.检测所述使用模式是否为所述预设模式;
21.若所述使用模式为所述预设模式,则获取与所述模式动画信息对应的模式控件,并监测所述模式控件;
22.当监测到所述模式控件被触发,则确定所述预设模式被成功触发。
23.根据本发明优选实施例,所述对所述录入音频进行预处理,得到目标音频包括:
24.对所述录入音频进行傅里叶变换,得到频谱图;
25.基于预设处理时长从所述频谱图中提取多个频谱信息;
26.识别每个频谱信息在所述录入音频中所处的音频时刻;
27.将所述多个频谱信息按照所述音频时刻从小至大的顺序依次输入预先训练好的降噪模型中,得到初始频谱;
28.获取识别准确率最大的语义识别模型所对应的音量信息;
29.基于所述音量信息对所述初始频谱进行调整,得到目标频谱;
30.对所述目标频谱进行转换处理,得到所述目标音频。
31.根据本发明优选实施例,所述语义识别模型包括文本转换网络、实体识别网络及语义识别网络,所述基于预先训练好的语义识别模型识别所述目标音频的语义信息包括:
32.基于所述文本转换网络将所述目标音频转换为目标文本;
33.基于所述实体识别网络提取所述目标文本中的实体信息,并根据所述实体信息生成所述目标文本的编码向量;
34.基于所述语义识别网络对所述编码向量进行处理,得到所述语义信息。
35.根据本发明优选实施例,所述根据所述语义信息从预设匹配库中匹配出对应的操作信息包括:
36.从所述预设匹配库中获取所述电子设备的设置应用程序,并获取与所述设置应用程序对应的动作指令;
37.将所述动作指令与所述语义信息进行匹配,并将与所述语义信息匹配成功的动作指令所对应的设置应用程序确定为初始应用程序;
38.若所述初始应用程序有多个,则识别每个初始应用程序的程序状态,并将所述程序状态为启动状态的初始应用程序确定为运行应用程序;
39.获取所述持有用户在所述运行应用程序上的使用时长;
40.将所述使用时长最大的运行应用程序确定为所述目标应用程序,并将所述目标应用程序中与所述语义信息匹配成功的动作指令确定为所述操作指令。
41.根据本发明优选实施例,所述语义信息包括所述实体信息,所述基于所述操作指令及所述语义信息对所述目标应用程序执行操作包括:
42.识别所述实体信息在所述目标文本中的信息词性;
43.将所述信息词性为预设词性的实体信息确定为处理对象,并提取除所述目标应用程序外的处理对象作为目标对象;
44.将所述目标对象写入所述操作指令中,得到目标代码信息;
45.运行所述目标代码信息以执行对所述目标应用程序的操作。
46.另一方面,本发明还提出一种语音控制装置,运行于电子设备,所述语音控制装置包括:
47.设置单元,用于初始化设置所述电子设备的使用模式;
48.监测单元,用于对所述使用模式进行监测;
49.获取单元,用于当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;
50.预处理单元,用于对所述录入音频进行预处理,得到目标音频;
51.识别单元,用于基于预先训练好的语义识别模型识别所述目标音频的语义信息;
52.匹配单元,用于根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;
53.执行单元,用于基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
54.另一方面,本发明还提出一种电子设备,所述电子设备包括:
55.存储器,存储计算机可读指令;及
56.处理器,执行所述存储器中存储的计算机可读指令以实现所述语音控制方法。
57.另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述语音控制方法。
58.由以上技术方案可以看出,本发明通过大数据分析对所述电子设备的使用模式进行初始化设置,能够避免所述使用模式与用户习惯不一致,而造成用户需要对所述使用模式进行调整,提高了操作便利性,通过对所述使用模式进行监测,进而在所述使用模式为预设模式,且所述预设模式被成功触发时,获取录入音频,能够避免干扰音频的获取,进而能够避免对干扰音频的分析,不仅提高执行操作的准确性,还能避免线程资源的浪费,通过识别所述语义信息能够避免通过语音控制应用程序的执行操作时需要采用固定化的信息,实现了语音控制操作的个性化需求。此外,由于所述预设匹配库中存储有应用程序的多个指令,因此,通过语义信息能够从预设匹配库中获取到对目标应用程序的操作指令,实现了通过语音对电子设备上的应用软件进行控制。
附图说明
59.图1是本发明语音控制方法的较佳实施例的流程图。
60.图2是本发明语音控制装置的较佳实施例的功能模块图。
61.图3是本发明实现语音控制方法的较佳实施例的电子设备的结构示意图。
具体实施方式
62.为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
63.如图1所示,是本发明语音控制方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
64.所述语音控制方法可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技
术及应用系统。
65.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
66.所述语音控制方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-programmable gate array,fpga)、数字信号处理器(digital signal processor,dsp)、嵌入式设备等。
67.所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)、游戏机、交互式网络电视(internet protocol television,iptv)、智能穿戴式设备等。
68.所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(cloud computing)的由大量主机或网络电子设备构成的云。
69.所述电子设备所在的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network,vpn)等。
70.s10,初始化设置所述电子设备的使用模式。
71.在本发明的至少一个实施例中,所述使用模式包括预设模式及手动模式,其中,所述预设模式是指通过语音控制所述电子设备上的操作的模式,例如,通过将所述使用模式设置为所述预设模式,即可以通过语音控制所述电子设备上的社交软件的操作。
72.在本发明的至少一个实施例中,所述电子设备初始化设置所述电子设备的使用模式包括:
73.获取多个训练用户对所述电子设备的设置模式;
74.根据所述多个训练用户的设置模式计算所述设置模式为所述预设模式的第一设置比例;
75.若所述第一设置比例小于第一预设比例阈值,则计算所述持有用户将所述使用模式设置为所述预设模式的第二设置比例;
76.若所述第二设置比例大于或者等于第二预设比例阈值,则获取所述预设模式的模式动画信息,所述第二预设比例阈值大于所述第一预设比例阈值;
77.获取所述电子设备的启动代码信息;
78.将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。
79.其中,所述多个训练用户可以基于大数据从网络用户中随机提取到。
80.所述设置模式包括所述预设模式及所述手动模式。
81.所述第一设置比例的计算公式为:其中,y1是指所述第一设置比例,是指获取到的设置模式的总数量,s是指所述获取到的设置模式为所述预设模式的数量。
82.所述第二设置比例的计算方式与所述第一设置比例的计算方式相似,本发明对此不再赘述。
83.所述第一预设比例阈值及所述第二预设比例阈值可以根据实际需求设定。
84.所述模式动画信息中包括可以触发所述预设模式运行的模式控件。
85.所述启动代码信息是指启动所述电子设备的代码信息。
86.通过上述实施方式,在所述第一设置比例小于所述第一预设比例阈值时,通过将所述第二设置比例与所述第二预设比例阈值进行比较,能够对所述使用模式进行调整,避免因所述持有用户与所述多个训练用户的使用习惯的不同,而造成无法将所述使用模式设置为所述预设模式,提高了所述使用模式的设置准确性,通过在所述启动代码信息中插入所述模式动画信息,能够在所述电子设备启动时确定出所述持有用户对所述电子设备的使用模式,提高操作便利性。
87.本实施例中,在所述启动代码信息中插入所述模式动画信息,则可以将所述使用模式设置为所述预设模式,在所述启动代码信息中删除所述模式动画信息,则将所述使用模式调整为所述手动模式。
88.在其他实施例中,若所述第一设置比例大于或者等于所述第一预设比例阈值,则将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。
89.在其他实施例中,若所述第二设置比例小于所述第二预设比例阈值,则不对所述启动代码信息进行处理。
90.s11,对所述使用模式进行监测。
91.在本发明的至少一个实施例中,所述电子设备对所述使用模式进行监测包括:
92.检测所述使用模式是否为所述预设模式;
93.若所述使用模式为所述预设模式,则获取与所述模式动画信息对应的模式控件,并监测所述模式控件;
94.当监测到所述模式控件被触发,则确定所述预设模式被成功触发。
95.其中,所述模式控件可以是操作按钮。
96.通过对所述模式控件进行监测,能够准确的识别出所述预设模式是否被成功触发。
97.s12,当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频。
98.在本发明的至少一个实施例中,所述持有用户通常是指所述电子设备的所有者。
99.在本发明的至少一个实施例中,所述录入音频是指在所述预设模式被成功触发后,所述持有用户对所述电子设备输入的音频。例如,所述录入音频可以是xxx聊天,也可也是去xxx购物。
100.可以理解的是,所述录入音频可以是中文,也可以是英文或者其他方言等。
101.s13,对所述录入音频进行预处理,得到目标音频。
102.在本发明的至少一个实施例中,所述目标音频是指对所述录入音频进行降噪并调节音量后所得到的音频。
103.在本发明的至少一个实施例中,所述电子设备对所述录入音频进行预处理,得到目标音频包括:
104.对所述录入音频进行傅里叶变换,得到频谱图;
105.基于预设处理时长从所述频谱图中提取多个频谱信息;
106.识别每个频谱信息在所述录入音频中所处的音频时刻;
107.将所述多个频谱信息按照所述音频时刻从小至大的顺序依次输入预先训练好的降噪模型中,得到初始频谱;
108.获取识别准确率最大的语义识别模型所对应的音量信息;
109.基于所述音量信息对所述初始频谱进行调整,得到目标频谱;
110.对所述目标频谱进行转换处理,得到所述目标音频。
111.其中,所述预设处理时长根据降噪需求设定。所述预设处理时长的设置与所述降噪需求成反比例,例如,当所述降噪需求较高时,则所述预设处理时长越小。
112.所述降噪模型是根据卷积神经网络训练得到的。
113.所述语义识别模型的识别准确率受到音频的音量的影响。通常来说,音频的音量过大或者过小,将导致所述语义识别模型的识别准确率低下。
114.通过将多个频谱信息按照音频时刻的顺序依次输入所述降噪模型中,能够避免频谱信息的乱序而导致无法准确还原出所述初始频谱,进而通过所述音量信息对所述初始频谱进行调整,有利于后续所述语义识别模型对所述目标音频的识别,确保了语义信息的准确性。
115.s14,基于预先训练好的语义识别模型识别所述目标音频的语义信息。
116.在本发明的至少一个实施例中,所述语义识别模型包括文本转换网络、实体识别网络及语义识别网络。所述语义识别模型可以根据多个训练音频调整得到。
117.所述语义信息包括所述目标音频的实体信息,例如,所述实体信息可以是:聊天、某个应用程序或者某个用户等。
118.在本发明的至少一个实施例中,所述电子设备基于预先训练好的语义识别模型识别所述目标音频的语义信息包括:
119.基于所述文本转换网络将所述目标音频转换为目标文本;
120.基于所述实体识别网络提取所述目标文本中的实体信息,并根据所述实体信息生成所述目标文本的编码向量;
121.基于所述语义识别网络对所述编码向量进行处理,得到所述语义信息。
122.其中,所述实体信息是指所述目标文本中词性为预设词性及配置词性的词汇。所述预设词性通常是指名词,所述配置词性通常是指动词。
123.所述编码向量用于表征所述目标文本。
124.通过上述实施方式,能够提高所述语义信息的识别效率及识别准确性。
125.s15,根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令。
126.需要强调的是,为进一步保证上述操作信息的私密和安全性,上述操作信息还可以存储于一区块链的节点中。
127.在本发明的至少一个实施例中,所述预设匹配库中存储有多个设置应用程序及每个设置应用程序与动作指令的映射关系。
128.所述目标应用程序是指通过所述录入音频进行操作控制的应用程序,例如,所述
目标应用程序可以是xxx社交软件。
129.所述操作指令是指对所述目标应用程序执行操作的指令。
130.在本发明的至少一个实施例中,所述电子设备根据所述语义信息从预设匹配库中匹配出对应的操作信息包括:
131.从所述预设匹配库中获取所述电子设备的设置应用程序,并获取与所述设置应用程序对应的动作指令;
132.将所述动作指令与所述语义信息进行匹配,并将与所述语义信息匹配成功的动作指令所对应的设置应用程序确定为初始应用程序;
133.若所述初始应用程序有多个,则识别每个初始应用程序的程序状态,并将所述程序状态为启动状态的初始应用程序确定为运行应用程序;
134.获取所述持有用户在所述运行应用程序上的使用时长;
135.将所述使用时长最大的运行应用程序确定为所述目标应用程序,并将所述目标应用程序中与所述语义信息匹配成功的动作指令确定为所述操作指令。
136.通过将所述动作指令与所述语义信息进行匹配,能够准确的识别出所述初始应用程序,进而在所述初始应用程序有多个时,通过每个初始应用程序的程序状态及使用时长能够确定出所述持有用户具体执行的目标应用程序,提高所述目标应用程序的准确性。
137.s16,基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
138.在本发明的至少一个实施例中,所述语义信息包括所述实体信息,所述电子设备基于所述操作指令及所述语义信息对所述目标应用程序执行操作包括:
139.识别所述实体信息在所述目标文本中的信息词性;
140.将所述信息词性为预设词性的实体信息确定为处理对象,并提取除所述目标应用程序外的处理对象作为目标对象;
141.将所述目标对象写入所述操作指令中,得到目标代码信息;
142.运行所述目标代码信息以执行对所述目标应用程序的操作。
143.其中,所述预设词性可以是名词。
144.通过对所述信息词性的识别,进而结合所述目标应用程序能够准确的识别出所述目标对象,从而提高所述目标代码信息的完整性,避免了操作上的遗漏,实现了通过所述录入音频控制对所述目标应用程序的完整操作。
145.由以上技术方案可以看出,本发明通过大数据分析对所述电子设备的使用模式进行初始化设置,能够避免所述使用模式与用户习惯不一致,而造成用户需要对所述使用模式进行调整,提高了操作便利性,通过对所述使用模式进行监测,进而在所述使用模式为预设模式,且所述预设模式被成功触发时,获取录入音频,能够避免干扰音频的获取,进而能够避免对干扰音频的分析,不仅提高执行操作的准确性,还能避免线程资源的浪费,通过识别所述语义信息能够避免通过语音控制应用程序的执行操作时需要采用固定化的信息,实现了语音控制操作的个性化需求。此外,由于所述预设匹配库中存储有应用程序的多个指令,因此,通过语义信息能够从预设匹配库中获取到对目标应用程序的操作指令,实现了通过语音对电子设备上的应用软件进行控制。
146.如图2所示,是本发明语音控制装置的较佳实施例的功能模块图。所述语音控制装置11包括设置单元110、监测单元111、获取单元112、预处理单元113、识别单元114、匹配单
元115及执行单元116。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。所述语音控制装置11运行于所述电子设备中。
147.设置单元110初始化设置所述电子设备的使用模式。
148.在本发明的至少一个实施例中,所述使用模式包括预设模式及手动模式,其中,所述预设模式是指通过语音控制所述电子设备上的操作的模式,例如,通过将所述使用模式设置为所述预设模式,即可以通过语音控制所述电子设备上的社交软件的操作。
149.在本发明的至少一个实施例中,所述设置单元110初始化设置所述电子设备的使用模式包括:
150.获取多个训练用户对所述电子设备的设置模式;
151.根据所述多个训练用户的设置模式计算所述设置模式为所述预设模式的第一设置比例;
152.若所述第一设置比例小于第一预设比例阈值,则计算所述持有用户将所述使用模式设置为所述预设模式的第二设置比例;
153.若所述第二设置比例大于或者等于第二预设比例阈值,则获取所述预设模式的模式动画信息,所述第二预设比例阈值大于所述第一预设比例阈值;
154.获取所述电子设备的启动代码信息;
155.将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。
156.其中,所述多个训练用户可以基于大数据从网络用户中随机提取到。
157.所述设置模式包括所述预设模式及所述手动模式。
158.所述第一设置比例的计算公式为:其中,y1是指所述第一设置比例,是指获取到的设置模式的总数量,s是指所述获取到的设置模式为所述预设模式的数量。
159.所述第二设置比例的计算方式与所述第一设置比例的计算方式相似,本发明对此不再赘述。
160.所述第一预设比例阈值及所述第二预设比例阈值可以根据实际需求设定。
161.所述模式动画信息中包括可以触发所述预设模式运行的模式控件。
162.所述启动代码信息是指启动所述电子设备的代码信息。
163.通过上述实施方式,在所述第一设置比例小于所述第一预设比例阈值时,通过将所述第二设置比例与所述第二预设比例阈值进行比较,能够对所述使用模式进行调整,避免因所述持有用户与所述多个训练用户的使用习惯的不同,而造成无法将所述使用模式设置为所述预设模式,提高了所述使用模式的设置准确性,通过在所述启动代码信息中插入所述模式动画信息,能够在所述电子设备启动时确定出所述持有用户对所述电子设备的使用模式,提高操作便利性。
164.本实施例中,在所述启动代码信息中插入所述模式动画信息,则可以将所述使用模式设置为所述预设模式,在所述启动代码信息中删除所述模式动画信息,则将所述使用模式调整为所述手动模式。
165.在其他实施例中,若所述第一设置比例大于或者等于所述第一预设比例阈值,则
将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。
166.在其他实施例中,若所述第二设置比例小于所述第二预设比例阈值,则不对所述启动代码信息进行处理。
167.监测单元111对所述使用模式进行监测。
168.在本发明的至少一个实施例中,所述监测单元111对所述使用模式进行监测包括:
169.检测所述使用模式是否为所述预设模式;
170.若所述使用模式为所述预设模式,则获取与所述模式动画信息对应的模式控件,并监测所述模式控件;
171.当监测到所述模式控件被触发,则确定所述预设模式被成功触发。
172.其中,所述模式控件可以是操作按钮。
173.通过对所述模式控件进行监测,能够准确的识别出所述预设模式是否被成功触发。
174.当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取单元112获取所述电子设备的持有用户的录入音频。
175.在本发明的至少一个实施例中,所述持有用户通常是指所述电子设备的所有者。
176.在本发明的至少一个实施例中,所述录入音频是指在所述预设模式被成功触发后,所述持有用户对所述电子设备输入的音频。例如,所述录入音频可以是xxx聊天,也可也是去xxx购物。
177.可以理解的是,所述录入音频可以是中文,也可以是英文或者其他方言等。
178.预处理单元113对所述录入音频进行预处理,得到目标音频。
179.在本发明的至少一个实施例中,所述目标音频是指对所述录入音频进行降噪并调节音量后所得到的音频。
180.在本发明的至少一个实施例中,所述预处理单元113对所述录入音频进行预处理,得到目标音频包括:
181.对所述录入音频进行傅里叶变换,得到频谱图;
182.基于预设处理时长从所述频谱图中提取多个频谱信息;
183.识别每个频谱信息在所述录入音频中所处的音频时刻;
184.将所述多个频谱信息按照所述音频时刻从小至大的顺序依次输入预先训练好的降噪模型中,得到初始频谱;
185.获取识别准确率最大的语义识别模型所对应的音量信息;
186.基于所述音量信息对所述初始频谱进行调整,得到目标频谱;
187.对所述目标频谱进行转换处理,得到所述目标音频。
188.其中,所述预设处理时长根据降噪需求设定。所述预设处理时长的设置与所述降噪需求成反比例,例如,当所述降噪需求较高时,则所述预设处理时长越小。
189.所述降噪模型是根据卷积神经网络训练得到的。
190.所述语义识别模型的识别准确率受到音频的音量的影响。通常来说,音频的音量过大或者过小,将导致所述语义识别模型的识别准确率低下。
191.通过将多个频谱信息按照音频时刻的顺序依次输入所述降噪模型中,能够避免频谱信息的乱序而导致无法准确还原出所述初始频谱,进而通过所述音量信息对所述初始频
谱进行调整,有利于后续所述语义识别模型对所述目标音频的识别,确保了语义信息的准确性。
192.识别单元114基于预先训练好的语义识别模型识别所述目标音频的语义信息。
193.在本发明的至少一个实施例中,所述语义识别模型包括文本转换网络、实体识别网络及语义识别网络。所述语义识别模型可以根据多个训练音频调整得到。
194.所述语义信息包括所述目标音频的实体信息,例如,所述实体信息可以是:聊天、某个应用程序或者某个用户等。
195.在本发明的至少一个实施例中,所述识别单元114基于预先训练好的语义识别模型识别所述目标音频的语义信息包括:
196.基于所述文本转换网络将所述目标音频转换为目标文本;
197.基于所述实体识别网络提取所述目标文本中的实体信息,并根据所述实体信息生成所述目标文本的编码向量;
198.基于所述语义识别网络对所述编码向量进行处理,得到所述语义信息。
199.其中,所述实体信息是指所述目标文本中词性为预设词性及配置词性的词汇。所述预设词性通常是指名词,所述配置词性通常是指动词。
200.所述编码向量用于表征所述目标文本。
201.通过上述实施方式,能够提高所述语义信息的识别效率及识别准确性。
202.匹配单元115根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令。
203.需要强调的是,为进一步保证上述操作信息的私密和安全性,上述操作信息还可以存储于一区块链的节点中。
204.在本发明的至少一个实施例中,所述预设匹配库中存储有多个设置应用程序及每个设置应用程序与动作指令的映射关系。
205.所述目标应用程序是指通过所述录入音频进行操作控制的应用程序,例如,所述目标应用程序可以是xxx社交软件。
206.所述操作指令是指对所述目标应用程序执行操作的指令。
207.在本发明的至少一个实施例中,所述匹配单元115根据所述语义信息从预设匹配库中匹配出对应的操作信息包括:
208.从所述预设匹配库中获取所述电子设备的设置应用程序,并获取与所述设置应用程序对应的动作指令;
209.将所述动作指令与所述语义信息进行匹配,并将与所述语义信息匹配成功的动作指令所对应的设置应用程序确定为初始应用程序;
210.若所述初始应用程序有多个,则识别每个初始应用程序的程序状态,并将所述程序状态为启动状态的初始应用程序确定为运行应用程序;
211.获取所述持有用户在所述运行应用程序上的使用时长;
212.将所述使用时长最大的运行应用程序确定为所述目标应用程序,并将所述目标应用程序中与所述语义信息匹配成功的动作指令确定为所述操作指令。
213.通过将所述动作指令与所述语义信息进行匹配,能够准确的识别出所述初始应用程序,进而在所述初始应用程序有多个时,通过每个初始应用程序的程序状态及使用时长
能够确定出所述持有用户具体执行的目标应用程序,提高所述目标应用程序的准确性。
214.执行单元116基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
215.在本发明的至少一个实施例中,所述语义信息包括所述实体信息,所述执行单元116基于所述操作指令及所述语义信息对所述目标应用程序执行操作包括:
216.识别所述实体信息在所述目标文本中的信息词性;
217.将所述信息词性为预设词性的实体信息确定为处理对象,并提取除所述目标应用程序外的处理对象作为目标对象;
218.将所述目标对象写入所述操作指令中,得到目标代码信息;
219.运行所述目标代码信息以执行对所述目标应用程序的操作。
220.其中,所述预设词性可以是名词。
221.通过对所述信息词性的识别,进而结合所述目标应用程序能够准确的识别出所述目标对象,从而提高所述目标代码信息的完整性,避免了操作上的遗漏,实现了通过所述录入音频控制对所述目标应用程序的完整操作。
222.由以上技术方案可以看出,本发明通过大数据分析对所述电子设备的使用模式进行初始化设置,能够避免所述使用模式与用户习惯不一致,而造成用户需要对所述使用模式进行调整,提高了操作便利性,通过对所述使用模式进行监测,进而在所述使用模式为预设模式,且所述预设模式被成功触发时,获取录入音频,能够避免干扰音频的获取,进而能够避免对干扰音频的分析,不仅提高执行操作的准确性,还能避免线程资源的浪费,通过识别所述语义信息能够避免通过语音控制应用程序的执行操作时需要采用固定化的信息,实现了语音控制操作的个性化需求。此外,由于所述预设匹配库中存储有应用程序的多个指令,因此,通过语义信息能够从预设匹配库中获取到对目标应用程序的操作指令,实现了通过语音对电子设备上的应用软件进行控制。
223.如图3所示,是本发明实现语音控制方法的较佳实施例的电子设备的结构示意图。
224.在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如语音控制程序。
225.本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
226.所述处理器13可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
227.示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述
一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成设置单元110、监测单元111、获取单元112、预处理单元113、识别单元114、匹配单元115及执行单元116。
228.所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
229.所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、tf卡(trans-flash card)等等。
230.所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
231.其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)。
232.本发明所指区块链是分布式语音控制、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
233.结合图1,所述电子设备1中的所述存储器12存储计算机可读指令实现一种语音控制方法,所述处理器13可执行所述计算机可读指令从而实现:
234.初始化设置所述电子设备的使用模式;
235.对所述使用模式进行监测;
236.当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;
237.对所述录入音频进行预处理,得到目标音频;
238.基于预先训练好的语义识别模型识别所述目标音频的语义信息;
239.根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;
240.基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
241.具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
242.在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
243.所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:
244.初始化设置所述电子设备的使用模式;
245.对所述使用模式进行监测;
246.当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;
247.对所述录入音频进行预处理,得到目标音频;
248.基于预先训练好的语义识别模型识别所述目标音频的语义信息;
249.根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;
250.基于所述操作指令及所述语义信息对所述目标应用程序执行操作。
251.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
252.另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
253.因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
254.此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
255.最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
技术特征:
1.一种语音控制方法,应用于电子设备,其特征在于,所述语音控制方法包括:初始化设置所述电子设备的使用模式;对所述使用模式进行监测;当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;对所述录入音频进行预处理,得到目标音频;基于预先训练好的语义识别模型识别所述目标音频的语义信息;根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;基于所述操作指令及所述语义信息对所述目标应用程序执行操作。2.如权利要求1所述的语音控制方法,其特征在于,所述初始化设置所述电子设备的使用模式包括:获取多个训练用户对所述电子设备的设置模式;根据所述多个训练用户的设置模式计算所述设置模式为所述预设模式的第一设置比例;若所述第一设置比例小于第一预设比例阈值,则计算所述持有用户将所述使用模式设置为所述预设模式的第二设置比例;若所述第二设置比例大于或者等于第二预设比例阈值,则获取所述预设模式的模式动画信息,所述第二预设比例阈值大于所述第一预设比例阈值;获取所述电子设备的启动代码信息;将所述模式动画信息插入所述启动代码信息以将所述使用模式设置为所述预设模式。3.如权利要求2所述的语音控制方法,其特征在于,所述对所述使用模式进行监测包括:检测所述使用模式是否为所述预设模式;若所述使用模式为所述预设模式,则获取与所述模式动画信息对应的模式控件,并监测所述模式控件;当监测到所述模式控件被触发,则确定所述预设模式被成功触发。4.如权利要求1所述的语音控制方法,其特征在于,所述对所述录入音频进行预处理,得到目标音频包括:对所述录入音频进行傅里叶变换,得到频谱图;基于预设处理时长从所述频谱图中提取多个频谱信息;识别每个频谱信息在所述录入音频中所处的音频时刻;将所述多个频谱信息按照所述音频时刻从小至大的顺序依次输入预先训练好的降噪模型中,得到初始频谱;获取识别准确率最大的语义识别模型所对应的音量信息;基于所述音量信息对所述初始频谱进行调整,得到目标频谱;对所述目标频谱进行转换处理,得到所述目标音频。5.如权利要求1所述的语音控制方法,其特征在于,所述语义识别模型包括文本转换网络、实体识别网络及语义识别网络,所述基于预先训练好的语义识别模型识别所述目标音
频的语义信息包括:基于所述文本转换网络将所述目标音频转换为目标文本;基于所述实体识别网络提取所述目标文本中的实体信息,并根据所述实体信息生成所述目标文本的编码向量;基于所述语义识别网络对所述编码向量进行处理,得到所述语义信息。6.如权利要求1所述的语音控制方法,其特征在于,所述根据所述语义信息从预设匹配库中匹配出对应的操作信息包括:从所述预设匹配库中获取所述电子设备的设置应用程序,并获取与所述设置应用程序对应的动作指令;将所述动作指令与所述语义信息进行匹配,并将与所述语义信息匹配成功的动作指令所对应的设置应用程序确定为初始应用程序;若所述初始应用程序有多个,则识别每个初始应用程序的程序状态,并将所述程序状态为启动状态的初始应用程序确定为运行应用程序;获取所述持有用户在所述运行应用程序上的使用时长;将所述使用时长最大的运行应用程序确定为所述目标应用程序,并将所述目标应用程序中与所述语义信息匹配成功的动作指令确定为所述操作指令。7.如权利要求5所述的语音控制方法,其特征在于,所述语义信息包括所述实体信息,所述基于所述操作指令及所述语义信息对所述目标应用程序执行操作包括:识别所述实体信息在所述目标文本中的信息词性;将所述信息词性为预设词性的实体信息确定为处理对象,并提取除所述目标应用程序外的处理对象作为目标对象;将所述目标对象写入所述操作指令中,得到目标代码信息;运行所述目标代码信息以执行对所述目标应用程序的操作。8.一种语音控制装置,运行于电子设备,其特征在于,所述语音控制装置包括:设置单元,用于初始化设置所述电子设备的使用模式;监测单元,用于对所述使用模式进行监测;获取单元,用于当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;预处理单元,用于对所述录入音频进行预处理,得到目标音频;识别单元,用于基于预先训练好的语义识别模型识别所述目标音频的语义信息;匹配单元,用于根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;执行单元,用于基于所述操作指令及所述语义信息对所述目标应用程序执行操作。9.一种电子设备,其特征在于,所述电子设备包括:存储器,存储有计算机可读指令;及处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的语音控制方法。10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意
一项所述的语音控制方法。
技术总结
本发明涉及人工智能,提供一种语音控制方法、装置、设备及存储介质。该方法初始化设置电子设备的使用模式;对所述使用模式进行监测;当检测到所述使用模式为预设模式,且所述预设模式被成功触发时,获取所述电子设备的持有用户的录入音频;对所述录入音频进行预处理,得到目标音频;基于预先训练好的语义识别模型识别所述目标音频的语义信息;根据所述语义信息从预设匹配库中匹配出对应的操作信息,所述操作信息包括目标应用程序及操作指令;基于所述操作指令及所述语义信息对所述目标应用程序执行操作实现了通过音频控制应用程序的操作。此外,本发明还涉及区块链技术,所述操作信息可存储于区块链中。可存储于区块链中。可存储于区块链中。
技术研发人员:
刘永妮
受保护的技术使用者:
平安国际智慧城市科技股份有限公司
技术研发日:
2022.05.10
技术公布日:
2022/9/2