一种虚拟场景与真实场景的数据交互方法、装置及系统与流程

阅读：评论：0

1.本发明涉及数据处理技术领域，尤其涉及一种虚拟场景与真实场景的数据交互方法、装置及系统。

背景技术：

2.现有的虚拟场景与真实场景的数据交互装置基于bim模型的虚拟场景系统将虚拟对象的手势数据发送至真实场景系统，以通过真实场景系统进行展示；真实场景系统将真实对象的手势数据发送至虚拟场景系统，以通过虚拟场景进行展示；通过这种方式，可以在真实场景系统中展示虚拟对象的手势数据，在虚拟场景系统中展示真实对象的手势数据，实现了虚拟场景与真实场景的数据的交互。
3.采用上述方式，数据的交互过程中仅使用手势数据进行交互，而忽略和真实对象的语音数据，使得交互的数据不充分，降低了数据交互的效果。

技术实现要素：

4.本发明的目的在于提供一种虚拟场景与真实场景的数据交互方法、装置及系统，旨在解决现有的虚拟场景与真实场景的数据交互装置交互的数据不充分的问题。
5.为实现上述目的，第一方面，本发明提供了一种虚拟场景与真实场景的数据交互装置，包括真实场景数据获取模块、虚拟场景构建模块和语音融合模块，所述真实场景数据获取模块、所述虚拟场景构建模块和所述语音融合模块依次连接；
6.所述真实场景数据获取模块，用于将真实用户的手势操作进行识别，得到手势交互数据；
7.所述虚拟场景构建模块，基于所述手势交互数据和控制交互数据构建虚拟建筑场景；
8.所述语音融合模块，用于将真实用户的语音信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。
9.其中，所述语音融合模块包括语音获取子模块、过滤子模块和融合子模块，所述语音获取子模块、所述过滤子模块和所述融合子模块依次连接；
10.所述语音获取子模块，用于获取真实用户的语音信息；
11.所述过滤子模块，用于对所述语音信息进行过滤，得到过滤信息；
12.所述融合子模块，用于将所述过滤信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。
13.其中，所述真实场景数据获取模块包括拍摄子模块和识别子模块，所述拍摄子模块和所述识别子模块连接；
14.所述拍摄子模块，用于拍摄用户的手势操作，得到拍摄数据；
15.所述识别子模块，用于对所述拍摄数据进行识别，得到手势交互数据。
16.其中，所述虚拟场景构建模块包括获取子模块、模型构建子模块和场景构建子模
块，所述获取子模块和所述模型构建子模块分别所述场景构建子模块依次连接；
17.所述获取子模块，用于获取控制交互数据；
18.所述模型构建子模块，基于bim数字信息化模型和cad建筑模型，生成虚拟场景构建模型；
19.所述场景构建子模块，用于将所述控制交互数据和所述手势交互数据输入所述虚拟场景构建模型，得到虚拟建筑场景。
20.第二方面，本发明提供了一种虚拟场景与真实场景的数据交互系统，包括第一方面所述的虚拟场景与真实场景的数据交互装置，
21.还包括显示模块，所述显示模块与所述语音融合模块连接；
22.所述显示模块，用于显示所述最终虚拟建筑场景。
23.第三方面，本发明提供了一种虚拟场景与真实场景的数据交互方法，应用于第二方面所述的虚拟场景与真实场景的数据交互系统，包括以下步骤：
24.通过真实场景数据获取模块将真实用户的手势操作进行识别，得到手势交互数据；
25.通过虚拟场景构建模块基于手势交互数据和控制交互数据构建虚拟建筑场景；
26.通过语音融合模块将真实用户的语音信息融合至虚拟建筑场景，得到最终虚拟建筑场景；
27.通过显示模块显示最终虚拟建筑场景。
28.本发明的一种虚拟场景与真实场景的数据交互装置，通过所述真实场景数据获取模块将真实用户的手势操作进行识别，得到手势交互数据；所述虚拟场景构建模块基于所述手势交互数据和控制交互数据构建虚拟建筑场景；所述语音融合模块将真实用户的语音信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景，本技术通过将手势交互数据和语音信息融合，构建虚拟建筑场景，解决了现有的虚拟场景与真实场景的数据交互装置交互的数据不充分的问题。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明提供的一种虚拟场景与真实场景的数据交互装置的结构示意图。
31.图2是本发明提供的一种虚拟场景与真实场景的数据交互系统的显示模块的结构示意图。
32.图3是预处理子模块的结构示意图。
33.图4是本发明提供的一种虚拟场景与真实场景的数据交互方法的流程图。
34.1-真实场景数据获取模块、2-虚拟场景构建模块、3-语音融合模块、4-语音获取子模块、5-过滤子模块、6-融合子模块、7-拍摄子模块、8-识别子模块、9-获取子模块、10-模型构建子模块、11-场景构建子模块、12-显示模块、13-显示子模块、14-扫描子模块、15-预处理子模块、16-计算子模块、17-调整子模块、18-清理子模块、19-阴影去除单元、20-定位单
元。
具体实施方式
35.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
36.请参阅图1，第一方面，本发明提供了一种虚拟场景与真实场景的数据交互装置，包括真实场景数据获取模块1、虚拟场景构建模块2和语音融合模块3，所述真实场景数据获取模块1、所述虚拟场景构建模块2和所述语音融合模块3依次连接；
37.所述真实场景数据获取模块1，用于将真实用户的手势操作进行识别，得到手势交互数据；
38.所述虚拟场景构建模块2，基于所述手势交互数据和控制交互数据构建虚拟建筑场景；
39.所述语音融合模块3，用于将真实用户的语音信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。
40.具体的，通过所述真实场景数据获取模块1将真实用户的手势操作进行识别，得到手势交互数据；所述虚拟场景构建模块2基于所述手势交互数据和控制交互数据构建虚拟建筑场景；所述语音融合模块3将真实用户的语音信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景，本技术通过将手势交互数据和语音信息融合，构建虚拟建筑场景，解决了现有的虚拟场景与真实场景的数据交互装置交互的数据不充分的问题。
41.进一步的，所述语音融合模块3包括语音获取子模块4、过滤子模块5和融合子模6块，所述语音获取子模块4、所述过滤子模块5和所述融合子模6块依次连接；
42.所述语音获取子模块4，用于获取真实用户的语音信息；
43.所述过滤子模块5，用于对所述语音信息进行过滤，得到过滤信息；
44.所述融合子模6块，用于将所述过滤信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。
45.具体的，所述语音获取子模块4获取真实用户的语音信息；所述过滤子模块5对所述语音信息进行过滤，过滤掉所述语音信息中的冗杂噪声，得到过滤信息；融合子模6块将所述过滤信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景，通过对所述语音信息的过滤，增加了语音的清晰度，从而增加了数据交互的效果。
46.进一步的，所述真实场景数据获取模块1包括拍摄子模块7和识别子模块8，所述拍摄子模块7和所述识别子模块8连接；
47.所述拍摄子模块7，用于拍摄用户的手势操作，得到拍摄数据；
48.所述识别子模块8，用于对所述拍摄数据进行识别，得到手势交互数据。
49.具体的，所述拍摄子模块7拍摄用户的手势操作，得到拍摄数据；所述识别子模块8使用识别功能、操作交互功能、陀螺仪信息记录功能等对对所述拍摄数据进行识别，得到手势交互数据。
50.进一步的，所述虚拟场景构建模块2包括获取子模块9、模型构建子模块10和场景构建子模块11，所述获取子模块9和所述模型构建子模块10分别所述场景构建子模块11依
次连接；
51.所述获取子模块9，用于获取控制交互数据；
52.所述模型构建子模块10，基于bim数字信息化模型和cad建筑模型，生成虚拟场景构建模型；
53.所述场景构建子模块11，用于将所述控制交互数据和所述手势交互数据输入所述虚拟场景构建模型，得到虚拟建筑场景。
54.具体的，所述获取子模块9获取控制交互数据；所述模型构建子模块10基于bim数字信息化模型和cad建筑模型，生成虚拟场景构建模型；所述场景构建子模块11将所述控制交互数据和所述手势交互数据输入所述虚拟场景构建模型，得到虚拟建筑场景，实现沉浸式交互。
55.请参阅图2至图3，第二方面，本发明提供了一种虚拟场景与真实场景的数据交互系统，包括第一方面所述的虚拟场景与真实场景的数据交互装置，
56.还包括显示模块12，所述显示模块12与所述语音融合模块3连接；
57.所述显示模块12，用于显示所述最终虚拟建筑场景。
58.具体的，所述显示模块12显示所述最终虚拟建筑场景，所述显示设备可带有前置摄像头的设备。
59.进一步的，所述显示模块12包括显示子模块13、扫描子模块14、预处理子模块15、计算子模块16和调整子模块17，所述显示子模块13、所述扫描子模块14、所述预处理子模块15、所述计算子模块16和所述调整子模块17依次连接；
60.所述显示子模块13，用于显示所述最终虚拟建筑场景；
61.所述扫描子模块14，用于扫描所述显示子模块13显示区域内的头部信息，得到扫描数据；
62.所述预处理子模块15，用于对所述扫描数据进行预处理，得到位置点；
63.所述计算子模块16，用于计算所述位置点与所述显示子模块13之间的距离，得到距离信息；
64.所述调整子模块17，基于所述距离信息调整所述显示子模块13对所述最终虚拟建筑场景的显示画面数量。
65.具体的，所述显示子模块13显示所述最终虚拟建筑场景；所述扫描子模块14通过前置摄像头扫描所述显示子模块13显示区域内的头部信息，得到扫描数据；所述预处理子模块15对所述扫描数据进行预处理，得到位置点；所述计算子模块16计算所述位置点与所述显示子模块13之间的距离，得到距离信息；所述调整子模块17基于所述距离信息调整所述显示子模块13对所述最终虚拟建筑场景的显示画面数量，用户观看所述显示子模块13的屏幕画面特点为：距离屏幕太近，眼睛容易疲劳，当人眼在疲劳状态下，对画面注意力会降低，这种情况下对画面质量要求就有所下降，而距离屏幕太远对画面的感官就有所下降。当人眼疲劳或者距离屏幕太远情况下，即便所述最终虚拟建筑场景通过高质量的编码进行显示，用户也不会感觉出来的，为此，所述调整子模块17将所述距离信息m与距离阈值m比较，如果m《＝m，则说明用户距离屏幕较近，当用户观看屏幕超过时间t后，此时用户就会视觉疲劳，这个时候适当降低云所述最终虚拟建筑场景的画面数量。如果m》m,则说明用户距离屏幕较远，用户对画面的感观有所下降，此时应该适当降低所述最终虚拟建筑场景的画面数
量。
66.进一步的，所述显示模块12还包括清理子模块18，
67.所述清理子模块18，用于对所述显示子模块13进行清理。
68.具体的，通过所述清理子模块18通过清扫和吸尘的方式对所述显示子模块13的屏幕进行清理，避免屏幕上沾染杂质，降低屏幕显示的清晰度。
69.进一步的，所述预处理子模块15包括阴影去除单元19和定位单元20，所述阴影去除单元19与所述定位单元20连接；
70.所述阴影去除单元19，用于去除所述扫描数据中的面部阴影，得到去除数据；
71.所述定位单元20，用于捕捉所述去除数据中的眼睛的位置，得到位置点。
72.具体的，所述阴影去除单元19去除所述扫描数据中的面部阴影，得到去除数据；避免面部的影响对眼睛位置的判断造成影响；所述定位单元20捕捉所述去除数据中的眼睛的位置，将两个眼睛连线的中点作为位置点。
73.本发明丰富了交互的种类，能够对基于bim数字信息化模型、cad建筑模型生成的虚拟建筑场景进行更多类型的控制和操作，实现了多种交互功能的统一，能够满足用户的多种交互需求，提升了用户的体验感，实用性强。
74.请参阅图4，第三方面，本发明提供了一种虚拟场景与真实场景的数据交互方法，应用于第二方面所述的虚拟场景与真实场景的数据交互系统，包括以下步骤：
75.s1通过真实场景数据获取模块1将真实用户的手势操作进行识别，得到手势交互数据；
76.具体的，所述拍摄子模块7拍摄用户的手势操作，得到拍摄数据；所述识别子模块8使用识别功能、操作交互功能、陀螺仪信息记录功能等对对所述拍摄数据进行识别，得到手势交互数据。
77.s2通过虚拟场景构建模块2基于手势交互数据和控制交互数据构建虚拟建筑场景；
78.具体的，所述获取子模块9获取控制交互数据；所述模型构建子模块10基于bim数字信息化模型和cad建筑模型，生成虚拟场景构建模型；所述场景构建子模块11将所述控制交互数据和所述手势交互数据输入所述虚拟场景构建模型，得到虚拟建筑场景，实现沉浸式交互。
79.s3通过语音融合模块3将真实用户的语音信息融合至虚拟建筑场景，得到最终虚拟建筑场景；
80.具体的，所述语音获取子模块4获取真实用户的语音信息；所述过滤子模块5对所述语音信息进行过滤，过滤掉所述语音信息中的冗杂噪声，得到过滤信息；融合子模6块将所述过滤信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景，通过对所述语音信息的过滤，增加了语音的清晰度，从而增加了数据交互的效果。
81.s4通过显示模块12显示最终虚拟建筑场景。
82.具体的，所述显示子模块13显示所述最终虚拟建筑场景；所述扫描子模块14通过前置摄像头扫描所述显示子模块13显示区域内的头部信息，得到扫描数据；所述预处理子模块15对所述扫描数据进行预处理，得到位置点；所述计算子模块16计算所述位置点与所述显示子模块13之间的距离，得到距离信息；所述调整子模块17基于所述距离信息调整所
述显示子模块13对所述最终虚拟建筑场景的显示画面数量。
83.以上所揭露的仅为本发明一种虚拟场景与真实场景的数据交互方法、装置及系统较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

技术特征：

1.一种虚拟场景与真实场景的数据交互装置，其特征在于，包括真实场景数据获取模块、虚拟场景构建模块和语音融合模块，所述真实场景数据获取模块、所述虚拟场景构建模块和所述语音融合模块依次连接；所述真实场景数据获取模块，用于将真实用户的手势操作进行识别，得到手势交互数据；所述虚拟场景构建模块，基于所述手势交互数据和控制交互数据构建虚拟建筑场景；所述语音融合模块，用于将真实用户的语音信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。2.如权利要求1所述的虚拟场景与真实场景的数据交互装置，其特征在于，所述语音融合模块包括语音获取子模块、过滤子模块和融合子模块，所述语音获取子模块、所述过滤子模块和所述融合子模块依次连接；所述语音获取子模块，用于获取真实用户的语音信息；所述过滤子模块，用于对所述语音信息进行过滤，得到过滤信息；所述融合子模块，用于将所述过滤信息融合至所述虚拟建筑场景，得到最终虚拟建筑场景。3.如权利要求2所述的虚拟场景与真实场景的数据交互装置，其特征在于，所述真实场景数据获取模块包括拍摄子模块和识别子模块，所述拍摄子模块和所述识别子模块连接；所述拍摄子模块，用于拍摄用户的手势操作，得到拍摄数据；所述识别子模块，用于对所述拍摄数据进行识别，得到手势交互数据。4.如权利要求3所述的虚拟场景与真实场景的数据交互装置，其特征在于，所述虚拟场景构建模块包括获取子模块、模型构建子模块和场景构建子模块，所述获取子模块和所述模型构建子模块分别所述场景构建子模块依次连接；所述获取子模块，用于获取控制交互数据；所述模型构建子模块，基于bim数字信息化模型和cad建筑模型，生成虚拟场景构建模型；所述场景构建子模块，用于将所述控制交互数据和所述手势交互数据输入所述虚拟场景构建模型，得到虚拟建筑场景。5.一种虚拟场景与真实场景的数据交互系统，包括权利要求4所述的虚拟场景与真实场景的数据交互装置，其特征在于，还包括显示模块，所述显示模块与所述语音融合模块连接；所述显示模块，用于显示所述最终虚拟建筑场景。6.一种虚拟场景与真实场景的数据交互方法，应用于权利要求5所述的虚拟场景与真实场景的数据交互系统，其特征在于，包括以下步骤：通过真实场景数据获取模块将真实用户的手势操作进行识别，得到手势交互数据；通过虚拟场景构建模块基于手势交互数据和控制交互数据构建虚拟建筑场景；通过语音融合模块将真实用户的语音信息融合至虚拟建筑场景，得到最终虚拟建筑场景；通过显示模块显示最终虚拟建筑场景。

技术总结

本发明涉及数据处理技术领域，具体涉及一种虚拟场景与真实场景的数据交互方法、装置及系统，包括真实场景数据获取模块、虚拟场景构建模块和语音融合模块，真实场景数据获取模块将真实用户的手势操作进行识别，得到手势交互数据；虚拟场景构建模块基于手势交互数据和控制交互数据构建虚拟建筑场景；语音融合模块将真实用户的语音信息融合至虚拟建筑场景，得到最终虚拟建筑场景，本申请通过将手势交互数据和语音信息融合，构建虚拟建筑场景，解决了现有的虚拟场景与真实场景的数据交互装置交互的数据不充分的问题。的数据不充分的问题。的数据不充分的问题。