基于云端大数据的工业设备数据共享方法与流程

阅读：评论：0

1.本发明涉及工业互联网大数据技术领域，具体涉及基于云端大数据的工业设备数据共享方法。

背景技术：

2.工业大数据蕴涵着工业生产的详细情况及运行规律，也承载了大量市场、客户、供应链等信息，是工业互联网的核心要素。但是，由于工业设备（系统）众多，且各工业设备间相互独立，没有一个统一的标准，使得获取的工业大数据存在海量的差异化。同时，因为在对工业大数据进行分析时，所需求数据的多样化与跨领域性，导致数据共享的应用效率低，数据共享的成本又极高。
3.针对上述问题，公开号为cn114490641a的中国专利公开了《一种工业互联网数据的共享方法、设备及介质》，包括：基于预设的编码规则对加入工业互联网的若干个系统数据库中的数据进行编码，确定每个数据对应的标识码；在接收到客户端发送的标识解析请求指令时，基于标识解析请求指令，在若干个系统数据库中确定待读取数据，并对待读取数据进行提取；对提取的待读取数据进行格式转换，以生成格式统一的标准数据；确定标准数据的数据映射表，并基于数据映射表生成标准数据表，并将标准数据表发送给客户端。
4.上述现有方案通过生成标准数据表来提高工业大数据的共享效率，降低工业大数据的共享成本。随着网络技术的发展，云端存储技术开始进入大众视野。云端存储是一种网上在线存储的模式，即把数据存放在虚拟服务器，数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池的方式提供，客户便可自行使用此存储资源池来存放文件或对象。然而，现有的工业设备数据共享方法仅涉及数据的标准化，而未涉及数据上云以及数据的共享交换，导致工业设备数据共享和应用的效果不好。因此，如何设计一种能够提高工业设备数据共享和应用效果的方法是亟需解决的技术问题。

技术实现要素：

5.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于云端大数据的工业设备数据共享方法，能够通过融合数据处理以及数据上云和云上数据交换来实现数据共享和应用，并且无需线下传输即可实现数据交互，从而能够提高工业设备数据共享和应用的效果，进而能够为工业设备的数据交互提供一种新的思路。
6.为了解决上述技术问题，本发明采用了如下的技术方案：基于云端大数据的工业设备数据共享方法，包括：s1：获取对应工业设备的设备数据；s2：将工业设备的设备数据进行数据预处理，得到对应的标准设备数据；s3：将工业设备对应的标准设备数据上传到云计算平台，生成对应的云端数据；s4：通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据，进而基于共享数据实现数据的共享和应用。
7.优选的，步骤s1中，工业设备的设备数据包括设备状态数据、设备运行数据和设备日志数据。
8.优选的，步骤s2中，数据预处理包括数据清洗和数据转换；数据清洗用于将设备数据中重复、多余的数据进行筛选和清除，将缺失的数据补充完整，将不正确的数据进行纠正或者删除；数据转换用于将设备数据从一种格式或结构转换为另一种格式或结构。
9.优选的，数据清洗包括删除重复数据，删除、替换和补插缺失数据，以及删除或平均值代替异常数据。
10.优选的，删除缺失数据是指，当数据的缺失观测比例非常低时，直接删除存在缺失的观测，或者当数据的某些变量缺失比例非常高时，直接删除存在缺失的变量；替换缺失数据是指，用某种常数直接替换数据的缺失值；对于连续变量，使用均值或中位数替换；对于离散变量，使用众数替换；补插缺失数据是指，根据其他非缺失的变量或观测来预测缺失值，包括回归插补法、k近邻插补法和拉格朗日插补法。
11.优选的，数据转换是指，使用sql或python通过脚本执行数据转换，以编写代码来提取和转换数据。
12.优选的，步骤s3中，具体包括以下步骤：s301：信息配置：配置数据库和数据表的配置文件，并通过shell脚本建立并发开始平台建表；s302：分区合并：通过数据库进行初始分区，后续再在云计算平台进行数据合并，把一张数据表的不同分区合成一个分区；s303：数据检测：通过脚本检测数据，并查看数据质量；s304：后续运维：根据实际需求在云计算平台或者脚本里设置自动调度。
13.优选的，步骤s4中，通过云计算平台提供一个开放的环境，并且支持多样的客户机、数据库、网络和通讯协议，同时通过可视化配置实现与数据库、文件以及web接口的
ß
数据交互，使得数据交换与业务逻辑的个性有机结合，进而实现快速响应数据集成和外部数据交换的需求。
14.优选的，步骤s4中，云计算平台通过时间戳同步的方式对云端数据进行数据交换，并且在数据交换过程中采用数据隔离、数据授权的方法保障数据安全。
15.优选的，云计算平台通过数据交换得到共享数据后，基于共享数据进行数据分析、数据驾驶舱构建和设备预测性维护，以实现数据的共享和应用。
16.本发明中基于云端大数据的工业设备数据共享方法与现有技术相比，具有如下有益效果：本发明通过将设备数据进行数据预处理得到标准设备数据，并将标准设备数据上传到云计算平台，进而通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据以实现数据的共享和应用，使得能够通过融合数据处理以及数据上云和云上数据交换来实现数据共享和应用，一方面，能够解决设备数据传输过程中数据更新不及时、操作难度大和资源投入多等问题，并且能够有效降低因孤立设备数据造成的冗余数据和重复劳动；另一方面，能够通过云端传输保障数据安全性，并且无需线下传输即可实现数据交互，从而能够提高工业设备数据共享和应用的效果，进而能够为工业设备的数据交互提供一种新的思
路。
附图说明
17.为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：图1为工业设备运行数据共享方法的逻辑框图；图2为工业设备运行数据共享方法的流程图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
19.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
20.实施例：本实施例中公开了一种基于云端大数据的工业设备数据共享方法。
21.如图1和图2所示，基于云端大数据的工业设备数据共享方法，包括：s1：获取对应工业设备的设备数据；本实施例中，设备数据包括设备状态数据、设备运行数据和设备日志数据。
22.s2：将工业设备的设备数据进行数据预处理，得到对应的标准设备数据；s3：将工业设备对应的标准设备数据上传到云计算平台，生成对应的云端数据；s4：通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据，进而基于共享数据实现数据的共享和应用。
23.本发明通过将设备数据进行数据预处理得到标准设备数据，并将标准设备数据上传到云计算平台，进而通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据以实现数据的共享和应用，使得能够通过融合数据处理以及数据上云和云上数据交换来实现数据共享和应用，一方面，能够解决设备数据传输过程中数据更新不及时、操作难度大和资源投入多等问题，并且能够有效降低因孤立设备数据造成的冗余数据和重复劳动；另一方面，能够通过云端传输保障数据安全性，并且无需线下传输即可实现数据交互，从而能够提高工业设备数据共享和应用的效果，进而能够为工业设备的数据交互提供一种新的思路。
24.具体实施过程中，数据预处理包括数据清洗和数据转换。数据清洗用于将设备数据中重复、多余的数据进行筛选和清除，将缺失的数据补充完整，将不正确的数据进行纠正或者删除；数据转换用于将设备数据从一种格式或结构转换为另一种格式或结构。数据转换对于数据集成和数据管理等活动至关重要，数据转换包括一系列活动：转换数据类型，通过删除空值或重复数据来清理数据，丰富数据或执行聚合。
25.具体的，数据清洗包括删除重复数据，删除、替换和补插缺失数据，以及删除或平均值代替异常数据。
26.删除缺失数据是指，当数据的缺失观测比例非常低（如10%以内）时，直接删除存在缺失的观测，或者当数据的某些变量缺失比例非常高（如90%以上）时，直接删除存在缺失的变量；替换缺失数据是指，用某种常数直接替换数据的缺失值；对于连续变量，使用均值或中位数替换；对于离散变量，使用众数替换；补插缺失数据是指，根据其他非缺失的变量或观测来预测缺失值，包括回归插补法、k近邻插补法和拉格朗日插补法。
27.数据转换是指，使用sql或python通过脚本执行数据转换，以编写代码来提取和转换数据。其他优选实施例中，也可采用etl工具实现数据转换，即etl（提取，转换，加载）工具通过自动化流程来完成脚本转换的大部分工作。
28.本发明通过对设备数据进行数据清洗和数据转换得到标准数据，使得能够将设备数据中重复、多余的数据进行筛选和清除，将缺失的数据补充完整，将不正确的数据进行纠正或者删除，并且能够将设备数据转换为所需格式或结构，进而能够有效保证数据的真实性和有效性，从而能够进一步提高工业设备数据共享和应用的效果。
29.具体实施过程中，步骤s3中，具体包括以下步骤：s301：信息配置：配置数据库和数据表的配置文件，并通过shell脚本建立并发开始平台建表。由于实际业务表成千上万，我们不可能一一进行json的配置，所以需要采用配置文件和脚本结合的方法：即首先配置好数据库，表等配置文件，然后通过shell脚本建立并发开始平台建表。
30.s302：分区合并：通过数据库进行初始分区，后续再在云计算平台进行数据合并，把一张数据表的不同分区合成一个分区。可能某些数据库上云过程中提示快照过旧，这时候就不能再使用自定义分区来上云，只能够用数据库初始分区进行，后续再在云平台进行数据合并，把一张表的不同分区合成一个分区。
31.s303：数据检测：通过脚本检测数据，并查看数据质量。数据检测主要针对两方面：数据+质量，数据可以通过脚本来一一实现检测，但是数据质量，比如是否乱码，是否跨行等只能通过自己手动来查看
s304：后续运维：根据实际需求在云计算平台或者脚本里设置自动调度。有些业务数据全量上云只需要一次，有的可能数据库较小，每天都可以全量，这些都要根据实际需求，在云平台或者脚本里设置好自动调度，还要考虑血缘，依赖，以及后续运维的难易程度。
32.本实施例中，数据上云包括信息配置、分区合并、数据检测和后续运维等步骤，而各个步骤均可采用现有成熟手段实现。
33.本发明通过上述步骤，能够有效的将标准设备数据上传（迁移）到云计算平台生成云端数据，使得能够通过云端传输保障数据安全性，避免出现数据泄露，从而能够进一步提高工业设备数据共享和应用的效果。
34.具体实施过程中，通过云计算平台提供一个开放的环境，并且支持多样的客户机、数据库、网络和通讯协议，同时通过可视化配置实现与数据库、文件以及web接口的
ß
数据交互，使得数据交换与业务逻辑的个性有机结合，进而实现快速响应数据集成和外部数据交换的需求。
35.云计算平台通过时间戳同步的方式对云端数据进行数据交换，并且在数据交换过程中采用数据隔离、数据授权的方法保障数据安全。
36.本实施例中，时间戳同步的方式进行增量数据抽取的前提是源数据库与目标数据库都必须有时间戳字段。具体包括：先读取目标数据库中的最大时间，然后以这个时间作为参数从源数据库中读取大于这个时间的所有数据。
37.云计算平台通过数据交换得到共享数据后，基于共享数据进行数据分析、数据驾驶舱构建和设备预测性维护，以实现数据的共享和应用。
38.其他优选实施例中，还可通过全文比对同步、触发器同步、cdc增量同步和全量同步等方式进行数据交换。
39.全量同步：全量抽取一般适用于统计分析或无需进行二次更新的业务需求，通过全量抽取一次或多次将业务系统数据源在不做任何操作的情况下直接抽取过来，全量数据抽取方式虽然较简单、直接、快速。通过系统中的采集组件，无需增加过滤条件，即可对数据库中的全量文件进行一次性采集。全量采集比较适合于数据业务量小的业务需求。这种方式不能增量的进行数据同步，对于大数据量下的同步并不适用。
40.cdc增量同步：通过分析数据库日志的信息来捕获复制对象的变化序列。这种方法不仅方便，也不会占用太多额外的系统资源，对任何类型的复制都适合，不但能提高效率和保证数据的完整性，还能在对等式复制时提供详细的控制信息。但由于数据库日志的格式是不公开的，因而不得不基于某一固定的数据库日志分析工具或接口，这给异构数据库复制带来了问题。
41.触发器同步：在业务数据表中创建相应的触发器，当提取、复制对象进行变更（插入、修改、删除）时，由触发器触发提数程序，将变化写入目标数据库中。这种方案可用于同步复制、增量复制。
42.全文比对同步：对前后两个时间点取业务数据表的全量进行数据比对，比对出来有差异的部分就是数据增量的部分。此法可以用于一段时间后进行数据的强制同步，但由于消耗资源较大，因此一般建议用于业务空闲期使用。
43.本发明通过时间戳同步的方式将云端数据进行数据交换，并且在交换过程中采用数据隔离、数据授权的方法保障数据安全，使得能够通过数据交换得到共享数据，进而基于
共享数据进行数据分析、数据驾驶舱构建和设备预测性维护等数据共享和应用，从而能够进一步提高工业设备数据共享和应用的效果。
44.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

技术特征：

1.基于云端大数据的工业设备数据共享方法，其特征在于，包括：s1：获取对应工业设备的设备数据；s2：将工业设备的设备数据进行数据预处理，得到对应的标准设备数据；s3：将工业设备对应的标准设备数据上传到云计算平台，生成对应的云端数据；s4：通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据，进而基于共享数据实现数据的共享和应用。2.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于：步骤s1中，工业设备的设备数据包括设备状态数据、设备运行数据和设备日志数据。3.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于：步骤s2中，数据预处理包括数据清洗和数据转换；数据清洗用于将设备数据中重复、多余的数据进行筛选和清除，将缺失的数据补充完整，将不正确的数据进行纠正或者删除；数据转换用于将设备数据从一种格式或结构转换为另一种格式或结构。4.如权利要求3所述的基于云端大数据的工业设备数据共享方法，其特征在于：数据清洗包括删除重复数据，删除、替换和补插缺失数据，以及删除或平均值代替异常数据。5.如权利要求4所述的基于云端大数据的工业设备数据共享方法，其特征在于：删除缺失数据是指，当数据的缺失观测比例非常低时，直接删除存在缺失的观测，或者当数据的某些变量缺失比例非常高时，直接删除存在缺失的变量；替换缺失数据是指，用某种常数直接替换数据的缺失值；对于连续变量，使用均值或中位数替换；对于离散变量，使用众数替换；补插缺失数据是指，根据其他非缺失的变量或观测来预测缺失值，包括回归插补法、k近邻插补法和拉格朗日插补法。6.如权利要求3所述的基于云端大数据的工业设备数据共享方法，其特征在于：数据转换是指，使用sql或python通过脚本执行数据转换，以编写代码来提取和转换数据。7.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于，步骤s3中，具体包括以下步骤：s301：信息配置：配置数据库和数据表的配置文件，并通过shell脚本建立并发开始平台建表；s302：分区合并：通过数据库进行初始分区，后续再在云计算平台进行数据合并，把一张数据表的不同分区合成一个分区；s303：数据检测：通过脚本检测数据，并查看数据质量；s304：后续运维：根据实际需求在云计算平台或者脚本里设置自动调度。8.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于：步骤s4中，通过云计算平台提供一个开放的环境，并且支持多样的客户机、数据库、网络和通讯协议，同时通过可视化配置实现与数据库、文件以及web接口的
ß
数据交互，使得数据交换与业务逻辑的个性有机结合。9.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于：步骤s4中，云计算平台通过时间戳同步的方式对云端数据进行数据交换，并且在数据交换过程中采用数据隔离、数据授权的方法保障数据安全。10.如权利要求1所述的基于云端大数据的工业设备数据共享方法，其特征在于：步骤
s4中，云计算平台通过数据交换得到共享数据后，基于共享数据进行数据分析、数据驾驶舱构建和设备预测性维护，以实现数据的共享和应用。

技术总结

本发明涉及工业互联网大数据技术领域，具体涉及基于云端大数据的工业设备数据共享方法，包括：获取对应工业设备的设备数据；将工业设备的设备数据进行数据预处理，得到对应的标准设备数据；将工业设备对应的标准设备数据上传到云计算平台，生成对应的云端数据；通过云计算平台对所有的云端数据进行数据交换得到对应的共享数据，进而基于共享数据实现数据的共享和应用。本发明能够通过融合数据处理以及数据上云和云上数据交换来实现数据共享和应用，并且无需线下传输即可实现数据交互，从而能够提高工业设备数据共享和应用的效果。能够提高工业设备数据共享和应用的效果。能够提高工业设备数据共享和应用的效果。