基于大数据的数据共享交换系统与方法

本发明涉及大数据领域、数据共享交换领域以及云服务领域，具体地，涉及一种基 于大数据的数据共享交换系统与方法。

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据共 享合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增 长率和多样化的信息资产。

云服务是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网 来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去往往用 云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云服务指通过网络以按 需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。 它意味着计算能力也可作为一种商品通过互联网进行流通。

随着社会的发展，人们对数据的查询获求越来越大，数据共享交换是人们迫切需 要的。专利文献CN102006245B公开了一种数据交换和共享平台，包括：数据服务总线：使用 消息机制来完成异构系统和跨网络的应用之间的协作；所述数据服务总线包括：消息服务 端点：把应用通过接口连接到数据服务总线来发送和接收消息，使数据服务总线对应用系 统透明；消息组件：对数据服务总线消息进行处理；消息前端适配器：通过不同的协议将各 类应用连接到数据服务总线，以此来发送和接收消息；消息后端适配器：使数据服务总线具 备访问各类不同协议应用的能力。该专利文献使得每个数据交换节点只需要与数据服务总 线进行交互，而不需要相互连接访问就可以获取到所需要的数据。整个数据共享和交换的 底层实现和存储机制是对各应用节点透明的。但是该专利文献公开一种数据交换和共享平 台，并不同提供数据共享交换服务。专利文献CN102946425B公开了一种基于OSGi的统一通 信平台服务集成框架，包括三个层面：客户终端服务层，作为客户终端的接入入口，并提供 插件接口，用于实现客户端与第三方集成业务在接入层的交互工作；内部交互层，为客户终 端层和应用容器创建消息通道，用于简化平台的管理，均衡平台的负载；应用容器，对外为 第三方集成服务提供统一的接口，对内管理消息的传输以及和第三方集成业务系统的交 互。该专利文献基于OSGi的统一通信服务平台集成框架可以同时接收大量的客户终端发出 的查询请求和第三方集成业务发出的业务提醒，并且进行同时处理，大大提高了集成效率， 但是OSGi会增加系统不稳定的风险。

针对现有技术中的缺陷，本发明的目的是提供一种基于大数据的数据共享交换系 统与方法。

根据本发明提供的基于大数据的数据共享交换方法，包含以下步骤：

数据共享步骤：在门户端定义数据共享服务与申请数据共享服务实例，根据用户 输入参数进行事件处理；

数据交换步骤：在门户端定义数据交换服务与申请数据交换服务实例，根据用户 输入参数进行事件处理。

优选地，所述数据共享步骤包含以下步骤：

步骤S1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多 个信息：

--数据源；

--数据库；

--表；

--列；

步骤S2：在门户端申请数据共享服务实例，所述数据共享服务实例包含以下任一 个或任多个内容：

--选择多个规格中任一个规格的子规格；

--填写查询SQL的条件；

--填写查询SQL的条数；

步骤S3：门户根据Isv提供的接入地址，处理事件；

所述步骤S3包含以下步骤：

步骤S3.1：申请事件：Isv根据输入参数生成能够供用户下载的cav文件，并上传至 HDFS；

步骤S3.2：回收事件：Isv将HDFS上的文件删除，返回给用户反应回收成功的信息；

所述步骤S3还包含以下步骤：

查询事件步骤：Isv重复执行Isv根据输入参数生成能够供用户下载的cav文件，并 上传至HDFS的步骤，将HDFS上存储的在先文件删除，返回给用户反应查询成功的信息。

优选地，所述步骤S3.1包含以下任一个或全部步骤：

--步骤S3.1.1：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据共享中 的数据，将查询到的数据写入一个csv文件并上传至HDFS，然后返回给用户上传给HDFS的文 件下载地址以及查询到的数据部分给用户用于预览，实例申请成功后，用户能够在对用的 数据共享服务实例详情中看到用户预览数据与能够下载的csv文件；

--步骤S3.1.2：对Isv根据输入参数到大数据查询JDBC的信息与Isv根据自身组装 好的SQL进行自身分页查询数据共享的信息，进行每页数据写一个csv文件的操作，每个文 件有个下载地址，将HDFS的文件集下载地址以及查询到的数据部分给用户进行预览，实例 申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与能够下载的 csv文件。

优选地，所述数据交换步骤包含以下步骤：

步骤E1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多 个信息：

--来源的数据源；

--来源的数据库；

--来源的表；

--来源的列；

--目标的数据源；

--目标的数据库；

--目标的表；

步骤E2：在门户端申请数据交换服务实例，所述数据交换服务实例包含以下任一 个或任多个内容：

--选择多个规格中任一个规格的子规格；

--填写查询SQL的条件；

--填写查询SQL的条数；

步骤E3：门户根据Isv提供的接入地址，处理事件；

所述步骤E3包含以下步骤：

步骤E3.1：申请事件：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据 并给到指定的数据库，返回作业相关信息给用户用于预览，实例申请成功后，用户能够在对 应的数据交换服务实例详情中看到作业的情况；

步骤E3.2：回收事件：Isv将大数据上的作业删除，返回给用户反应回收成功的信 息；

步骤E3.3：查询事件：Isv查询作业的执行日志。

优选地，还包含同步集成步骤与异步集成步骤：

所述同步集成步骤包含以下步骤：

步骤T1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获 取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：

--申请事件；

--回收事件；

--变更事件；

--查询事件；

步骤T2：Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获 取特定事件的事件数据；

步骤T3：Isv处理事件完毕后，将事件处理结果返回给用户；

所述异步集成步骤包含以下步骤：

步骤Y1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获 取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：

--申请事件；

--回收事件；

--变更事件；

--通知事件；

步骤Y2：Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获 取特定事件的事件数据；

步骤Y3：Isv返回反应已收到获取特定事件的事件数据的通知；

步骤Y4：当Isv正在处理事件时，将事件状态设置为正在执行中；当Isv处理事件完 毕后，将事件处理结果返回给用户。

本发明还提供了一种基于大数据的数据共享交换系统，包含以下模块：

数据共享模块：在门户端定义数据共享服务与申请数据共享服务实例，根据用户 输入参数进行事件处理；

数据交换模块：在门户端定义数据交换服务与申请数据交换服务实例，根据用户 输入参数进行事件处理。

优选地，所述数据共享模块包含以下模块：

模块M1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多 个信息：

--数据源；

--数据库；

--表；

--列；

模块M2：在门户端申请数据共享服务实例，所述数据共享服务实例包含以下任一 个或任多个内容：

--选择多个规格中任一个规格的子规格；

--填写查询SQL的条件；

--填写查询SQL的条数；

模块M3：门户根据Isv提供的接入地址，处理事件；

所述模块M3包含以下模块：

模块M3.1：申请事件：Isv根据输入参数生成能够供用户下载的cav文件，并上传至 HDFS；

模块M3.2：回收事件：Isv将HDFS上的文件删除，返回给用户反应回收成功的信息；

所述模块M3还包含以下模块：

查询事件模块：Isv重复执行Isv根据输入参数生成能够供用户下载的cav文件，并 上传至HDFS的模块，将HDFS上存储的在先文件删除，返回给用户反应查询成功的信息。

优选地，所述模块M3.1包含以下任一个或全部模块：

--模块M3.1.1：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据共享中 的数据，将查询到的数据写入一个csv文件并上传至HDFS，然后返回给用户上传给HDFS的文 件下载地址以及查询到的数据部分给用户用于预览，实例申请成功后，用户能够在对用的 数据共享服务实例详情中看到用户预览数据与能够下载的csv文件；

--模块M3.1.2：对Isv根据输入参数到大数据查询JDBC的信息与Isv根据自身组装 好的SQL进行自身分页查询数据共享的信息，进行每页数据写一个csv文件的操作，每个文 件有个下载地址，将HDFS的文件集下载地址以及查询到的数据部分给用户进行预览，实例 申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与能够下载的 csv文件。

优选地，所述数据交换模块包含以下模块：

模块F1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多 个信息：

--来源的数据源；

--来源的数据库；

--来源的表；

--来源的列；

--目标的数据源；

--目标的数据库；

--目标的表；

模块F2：在门户端申请数据交换服务实例，所述数据交换服务实例包含以下任一 个或任多个内容：

--选择多个规格中任一个规格的子规格；

--填写查询SQL的条件；

--填写查询SQL的条数；

模块F3：门户根据Isv提供的接入地址，处理事件；

所述模块F3包含以下模块：

模块F3.1：申请事件：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据 并给到指定的数据库，返回作业相关信息给用户用于预览，实例申请成功后，用户能够在对 应的数据交换服务实例详情中看到作业的情况；

模块F3.2：回收事件：Isv将大数据上的作业删除，返回给用户反应回收成功的信 息；

模块F3.3：查询事件：Isv查询作业的执行日志。

优选地，还包含同步集成模块与异步集成模块：

所述同步集成模块包含以下模块：

模块U1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获 取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：

--申请事件；

--回收事件；

--变更事件；

--查询事件；

模块U2：Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获 取特定事件的事件数据；

模块U3：Isv处理事件完毕后，将事件处理结果返回给用户；

所述异步集成模块包含以下模块：

模块Z1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获 取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：

--申请事件；

--回收事件；

--变更事件；

--通知事件；

模块Z2：Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获 取特定事件的事件数据；

模块Z3：Isv返回反应已收到获取特定事件的事件数据的通知；

模块Z4：当Isv正在处理事件时，将事件状态设置为正在执行中；当Isv处理事件完 毕后，将事件处理结果返回给用户。

与现有技术相比，本发明具有如下的有益效果：

1、本发明同时提供了数据共享功能的服务与数据交换功能的服务，适应用户不同 的使用需求，能够极大增强用户体验。

2、本发明可以将各类型异构服务按照统一的方式集成，并且通过一致的方式对外 发布，降低集成成本。

3、本发明能够最大程度的提升异构服务的可利用率。

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：

图1为数据共享服务方案一流程图；

图2为数据共享服务方案二流程图；

图3为数据交换服务流程图；

图4为同步集成流程图；

图5为异步集成流程图；

图6为基于大数据的数据共享交换系统结构示意图。

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖 直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位 置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须 具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图6所示，本发明提供的基于大数据的数据共享交换系统，包含以下模块：数据 共享模块：在门户端定义数据共享服务与申请数据共享服务实例，根据用户输入参数进行 事件处理；数据交换模块：在门户端定义数据交换服务与申请数据交换服务实例，根据用户 输入参数进行事件处理。另外，还包含同步集成模块与异步集成模块。

所述数据共享模块包含以下模块：模块M1：在门户端定义数据共享服务，定义规 格，所述规格包含以下任一个或任多个信息：数据源；数据库；表；列；模块M2：在门户端申请 数据共享服务实例，所述数据共享服务实例包含以下任一个或任多个内容：选择多个规格 中任一个规格的子规格；填写查询SQL的条件；填写查询SQL的条数；模块M3：门户根据Isv提 供的接入地址，处理事件。

所述模块M3包含以下模块：模块M3.1：申请事件：Isv根据输入参数生成能够供用 户下载的cav文件，并上传至HDFS；模块M3.2：回收事件：Isv将HDFS上的文件删除，返回给用 户反应回收成功的信息；所述模块M3还包含以下模块：查询事件模块：Isv重复执行Isv根据 输入参数生成能够供用户下载的cav文件，并上传至HDFS的模块，将HDFS上存储的在先文件 删除，返回给用户反应查询成功的信息。

所述模块M3.1包含以下任一个或全部模块：模块M3.1.1：Isv根据输入参数，组装 SQL到对应的大数据，查询所有数据共享中的数据，将查询到的数据写入一个csv文件并上 传至HDFS，然后返回给用户上传给HDFS的文件下载地址以及查询到的数据部分给用户用于 预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与 能够下载的csv文件；模块M3.1.2：对Isv根据输入参数到大数据查询JDBC的信息与Isv根据 自身组装好的SQL进行自身分页查询数据共享的信息，进行每页数据写一个csv文件的操 作，每个文件有个下载地址，将HDFS的文件集下载地址以及查询到的数据部分给用户进行 预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与 能够下载的csv文件。对于模块M3.1.1，适用于数据量小的查询；而对于模块M3.1.1，则可采 用分页的方式来处理大数据量的数据共享查询。

所述数据交换模块包含以下模块：模块F1：在门户端定义数据共享服务，定义规 格，所述规格包含以下任一个或任多个信息：来源的数据源；来源的数据库；来源的表；来源 的列；目标的数据源；目标的数据库；目标的表；模块F2：在门户端申请数据交换服务实例， 所述数据交换服务实例包含以下任一个或任多个内容：选择多个规格中任一个规格的子规 格；填写查询SQL的条件；填写查询SQL的条数；模块F3：门户根据Isv提供的接入地址，处理 事件。

所述模块F3包含以下模块：模块F3.1：申请事件：Isv根据输入参数，组装SQL到对 应的大数据，查询所有数据并给到指定的数据库，返回作业相关信息给用户用于预览，实例 申请成功后，用户能够在对应的数据交换服务实例详情中看到作业的情况；模块F3.2：回收 事件：Isv将大数据上的作业删除，返回给用户反应回收成功的信息；模块F3.3：查询事件： Isv查询作业的执行日志。

所述同步集成模块包含以下模块：模块U1：门户端发送用户触发的事件并通知到 Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数据；所述事件 包含以下任一个或任多个内容：申请事件；回收事件；变更事件；查询事件；模块U2：Isv从参 数中读取获取事件数据Url，并发送Http Get请求，来从门户端获取特定事件的事件数据； 模块U3：Isv处理事件完毕后，将事件处理结果返回给用户。

所述异步集成模块包含以下模块：模块Z1：门户端发送用户触发的事件并通知到 Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数据；所述事件 包含以下任一个或任多个内容：申请事件；回收事件；变更事件；通知事件；模块Z2：Isv从参 数中读取获取事件数据Url，并发送Http Get请求，来从门户端获取特定事件的事件数据； 模块Z3：Isv返回反应已收到获取特定事件的事件数据的通知；模块Z4：当Isv正在处理事件 时，将事件状态设置为正在执行中；当Isv处理事件完毕后，将事件处理结果返回给用户。

相应地，本发明还提供了一种基于大数据的数据共享交换方法，包含以下步骤：数 据共享步骤：在门户端定义数据共享服务与申请数据共享服务实例，根据用户输入参数进 行事件处理；数据交换步骤：在门户端定义数据交换服务与申请数据交换服务实例，根据用 户输入参数进行事件处理。

如图1、图2所示，所述数据共享步骤包含以下步骤：步骤S1：在门户端定义数据共 享服务，定义规格，所述规格包含以下任一个或任多个信息：数据源；数据库；表；列；步骤 S2：在门户端申请数据共享服务实例，所述数据共享服务实例包含以下任一个或任多个内 容：选择多个规格中任一个规格的子规格；填写查询SQL的条件；填写查询SQL的条数；步骤 S3：门户根据Isv提供的接入地址，处理事件。

所述步骤S3包含以下步骤：步骤S3.1：申请事件：Isv根据输入参数生成能够供用 户下载的cav文件，并上传至HDFS；步骤S3.2：回收事件：Isv将HDFS上的文件删除，返回给用 户反应回收成功的信息；所述步骤S3还包含以下步骤：查询事件步骤：Isv重复执行Isv根据 输入参数生成能够供用户下载的cav文件，并上传至HDFS的步骤，将HDFS上存储的在先文件 删除，返回给用户反应查询成功的信息。

所述步骤S3.1包含以下任一个或全部步骤：步骤S3.1.1：如图1所示，Isv根据输入 参数，组装SQL到对应的大数据，查询所有数据共享中的数据，将查询到的数据写入一个csv 文件并上传至HDFS，然后返回给用户上传给HDFS的文件下载地址以及查询到的数据部分给 用户用于预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预 览数据与能够下载的csv文件；步骤S3.1.2：如图2所示，对Isv根据输入参数到大数据查询 JDBC的信息与Isv根据自身组装好的SQL进行自身分页查询数据共享的信息，进行每页数据 写一个csv文件的操作，每个文件有个下载地址，将HDFS的文件集下载地址以及查询到的数 据部分给用户进行预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看 到用户预览数据与能够下载的csv文件。对于步骤S3.1.1，适用于数据量小的查询；而对于 步骤S3.1.1，则可采用分页的方式来处理大数据量的数据共享查询。

如图3所示，所述数据交换步骤包含以下步骤：步骤E1：在门户端定义数据共享服 务，定义规格，所述规格包含以下任一个或任多个信息：来源的数据源；来源的数据库；来源 的表；来源的列；目标的数据源；目标的数据库；目标的表；步骤E2：在门户端申请数据交换 服务实例，所述数据交换服务实例包含以下任一个或任多个内容：选择多个规格中任一个 规格的子规格；填写查询SQL的条件；填写查询SQL的条数；步骤E3：门户根据Isv提供的接入 地址，处理事件。

所述步骤E3包含以下步骤：步骤E3.1：申请事件：Isv根据输入参数，组装SQL到对 应的大数据，查询所有数据并给到指定的数据库，返回作业相关信息给用户用于预览，实例 申请成功后，用户能够在对应的数据交换服务实例详情中看到作业的情况；步骤E3.2：回收 事件：Isv将大数据上的作业删除，返回给用户反应回收成功的信息；步骤E3.3：查询事件： Isv查询作业的执行日志。

本发明提供的基于大数据的数据共享交换方法还包含同步集成步骤与异步集成 步骤。如图4所示，所述同步集成步骤包含以下步骤：步骤T1：门户端发送用户触发的事件并 通知到Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数据；所 述事件包含以下任一个或任多个内容：申请事件；回收事件；变更事件；查询事件；步骤T2： Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获取特定事件的事 件数据；步骤T3：Isv处理事件完毕后，将事件处理结果返回给用户。

如图5所示，所述异步集成步骤包含以下步骤：步骤Y1：门户端发送用户触发的事 件并通知到Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数 据；所述事件包含以下任一个或任多个内容：申请事件；回收事件；变更事件；通知事件；步 骤Y2：Isv从参数中读取获取事件数据Url，并发送Http Get请求，来从门户端获取特定事件 的事件数据；步骤Y3：Isv返回反应已收到获取特定事件的事件数据的通知；步骤Y4：当Isv 正在处理事件时，将事件状态设置为正在执行中；当Isv处理事件完毕后，将事件处理结果 返回给用户。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系 统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的 系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微 控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为 是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结 构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部 件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影 响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相 互组合。