一种云端数据转换方法及平台与流程

阅读：评论：0

1.本技术涉及数据处理

技术领域

：
：，具体涉及一种云端数据转换方法及平台。

背景技术

：
：：2.数据标准化就是把各种异构数据处理成统一标准格式的数据，这些异构数据包括来自不同操作系统、不同财务erp系统以及不同数据库类型的数据，如何准确、高效的把这些数据标准化，放到统一的数据中心存储，供后续的数据分析使用，一直都是数据处理、数据采集领域持续研究的课题。目前，数据标准化工作仍然存在以下问题：3.1、对各种财务erp系统数据结构分析存在困难。据统计，目前市面上存在的各种财务软件厂商有好几百家，要掌握几百种财务软件数据结构需要多年的积累，短时间是接触不到这么多财务数据的。4.2、财务处理接口的正确性有待验证。一个财务数据处理接口的正确性验证，需要n倍的实际数据进行测试，而实际数据中有各种特殊情况，接口需要在多年积累中不断的修正和完善。5.3、数据标准化过程的易用性不够。市面上的数据处理工具大多数类似于etl工具，有丰富的配置功能，但是对于终端用户学习难度太大，客户需要的是易用、简便的工具，看看界面就能使用的。6.4、数据处理接口开发和管理难度大。现有的数据接口要么是代码开发编译后发布的，开发难度大，稍微修改点东西都需要动代码；要么是etl配置出来的，其接口配置难度也不小，而且一般都是实施人员来完成，不易于接口管理。7.5、数据批量处理效率较低。信息化这么多年，企业积累了相当数量的财务与业务数据，同时对数据处理的时效性也有要求，因此，高效处理数据必然要求数据处理的并发能力，而大部分数据处理要么在单机运行，要么是串行的，很难用到服务器的算力和多核性能。8.6、数据管理的安全性很难把握。目前很多企业都是用户自己处理自己需要的数据，除了单机运算效率问题外，更重要的是数据分散在个人手里，容易造成数据丢失或者泄露，不利于企业信息安全管理；同时由于专业化分工，企业也有专门的数据处理团队，集中处理企业数据，在制度上保证了数据的安全。9.7、数据处理的saas应用较少。目前数据处理类产品大多是单机应用产品，或者企业内部服务器端应用，真正支持公有云的saas应用的产品不多。随着云财务产品等的普及推广，可以预见云端数据标准化产品需求量也会日益增长。技术实现要素：10.为此，本技术提供一种云端数据转换方法及平台，以解决现有技术存在的数据处理效率低、准确性低的问题。11.为了实现上述目的，本技术提供如下技术方案：12.第一方面，一种云端数据转换方法，包括：13.接收客户端发送的财务数据文件，并创建临时数据库；14.将所述财务数据文件进行解压缩；15.根据解压后的所述财务数据文件内容查对应的数据转换模板；16.将解压后的所述财务数据文件导入到所述临时数据库；17.在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；18.将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。19.进一步的，所述财务数据文件为数据搬运工采集的aud文件。20.更进一步的，所述aud文件绑定被审单位与账套。21.进一步的，所述根据解压后的所述财务数据文件内容查对应的数据转换模板，具体是：22.判断所述财务数据文件内容中的softguid是否与数据转换模板中的mb表中的match_mb_id字段匹配；若匹配，则为所述财务数据文件对应的数据转换模板。23.进一步的，所述将解压后的所述财务数据文件导入到所述临时数据库时采用bcp命令。24.进一步的，所述在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，具体为：根据所述财务数据文件查到的数据转换模板的id在模板库中到执行的sql脚本后，在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构。25.进一步的，所述将所述cpas标准表结构转化为数据分析系统表结构，具体是：通过执行一个通用存储过程proccpas2audit，将所述cpas标准表结构转化为数据分析系统表结构。26.进一步的，每个所述数据转换模板对应一个财务系统。27.第二方面，一种云端数据转换平台，包括：28.数据文件接收单元，用于接收客户端发送的的财务数据文件，并创建临时数据库；29.数据文件解压单元，用于将所述财务数据文件进行解压缩；30.数据转换模板查单元，用于根据解压后的所述财务数据文件内容查对应的数据转换模板；31.数据文件导入临时库单元，用于将解压后的所述财务数据文件导入到所述临时数据库；32.数据模板执行单元，用于在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；33.数据加载单元，用于将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。34.进一步的，所述云端数据转换平台能够批量上传财务数据文件。35.相比现有技术，本技术至少具有以下有益效果：36.本技术提供了一种云端数据转换方法及平台，方法包括：接收客户端发送的财务数据文件，并创建临时数据库；将财务数据文件进行解压缩；根据解压后的财务数据文件内容查对应的数据转换模板；将解压后的财务数据文件导入到临时数据库；在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。本技术提供的云端数据转换方法及平台充分利用服务器的多核心、高性能，将数据转换为统一标准化结构后，加载到数据分析系统后台数据库中，数据清洗、转换结果准确，过程高效。附图说明37.为了更直观地说明现有技术以及本技术，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本技术时的限定条件；例如，本领域技术人员基于本技术揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。38.图1为本技术实施例一提供的一种云端数据转换方法流程图；39.图2为本技术实施例一提供的一种云端数据转换方法结构框图；40.图3为本技术实施例二提供的一种云端数据转换平台的结构示意图。具体实施方式41.以下结合附图，通过具体实施例对本技术作进一步详述。42.在本技术的描述中：除非另有说明，“多个”的含义是两个或两个以上。本技术中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。43.本技术中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本技术揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本技术表述的范畴。44.实施例一45.请参阅图1和图2，本实施例提供了一种云端数据转换方法，其运行于云服务器端，包括：46.s1：接收客户端发送的财务数据文件，并创建临时数据库；47.具体的，服务器可以同时批量接收客户端发送的多个财务数据文件，一个财务文件会在后台的sqlserver数据库中创建一个临时数据库；财务数据文件为数据搬运工采集的aud文件，aud文件绑定被审单位与账套。48.s2：将财务数据文件进行解压缩；49.具体的，aud文件是一个加密压缩文件，因此需要解压缩。50.s3：根据解压后的财务数据文件内容查对应的数据转换模板；51.具体的，在aud文件中有一个schema.ini文件，这个文件中记录了softguid，这个id会与模板库dataconvertsql中的数据转换模板上的mb表中的match_mb_id字段匹配。如果匹配上，就是该财务数据文件对应的数据转换模板，这个aud文件就会用对应上的转换模板进行数据处理。52.更具体的，数据转换模板应用于审计公司各数据产品中，每个财务系统对应了一个数据转换模板。数据转换模板会根据财务系统的数据结构微笑变化做出行营的兼容修正，如果财务系统的数据结构发生根本性的变化会重新创建一个对应版本的数据转换模板。53.模板库内容包括：54.mbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ模板表55.tableinfoꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ表定义56.tableinfombꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ模板表定义57.fieldinfoꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ字段定义58.fieldinfombꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ模板字段定义59.fieldmatchꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ对应定义60.fromouttableꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ导入外部表61.tableoftablesqlꢀꢀꢀꢀꢀꢀꢀꢀ表中表sql62.sqlsentenceꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ模板sql语句63.例如：如果某个财务系统出了一个小的新版本升级，但是仅是个别字段做了微调，会尽量统一在一个转换模板中，做相关兼容性处理。比如用友u88.x/畅捷通t3/g3/g6/u6/t6(sqlserver)这六个版本的产品，后台表结构基本没有变化，比如u88.10以后增加了iyear字段，这样只需要维护一个用友u88.x的转换模板就可以了。但是有些版本升级跨度大，后台表结构发生了变化，比如nc5.7与nccloud这两个版本，后台表结构差异很大，nc57的科目表为bd_accsubj,nccloud科目表为bd_accasoa，直接区分为两个转换接口来维护。至于判断版本变动是微小变动还是根本性变化，依据是模板制作人员看过各版本实际数据后判定的，包括获得各种财务系统数据字典等资料，一切均根据实际数据来的。64.数据转换模板是采用数据转换工具制作的，数据转换工具是一个简单高效的桌面端工具。该工具可以轻松制作各种转换接口，支持接口的任意导入和导出，其开放式、图形化的转换模板设计界面，方便所有使用人员制作接口模板。即使是自行开发设计的财务软件，经过简单对应定义或者sql处理就能成功转数。65.数据转换模板标准化模块丰富且可扩展性强。标准化数据不仅支持财务模块，包括总账，辅助账，固定资产，也支持业务模块，包括采购、销售、存货。如果有其他模块，可以支持新增模板表，新增模板字段功能，实现新业务模块的扩展。66.数据转换模板实现了模板管理相关功能。通过模板管理，数据转换模板可以实现新增、删除、重命名、复制、导入和导出功能，方便了数据转换模板库的日积月累，实现模板库的量变到质变的提升。67.数据转换模板经过审计公司十多年数据处理经验的积累，对接过市面上绝大部分财务系统，数据清洗、转换结果准确，过程高效。数据清洗、转换的目的就是把各种原始财务异构数据，通过清洗、转换后，按照一定格式要求，放入最终标准数据表中。68.模板化的结构设计，及对应的模板设计工具，能够针对未做过的财务系统快速制作转换接口，保证审计人员对数据的时效性、灵活性要求，一般审计人员也可以上手制作。69.s4：将解压后的财务数据文件导入到临时数据库；70.具体的，将解压后的财务数据文件导入到临时数据库时采用bcp命令。71.s5：在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；72.具体的，根据aud文件对应的数据转换模板id，在模板库dataconvertsql中到执行的sql脚本，并在临时库中执行，实现原始表结构转换为cpas标准表结构，同时执行一些通用存储过程，比如计算余额表calculate_cw_kmyyeb等。73.更具体的，标准结构(仅总账)包括：74.cw_kmbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ科目表75.cw_pzbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ凭证表76.cw_kmyyebꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ科目余额表77.cw_fzzlxbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ辅助类型表78.cw_fzzxmbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ辅助项目表79.cw_fzzmxbꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ辅助明细表80.cw_fzzyyebꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ辅助余额表81.然后，执行一个通用存储过程proccpas2audit，实现cpas表结构转换为数据分析系统表结构(audit_开头的表)，实现标准表结构向特定表结构的转换，这里可以扩展其他的结构和特定需要的表。82.s6：将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。83.具体的，输出insertinto的sql脚本文件(具体数据库类型和输出表名，可以配置)，在数据分析系统后台(oracle、mysql等)数据库中执行这个脚本文件，实现数据的入库。84.本实施例提供的云端数据转换方法还可以在临时数据库中创建算账过程、调用算账过程、标准表数据结构检验、调用转换第三方数据结构过程、第三方数据结构校验等，并对整个数据处理过程进行监控，提供监控日志和处理过程文件下载，以及提供临时数据库的转换记录及删除等。85.本实施例提供的云端数据转换方法利用服务器的多核心、高性能，将数据转换为统一标准化结构后，加载到数据分析系统后台数据库中，数据清洗、转换结果准确，过程高效。86.实施例二87.本实施例提供一种云端数据转换平台(简称：云转平台；英文：clouddataconversionplatform)，具体包括：88.数据文件接收单元，用于接收客户端发送的财务数据文件，并创建临时数据库；89.数据文件解压单元，用于将财务数据文件进行解压缩；90.数据转换模板查单元，用于根据解压后的财务数据文件内容查对应的数据转换模板；91.数据文件导入临时库单元，用于将解压后的财务数据文件导入到临时数据库；92.数据模板执行单元，用于在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；93.数据加载单元，用于将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。94.请参阅图3，图中可以看到云转平台的数据上传，数据入库，数据标准化，数据加载，数据监控的整个过程。其中，mssqlserver表示云转平台的数据库，cpas数据表示标准表结构，audit数据表示第三方库结构。从架构体系来说，数据库类型，标准表结构，第三方库结构都是可以更换的。95.本实施例提供的云端数据转换平台还包括用于检验标准表数据结构和第三方数据结构的数据校验单元和用于监控整个数据处理过程的数据监控单元。96.本实施例提供的云转平台是一款数据标准化平台，集成了数据清洗、转换和加载功能，为云原生产品，前后端分离设计，支持微服务、容器化部署，旨在利用云主机的计算能力，批量、并行处理各种财务系统的数据。不仅应用于审计领域，而且适用于整个数字监管领域；不仅适配用友审计数据分析系统，而且支持与第三方厂商产品整合应用。97.云转平台利用云端主机的高性能，多核心特点，突破单机处理数据的瓶颈，提升数据处理的效率，具体包括：98.1、数据处理服务化，放到云服务器中运行。这里云服务器可以是私有云或者公有云或者是一台独立的服务器，在其上部署数据上传服务、数据处理服务，数据通过网络传到服务器上统一进行数据处理，利用服务器的性能，远比一个台式机、笔记本效率高很多。99.2、容器化部署，实现资源弹性伸缩。云转平台是云原生产品，前后端分离，支持微服务，容器化部署。这样可以充分利用云计算资源的弹性扩展能力，根据并发数据处理的资源需要，动态增加或者减少容器数量。100.3、数据库多实例机制，增强并发性能。数据库支持多实例部署，每个实例下可以创建更多的临时库，这样在同一时间就增加了并发数据处理能力。101.4、数据库多实例机制，增强并发性能。数据库支持多实例部署，每个实例下可以创建更多的临时库，这样在同一时间就增加了并发数据处理能力。102.5、数据处理的排队机制，保障并发处理的安全。每个单位对硬件资源都是有限制的，当并发数量达到一个瓶颈时，可能引起云转平台的宕机，所以数据处理排队机制很有必要，排队机制限制了同一时间在一个容器中，一个数据库实例中可以并发处理的数据量，当达到这一限制后，对后续分发处理的数据采用先进先出进行排队，当出现空闲资源后，可以出列运行。103.综上，本技术提供的云端数据转换方法及平台具有以下优势：104.1、数据接口丰富准确。经过审计公司十多年数据分析经验的积累，对接过市面上绝大部分财务erp系统，转换接口处理过各种各样的数据，得到不断的修正和完善。105.2、简单易用。把复杂的数据处理过程放到后台，给前台客户展现的应用简单实用，体现大道至简的精髓。106.3、模板化设计与管理。每个财务系统对应一个转换模板，通过模板库进行导入导出管理；图形化的模板设计工具，接口开发简单易学，用户经过简单培训就能上手。107.4、数据处理高并发性。云转平台将各种财务erp数据集中到云端，旨在利用云主机的计算能力，批量、并行处理数据，同时利用数据库的多实例特性，增强并发数据处理能力。108.5、数据安全管理提升。云转平台实现了企业数据集中处理，将分散的数据集中转换存储，专业的人做专业的事，提高企业信息安全与管理水平。109.6、saas(软件即服务)数据转换产品。云转平台为云原生产品，前后端分离，支持微服务，容器化部署，实现了云应用的弹性收缩，动态扩展。110.以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。111.上文中通过一般性说明及具体实施例对本技术作了较为具体和详细的描述。应当理解，基于本技术的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本技术的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本技术的权利要求保护范围。当前第1页12当前第1页12

技术特征：

1.一种云端数据转换方法，其特征在于，包括：接收客户端发送的财务数据文件，并创建临时数据库；将所述财务数据文件进行解压缩；根据解压后的所述财务数据文件内容查对应的数据转换模板；将解压后的所述财务数据文件导入到所述临时数据库；在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。2.根据权利要求1所述的云端数据转换方法，其特征在于，所述财务数据文件为数据搬运工采集的aud文件。3.根据权利要求2所述的云端数据转换方法，其特征在于，所述aud文件绑定被审单位与账套。4.根据权利要求1所述的云端数据转换方法，其特征在于，所述根据解压后的所述财务数据文件内容查对应的数据转换模板，具体是：判断所述财务数据文件内容中的softguid是否与数据转换模板中的mb表中的match_mb_id字段匹配；若匹配，则为所述财务数据文件对应的数据转换模板。5.根据权利要求1所述的云端数据转换方法，其特征在于，所述将解压后的所述财务数据文件导入到所述临时数据库时采用bcp命令。6.根据权利要求1所述的云端数据转换方法，其特征在于，所述在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，具体为：根据所述财务数据文件查到的数据转换模板的id在模板库中到执行的sql脚本后，在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构。7.根据权利要求1所述的云端数据转换方法，其特征在于，所述将所述cpas标准表结构转化为数据分析系统表结构，具体是：通过执行一个通用存储过程proccpas2audit，将所述cpas标准表结构转化为数据分析系统表结构。8.根据权利要求1所述的云端数据转换方法，其特征在于，每个所述数据转换模板对应一个财务系统。9.一种云端数据转换平台，其特征在于，包括：数据文件接收单元，用于接收客户端发送的财务数据文件，并创建临时数据库；数据文件解压单元，用于将所述财务数据文件进行解压缩；数据转换模板查单元，用于根据解压后的所述财务数据文件内容查对应的数据转换模板；数据文件导入临时库单元，用于将解压后的所述财务数据文件导入到所述临时数据库；数据模板执行单元，用于在所述临时数据库中将所述财务数据文件的原始表结构转换为cpas标准表结构，并将所述cpas标准表结构转化为数据分析系统表结构；数据加载单元，用于将所述数据分析系统表结构数据从所述临时数据库中加载到指定正式数据库。10.根据权利要求9所述的云端数据转换平台，其特征在于，所述云端数据转换平台能
够批量上传财务数据文件。

技术总结

本申请公开了一种云端数据转换方法及平台，方法包括：接收客户端发送的财务数据文件，并创建临时数据库；将财务数据文件进行解压缩；根据解压后的财务数据文件内容查对应的数据转换模板；将解压后的财务数据文件导入到临时数据库；在临时数据库中将财务数据文件的原始表结构转换为cpas标准表结构，并将cpas标准表结构转化为数据分析系统表结构；将数据分析系统表结构数据从临时数据库中加载到指定正式数据库。本申请提供的云端数据转换方法及平台充分利用服务器的多核心、高性能，将数据转换为统一标准化结构后，加载到数据分析系统后台数据库中，数据清洗、转换结果准确，过程高效。效。效。