数据接入系统建设方案

阅读: 评论:0

数据接入系统建设方案
目录
1项目概述 (4)
2系统性能与技术指标 (8)
3系统安全方案 (10)
1.等级保护安全体系架构 (10)
直插led灯珠2.系统稳定运行保障 (10)
3.数据安全的保障 (10)
4.数据隐私的保护 (11)
5.恶意攻击的防护设计 (12)
4总体实施方案 (14)
5  1.项目管理体系 (14)
5.1  1.1项目组织 (14)
5.2  1.2现场管理 (14)
5.2.1  1.3.1人员管理 (14)
5.2.2  1.3.2工程管理 (15)
5.3  1.4进度管理 (15)
6  2 项目进度计划 (16)
7  3 项目质量管控 (18)
7.1  3.1质量保证活动 (18)
7.2  3.2项目过程审核 (19)
8  4.系统部署实施 (20)
8.1  4.1系统部署计划 (20)
1项目概述
根据长期系统规划,要建设统一的数据接入系统,实现跨平台的数据资源交换和管理。数据接入系统主要承载业务系统与大数据平台的数据资源交换,实现各类数据资源的汇聚、清洗、转换和存储。数据接入系统支持将不同数据来源、格式、特点性质的数据接入大数据平台然后进行集中存放,如关系型数据库(如Mysql、Oracle、Sqlserver 等)、文件类数据等(如excel文件、文本文件等),接入后可在大数据平台进行后续的整合汇聚处理等工作。
柴火无烟灶
从业务层面来看要满足以下业务目标:
➢提高跨平台数据共享交换能力,扩大数据交换范围,不仅对本期应用系统支撑起关键作用,也为今后应用系统建设奠定基础。
➢提供数据服务的目录清单并提供相关业务数据交换接口,由数据接入系统实现所需数据的访问或同步。
➢基于信息网络和系统实现平台之间的信息共享,实现有利于业务管理与工作协同的共享效果;微安表
➢基于业务管理要求和信息技术手段实现多方式的有控制的信息交换,保证信息交换的安全性和有效性;
从技术层面来看,要满足以下技术目标:
➢能够对数据接入系统进行统一的配置管理。包括数据源配置、参数配置、数据采集及模板策略配置、数据采集任务管理以及数据采集调度管理等。导盲仪
➢实现不同平台数据资源的数据采集、交换,包括在线实时数据、关系型数据库数据、结构化数据、半结构化数据以及非结构化数据。
➢实现统一任务调度,保证在正确的时间节点启动正确的作业,确保作业按照正确的依赖关系及时准确的执行,并最终保证业务流程的正确性。
➢实现数据资源交换的全流程监控。包括系统服务情况、数据采集任务调度情况、数据采集任务运行结果、系统日志信息等。
数据接入系统由ETL平台、调度子系统和运行监控子系统组成。
石榴套袋技术1、ETL平台
ETL平台承担着从各数据平台上获取数据以及进行数据同步。实现数据加载、清洗融合、数据汇总、数据同步及数据质量检查等功能。
干涉光刻根据系统特点及业务需求按抽取方式ETL分为增量抽取和全量抽取;按加载方式ETL分为插入更新机制和先删后插机制;按抽取频度ETL分为5分钟频度,T+0.5频度,T+1频度,周频,月频,季频,年频等等;按数据日增量分为传统ETL和大数据ETL;每个任务的数据抽取应该有统一的时间控制,统一的开发规范,所有程序均需支持数据重算。
ETL程序所在的目录按一定的规范进行定义,需要的参数信息都采用参数名配置形式,参数名按一定的规范进行定义,保存参数的相关连接配置文件、参数文件、状态文件、控制文件等都按一定规范进行集中管理并有统一调度进行调度。
按照ETL程序的实现逻辑进行分类,定义不同的模版进行批量开发。避免同一功能的程序在平台中存在多个,使用快捷方式,方便管理和运维。注重程序运行效率,把共性的优化效率的方案加入开发规范中,从设计阶段开始注入效率优化思想。考虑程序的

本文发布于:2023-07-24 16:58:02,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/4/190628.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   系统   实现   进行   接入   平台   交换   采集
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图