第⼀、项⽬⽬标
将超过30个核⼼系统数据，实施同步复制，统⼀集中到⼤数据平台。 1）将数据实施同步，数据量很⼤。---数据⽐较复杂
2）数据复制的实时性、准确性
3）复制数据需要增加标签（操作时间、操作类型、操作⼈等），便于后端识别数据。 4）如何抽取数据，减轻对⽣产库的影响。如视图、临时表、dg库等⼿段。
5）如何更好的适配后端应⽤，保证数据规格灵活，预留字段充⾜。
可以考虑建⽴编码管理，元数据仓库。
6）具备操作控制流管理、数据抽取、数据清洗、数据对⽐的功能，⽅便追踪溯源。
第⼆、项⽬难点与应对
1）业务系统众多，数据源⽐较复杂，有sqlserver,mysql,essbase,oracle,sql server。同时数据规则不⼀。 台历打孔机建议建⽴数据处理中⼼、元数据仓库。转换数据格式，并做好扩展性。
木本植物的样本2）数据量庞⼤，初始化数据的时间开始点很重要。⼀般财务核算数据保留两年的时间。但是因为业务特殊性，有些数据需要追溯到10-30 年，甚⾄更长时间。
3）对数据存储空间、存储机房位置，是否需要专⽤光缆，是否和其他系统抢占资源等。
4）复制核⼼业务系统数据不超过10S-20S。实效要求⾼。准确性也需要，否则⽆法保证数据准确性。
app数据采集5）对数据清洗、分摊、补录。提供⼀个统⼀⼿⼯补录的接⼝。
第三、解决⽅案：
跳跳鞋
1）数据平台复制数据需要⽀持异构数据库、⼤数据量、实时性、模块化。
可以考虑初始化数据全量同步到hdfs，增量数据同步到kafka。
2）复制数据放在备份库上。⼀定要减轻⽣产库的压⼒。
防辐射屏
3）为了节约⽹络资源，需要和备份数据库放在同⼀个机房。、
4）需要建⽴数据控制流，⽅便数据校验。暂定校验数据条数、数据数量合计。
⽬的是⽀持后续业务进⾏数据操作回查，实现数据校验。特别是财务数据，可能需要下钻
抽取凭证级的数据。dic系统
5）需要配置多个同步通道。可以快速将数据同步到数据库，并⽀持增量同步的⽅式。
需要选取复制效率最⾼的产品。如可以⽀持多线程、多并发、特定数据格式、数据压缩技术，
以及快速数据抽取和装载技术。
