1范围
本文件规定了海洋大数据的数据分级以及分级存储的技术要求和管理要求。
pvc再生颗粒>大米添加剂本文件适用于10PB级以上海洋大数据的分级存储与管理。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T 35295—2017 信息技术大数据术语
3术语和定义
GB/T 35295—2017界定的以及下列术语和定义适用于本文件。
3.1
大数据big data
具有数据巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。
[来源：GB/T 37973—2019，3.1]
3.2
海洋大数据ocean big data
具有大数据特征的海洋领域数据集。
3.3
数据分级data classification
打印机芯按照存储效能的分级规则对大数据进行定级。
3.4
分级存储hierarchical storage
采用相应等级的存储要求对大数据进行存储。
3.5
迁移策略migration strategy腿包
根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。 wan 107
注：包括迁移触发条件、源存储设备、目标存储设备等。
4缩略语
下列缩略语适用于本文件。
CPU：中央处理单元（Central Processing Unit）
ETL：数据提取、转换和加载（Extract-Transform-Load）
IOPS ：每秒读写次数（Input Output Operations Per Second ）ORC ：列式存储（Optimized Row Columnar ）PB ：拍字节，1PB=2的50次方字节（Petabyte ）RCFile ：列存储文件（Record Columnar File ）SQL ：结构化查询语言（Structured Query Language ）
5
数据分级
5.1分级要素
海洋大数据分级定级主要考虑的要素为海洋大数据的访问频率，即根据海洋大数据访问量从高到低来判断，可分为高频率访问的海洋大数据、一般频率访问的海洋大数据、低频率访问的海洋大数据。5.2定级规则
海洋大数据分级等级分为三级、二级、一级，应按照表1进行海洋大数据的定级。
表1海洋大数据等级条件及判定规则
5.3分级等级及存储要求
相应等级的海洋大数据的存储应符合表2的规定。 表2海洋大数据分级等级及存储要求数据分级等级分级存储要求
三级海洋大数据的存储应符合以下要求：1)应实现数据实时访问，访问延迟应小于5ms ；2)三级可扩
展性：应采用可扩展的存储架构，当存储资源不足时应具备在线扩展能力，且不影响原存储系统的正常运行；3)可靠性：多种手段保护数据，确保数据100%不丢失，保证业务99.99999%高可用。
二级海洋大数据的存储应符合以下基本要求：1)可实现数据实时访问，访问延迟应小于100ms ；2)可扩展性：具备一定的在线存储容量扩充能力，且不影响原存储系统的正常运行；3)可靠性：多种手段保护数据，确保数据100%不丢失，保证业务99.9999%二级高可用。
等级条件判定规则判定等级
三级等级条件：高频率访问的海洋大数据。数据访问频次从高到低，排序前10%部分数据。三级
二级等级条件：一般频率访问的海洋大数据。数据访问频次从高到低，排序前10%～30%部分数据。二级
一级等级条件：访问频率较低，或不经常被访问的海洋大数据，或归
档的历史海洋大数据。数据访问频次从高到低，排序30%～100%部分数据。一级
注：根据对海洋大数据访问周期的统计结果，结合本机构的实际情况，对三级、二级、一级等级的存储空间比例
进行适当调整。
表2海洋大数据分级等级及存储要求数据分级等级分级存储要求
一级海洋大数据的存储应符合以下基本要求：1)可实现数据延迟访问，访问延迟不高于5min ；2)可扩展性：应支持离线扩展能力，且不影响原存储系统的正常运行；3)可靠性：确保数据100%不丢失，保证业务99.9999%一级高可用。
6nfj防静电不发火
分级存储技术要求
6.1基本要求
海洋大数据存储的基本要求：
a)b)
应提供结构化、非结构化、半结构化数据存储和处理等功能；应支持分布式存储，包括分布式文件存储、分布式结构化数据存储、分布式列式数据存储、
分布式图数据存储；应提供时序数据存储功能；应提供实时数据存储功能；应支持批处理计算功能，包括离线批量数据处理、在线批量数据处理等功能；应支持实时流处理/计算功能；宜提供数据压缩存储功能，支持压缩存储格式，包括文本格式、RCFile 、ORC 等；宜提供多副本存储功能，并确保数据存储完整性和多副本一致性；c)d)e)f)g)h)i)宜提供多种编程语言和脚本语言进行数据处理功能。
6.2
分级存储实现海洋大数据的分级存储实现：
a)b) c)
应事先明确海洋大数据的数据分级等级，分级等级的判定应根据5.2的要求开展；应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋
大数据分级等级及存储要求应符合5.3的要求；海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏
数据、冗余数据的清洗、去噪、过滤等；应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级
d)的存储设备或系统，包括以下两种方式：
1)2)
归档的历史海洋大数据可直接拷贝至磁带库/光盘库等存储介质中；采用数据抽取方式将海洋大数据迁移至相应等级的存储设备或系统，应按照6.3的规定
开展数据迁移。
e)
应支持根据海洋大数据的分级等级及存储要求、数据访问量，进行不同存储方式之间的迁移
策略的设置、修改、删除等操作；应支持根据迁移策略实现对海洋大数据的组合查询；应支持根据海洋大数据的迁移策略实现海洋大数据的自动迁移，自动迁移应支持迁移日志f)g)。6.3数据迁移6.3.1迁移准备迁移准备工作应包括但不限于：
