一种船舶用分布式高速采集设备和采集方法与流程

阅读：评论：0

1.本发明属于船舶数据采集技术领域，具体涉及一种船舶用分布式高速采集设备和采集方法。

背景技术：

2.船舶信息系统是一个包含多种类型电子设备的复杂系统，各电子设备或子系统均通过船舶网络交换机进行网络互连和数据交互。船舶信息系统中的网络节点数量众多，单台网络交换机可提供的网络端口数量无法满足使用需求，因此通常船舶信息系统均需要部署多台网络交换机以提供足够的网络端口供用户进行网络连接和数据通信。
3.在船舶工程实践中，当船舶信息系统的电子设备或子系统间出现网络数据通信故障或进行专项试验数据分析时，均需要使用各个电子设备或子系统间的网络通信数据来进行分析或评估。因此，针对船舶信息系统中的网络数据采集具有广泛的使用需求。
4.为实现对每台交换机上各个用户端口数据信息的采集，通常会在每台交换机设置一个镜像端口。该镜像端口将该网络交换机上的其他用户端口的数据进行镜像汇总。然后通过对网络交换机镜像口进行数据采集来实现对该交换机数据的完整记录。
5.随着网络交换机技术的不断发展,船舶信息系统中陆续采用了新一代网络交换机。新网络交换机的网络端口已经由原来的1g端口升级为10g端口，并且集成了ptp(precision time protocol)协议时间同步能力，可以在支持用户进行网络通信的同时自动完成时间同步。
6.目前，船舶上装备的原网络数据采集设备只支持1g速率的网络数据采集，且不支持ptp协议，同时对于数据的存储及处理都是采用本地化存储和处理，处理和存储能力都相对有限。
7.随着信息化程度不断提升，船舶信息系统网络规模日志扩大，交换机数量随之增长，对于网络数据采集节点数量的需求也是不断提升。
8.因此，现有的船舶网络数据采集设备无论接口速率、对时方式、采集数量均已经无法满足新的使用需求，迫切需要一种分布式高速采集设备来适应船舶信息系统的需求变化。

技术实现要素：

9.本发明要解决的技术问题是：提供一种船舶用分布式高速采集设备和采集方法，用于完整采集船舶网络中全部交换机的镜像口上的网络通信数据。
10.本发明为解决上述技术问题所采取的技术方案为：一种船舶用分布式高速采集设备，包括由挂接在以太网总线上的多个数据录取单元和至少一个数据管理单元组成的hadoop分布式处理系统；hadoop分布式处理系统采用“1+n”的协同工作模式，通过数据管理单元综合调度多台数据录取单元协同工作，用于分布式处理和存储采集到的网络数据；数据录取单元为hadoop分布式处理系统的工作节点datanode，包括至少四个10g速率的网络
数据采集通道，用于同时采集至少四个网络交换机的镜像口数据；数据管理单元为hadoop分布式处理系统的管理节点namenode，用于对各个数据录取单元进行统一的管理控制。
11.按上述方案，数据录取单元包括双冗余电源模块、fpga网络数据4通道10g采集模块、主处理模块、大容量存储模块、飞腾服务器、显示模块、键鼠模块、双冗余10g网络模块、串口模块和usb模块；fpga网络数据4通道10g采集模块用于实现四通道的10g速率的网络数据采集；显示模块用于进行vga显示；键鼠模块包括键盘和鼠标，用于进行命令和数据输入；双冗余10g网络模块包括双冗余10g网口，用于支持基于ptp协议的时间同步；串口模块包括rs232接口；usb模块包括usb接口。
12.按上述方案，数据管理单元采用飞腾服务器架构，支持基于ptp协议的时间同步；数据管理单元包括双冗余电源模块、存储模块、飞腾服务器主处理模块、显示模块、键鼠模块、双冗余1g网络模块、双冗余10g网络模块、串口模块、usb模块，用于统一管理各个数据录取单元。
13.一种船舶用分布式高速采集方法，包括以下步骤：
14.s1：采集和存储网络数据文件；数据录取单元采集网络数据并写入erf文件暂存在本地；守护进程将生成的erf文件上传至hadoop分布式处理系统，同时清空本地缓存；
15.s2：解析网络数据文件；使用mapreduce编程模型分布式并行解析erf数据包文件，提高数据解析效率；
16.s3：存储和访问格式化数据；将解析后的格式化数据以表的形式存放在分布式非关系型数据库hbase的数据表中；以不同的形式标注不同种类的数据便于查和识别；由用户通过网页端对格式化数据发起访问，根据用户的不同需求，对格式化数据表进行全表查询或条件查询，并将查询结果返回到网页端；
17.s4：下载数据；用户以文件的形式下载网页端的查询结果。
18.一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种船舶用分布式高速采集方法。
19.本发明的有益效果为：
20.1.本发明的一种船舶用分布式高速采集设备和采集方法，针对船舶网络体系结构、网络数据流量及网络数据存储需求，采用采集速率为10g的4通道数据录取单元，用于对各个网络交换机的数据进行分布式采集；采用数据管理单元用于实现对各数据录取单元的统一管理；实现了完整采集船舶网络中全部交换机的镜像口上的网络通信数据的功能。
21.2.本发明的各模块均采用国产元器件，实现了数据录取单元和数据管理单元的国产化，不受进口元器件管控的限制，保证稳定的进行生产和供应。
22.3.本发明的软件在国产麒麟操作系统中采用分布式处理hadoop技术，将各个数据录取单元和数据管理单元组成分布式硬件处理集，实现对采集数据的分布式存储与处理。
23.4.本发明的数据录取单元和数据管理单元均支持ptp时间同步，提供高精度录取时戳；实现了10g速率的网络数据采集，适配目前新一代的网络交换机。本发明依据不同船舶的网络规模及交换机数量来扩展和配置相应的数据录取单元，很好的适应了目前各型船舶的网络规模，具有良好的规模扩展能力，适合用在各型船舶网络系统中采集网络数据。
附图说明
24.图1是本发明实施例的结构框图。
25.图2是本发明实施例的数据录取单元的组成示意图。
26.图3是本发明实施例的数据管理单元的组成示意图。
27.图4是本发明实施例的hadoop分布式处理系统的组成示意图。
28.图5是本发明实施例的分布式处理原理示意图。
具体实施方式
29.下面结合附图和具体实施方式对本发明作进一步详细的说明。
30.参见图1，本发明的实施例包括多个数据录取单元和1个数据管理单元；每个数据录取单元可以实现4通道的10g速率的网络数据采集，用于同时采集4个网络交换机的镜像口数据；数据管理单元用于对各个数据录取单元进行统一的管理控制。
31.数据录取单元采用国产化器件，包括双冗余电源模块、fpga复旦微网络数据4通道10g采集模块、主处理模块、大容量存储模块、飞腾服务器、显示模块、键鼠模块、双冗余10g网络模块、串口模块、usb模块。如图2所示。实现4通道的10g速率的网络数据采集，并支持基于ptp协议的时间同步。每个数据录取单元可同时采集4个网络交换机的10g镜像口的网络数据。
32.数据管理单元采用国产化飞腾服务器架构，支持基于ptp协议的时间同步。数据管理单元包括双冗余电源模块、存储模块、飞腾服务器主处理模块、显示模块、键鼠模块、双冗余1g网络模块、双冗余10g网络模块、串口模块、usb模块，如图3所示；用于对各个数据录取单元进行统一管理。
33.软件采用hadoop分布式数据处理技术，充分利用数据录取单元和数据管理单元的硬件基础，形成分布式处理集，实现对采集数据的分布式存储及处理。
34.hadoop分布式处理系统具有分布式处理和存储网络数据的能力，其中的数据管理单元作为hadoop系统中的namenode，数据录取单元作为hadoop系统中的datanode。如图4所示。
35.多个数据录取单元和数据管理单元共同构成hadoop分布式处理系统。其中数据录取单元作为datanode(工作节点)，数据管理单元作为namenode(管理节点)。
36.基于hadoop分布式系统，采用“1+n”的协同工作模式，综合调度多台数据录取单元，使其协同工作，共同完成数据的分布式存储及处理流程。
37.设备采集和处理网络数据的流程如图5所示。本发明的一种船舶用分布式高速采集方法，包括以下步骤：
38.(1)网络数据文件的采集和存储。数据录取单元采集的网络数据将被写入erf文件并暂存在本地，erf文件生成完成后，将由守护进程上传至hadoop分布式文件系统，同时清空本地缓存。
39.(2)网络数据文件的解析。采用hadoop的mapreduce设计算法提高的数据解析效率。erf文件解析使用mapreduce编程模型实现，分布式并行完成erf数据包文件的解析。
40.(3)格式化数据的存储和访问。解析之后的格式化数据将以表的形式存放在分布式非关系型数据库hbase的数据表中。不同种类的数据将及不同的形式标注，以便查和识
别。访问格式化数据时，将由用户通过网页端对数据发起访问，根据用户的不同需求，对格式化数据表进行全表查询或条件查询，并将查询结果返回值网页端。
41.(4)数据下载。用户可以根据网页端的查询结果，同时以文件的形式下载自己所需的结果。
42.以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

技术特征：

1.一种船舶用分布式高速采集设备，其特征在于：包括由挂接在以太网总线上的多个数据录取单元和至少一个数据管理单元组成的hadoop分布式处理系统；hadoop分布式处理系统采用“1+n”的协同工作模式，通过数据管理单元综合调度多台数据录取单元协同工作，用于分布式处理和存储采集到的网络数据；数据录取单元为hadoop分布式处理系统的工作节点datanode，包括至少四个10g速率的网络数据采集通道，用于同时采集至少四个网络交换机的镜像口数据；数据管理单元为hadoop分布式处理系统的管理节点namenode，用于对各个数据录取单元进行统一的管理控制。2.根据权利要求1所述的一种船舶用分布式高速采集设备，其特征在于：数据录取单元包括双冗余电源模块、fpga网络数据4通道10g采集模块、主处理模块、大容量存储模块、飞腾服务器、显示模块、键鼠模块、双冗余10g网络模块、串口模块和usb模块；fpga网络数据4通道10g采集模块用于实现四通道的10g速率的网络数据采集；显示模块用于进行vga显示；键鼠模块包括键盘和鼠标，用于进行命令和数据输入；双冗余10g网络模块包括双冗余10g网口，用于支持基于ptp协议的时间同步；串口模块包括rs232接口；usb模块包括usb接口。3.根据权利要求1所述的一种船舶用分布式高速采集设备，其特征在于：数据管理单元采用飞腾服务器架构，支持基于ptp协议的时间同步；数据管理单元包括双冗余电源模块、存储模块、飞腾服务器主处理模块、显示模块、键鼠模块、双冗余1g网络模块、双冗余10g网络模块、串口模块、usb模块，用于统一管理各个数据录取单元。4.一种基于权利要求1至3中任意一项所述的船舶用分布式高速采集设备的采集方法，其特征在于：包括以下步骤：s1：采集和存储网络数据文件；数据录取单元采集网络数据并写入erf文件暂存在本地；守护进程将生成的erf文件上传至hadoop分布式处理系统，同时清空本地缓存；s2：解析网络数据文件；使用mapreduce编程模型分布式并行解析erf数据包文件，提高数据解析效率；s3：存储和访问格式化数据；将解析后的格式化数据以表的形式存放在分布式非关系型数据库hbase的数据表中；以不同的形式标注不同种类的数据便于查和识别；由用户通过网页端对格式化数据发起访问，根据用户的不同需求，对格式化数据表进行全表查询或条件查询，并将查询结果返回到网页端；s4：下载数据；用户以文件的形式下载网页端的查询结果。5.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求4所述的采集方法。

技术总结

本发明提供了一种船舶用分布式高速采集设备和采集方法，针对船舶网络体系结构、网络数据流量及网络数据存储需求，采用采集速率为10G的4通道数据录取单元，用于对各个网络交换机的数据进行分布式采集；采用数据管理单元用于实现对各数据录取单元的统一管理；实现了完整采集船舶网络中全部交换机的镜像口上的网络通信数据的功能。本发明的各模块均采用国产元器件，实现了数据录取单元和数据管理单元的国产化，不受进口元器件管控的限制，保证稳定的进行生产和供应。本发明的软件在国产麒麟操作系统中采用分布式处理Hadoop技术，将各个数据录取单元和数据管理单元组成分布式硬件处理集，实现对采集数据的分布式存储与处理。实现对采集数据的分布式存储与处理。实现对采集数据的分布式存储与处理。