郑海飞;徐有成;郝莲;陆军;杨波
【摘 要】国产某型飞机在持续适航阶段开展事件收集、风险评估、工程调查和措施制定等工作时,需要机型资料、机队信息、运营记录、事故事件、局方信息等工程数据提供输入、参考以及辅助分析.研究了持续适航工程数据与大数据之间的关系,初步规划了面向持续适航工程数据的大数据系统架构,并通过以下自动化方式实现了相关数据的采集与处理,形成了持续适航工程数据库:首先利用网络爬虫数据采集技术实时准确地获取一些国内外公开数据;其次应用VBA语言对已获得数据进行整理与自定义处理;最后基于大数据的映射分析方法对这些工程数据进行分析.该持续适航工程数据库已有效应用于某型国产飞机持续适航体系的日常运行工作. 【期刊名称】《民用飞机设计与研究》
【年(卷),期】2017(000)003
【总页数】6页(P79-84)
【关键词】持续适航;工程数据;大数据;风险评估;数据抓取;数据处理;映射分析蔡琳近况
【作 者】郑海飞;徐有成;郝莲;陆军;杨波
【作者单位】上海飞机设计研究院,上海201210;上海飞机设计研究院,上海201210;上海飞机设计研究院,上海201210;上海飞机设计研究院,上海201210;上海飞机设计研究院,上海201210
【正文语种】中 文
【中图分类】V221+.91
国产某型飞机在持续适航阶段开展事件收集、风险评估、工程调查和措施制定等工作时,需要机型资料、机队信息、运营记录、事故事件、局方信息等工程数据提供输入、参考以及辅助分析。研究了持续适航工程数据与大数据之间的关系,初步规划了面向持续适航工程数据的大数据系统架构,并通过以下自动化方式实现了相关数据的采集与处理,形成了持续适航工程数据库:首先利用网络爬虫数据采集技术实时准确地获取一些国内外公开数据;其次应用VBA语言对已获得数据进行整理与自定义处理;最后基于大数据的映射分析
方法对这些工程数据进行分析。该持续适航工程数据库已有效应用于某型国产飞机持续适航体系的日常运行工作。
国产某型飞机在持续适航阶段开展事件收集、安全风险评估、工程调查和制定改正改进措施等工作时,需要工程数据库为风险评估工作提供数据输入、数据参考以及分析结论。目前,应用大数据采集和处理技术,持续适航体系已初步建立“持续适航工程数据库”,并在持续完备中。该数据库包含多种数据类型:(1) 针对特有机型的数据:设计需求数据、设计要求数据、设计规范(英文)、详细设计报告、结构或系统CATIA数模、审定计划,适航符合性报告(MOC1-MOC9)、交联系统——专项审定计划、技术出版物以及飞机在运营阶段的事件、事故症候和事故,以及相关的客户服务文件、适航指令;(2) 针对国内外不同机型的数据:国内外不同机型的事故、事故症候数据,国内外不同机型的适航指令数据。
该数据库的主要使用目的为:(1) 为持续适航事件的风险评估提供飞机型号数据输入,包括设计数据、三维结构数据、安全性分析数据、运营维修数据等,为风险评估中的潜在不安全状态分析提供数据依据;(2) 利用反证法或引证法,为持续适航事件的风险评估提供参考依据;(3) 实现内网搜索查询、实现跨库搜索查询和支持辅助分析的功能。
持续适航工程数据库的数据量化指标如表1所示。
综上所述,持续适航工程数据的特征与大数据的特征极为相似[1]。大数据的五大特征与特性为:数据体量大(Volume)、数据处理速度快(Velocity)、数据类别多(Variety)、数据真实性强(Veracity)、数据潜在价值高(Value),简称为“5V”特征[2-8]。为了确保航空器的安全运营以及运营的经济性,持续适航体系要求针对航空器的运营过程中出现的任何事件,要做出及时、迅速的风险评估,以及分析出航空器的潜在不安全状态,因此要求快速地对持续适航工程数据进行处理与分析,并得出有效的措施建议;持续适航工程数据与大数据类似,其数据来源于航空器的设计、制造、试飞与日常运营过程中,均为原始数据,因此具有很强的真实性。可以看出,持续适航工程数据是大数据在民航制造业、民航运输业的具体体现,站在大数据层面,从大数据的视角,在持续适航工程数据的采集、存储及分析处理方面引入大数据理念,可以更好、更快、更有效地支持并服务于持续适航体系的运行。
基于大数据的理念分析处理持续适航工程数据,就需要一个完备的持续适航工程数据大数据系统。持续适航体系提出了关于持续适航工程数据的大数据系统的系统架构,主要包括数据架构和管理架构两部分。持续适航工程数据库基础架构的数据架构和管理架构如图1、图2所示。
2.1 数据架构人民币利率市场化
主要基于数据层、功能层、应用层和外观层搭建持续适航工程数据库的数据架构,实现数据库的工程数据输入、输出和处理及人机交互等功能。项目管理技术
1) 数据层包括型号资料数据模块、机队信息数据模块、试飞信息数据模块和运营数据模块,以及可输出分析数据的专题分析数据模块。
2) 功能层包括字段搜索(含数据下载功能)、报告上传、数据增删和模块增删四个基础功能模块,数据统计分析和数据关联两个延伸功能模块,数据预测和人工智能两个高阶功能模块,功能层总共包含八个功能模块。
字段搜索功能模块(含数据下载功能)对数据层进行关键字段检索,从而输出相应持续适航工程数据;报告上传功能模块仅针对专题分析数据模块进行工程数据分析报告的上传;数据增删功能模块针对数据层中数据的实效性、正确性进行更新、更正的操作;模块增删功能模块针对数据层中数据模块的实效性、正确性进行更新、更正及拓展的操作;统计分析功能模块具有数据的科学统计、处理分析功能,并将分析处理后的数据套用专题分析数据
红柳河
模块中的分析报告模板进行分析报告输出;数据关联功能模块将关联数据之间的相似性、矛盾性等具有工程研究价值的关系与映射;数据预测和人工智能将通过对现有数据及数据之间的关联的运算与分析,得出具有工程研究价值和实际操作价值的结论和建议。
二氧化氯
3) 应用层包括风险评估、事件筛选、工程调查和经验总结等服务项目,服务于持续适航体系的运营。
4) 外观层包括文字输出、图表输出、图形输出、3D人机交互及报告输出五个应用模块。3D人机交互是为了实现持续适航工程数据的3D交互式可视化,高效、便捷地为持续适航体系运行提供数据支持。
2.2 管理架构
打印机共享器
主要基于访问层、访问层(会员)、操作层以及维护层搭建持续适航工程数据库的管理架构,实现工程数据输入、输出和处理以及数据库更新、维护的流程化和权限化管理(权限向上兼容)。
1) 访问层具有对数据库的字段搜索(含数据下载权限)权限和统计分析权限,可以得到文字
、图表、图形及报告的输出;
2) 会员具有对数据库的报告上传及统计分析权限,对专题分析数据库进行数据补充;工程数据库会员拥有个人账户,可以实现对自己已有数据的关联,亦可对已关联的其他会员数据的关联,即多层次的数据关联;
3) 操作层对持续适航工程数据进行实时跟踪,具有对数据库数据的增加和删减权限;
4) 维护层具有对数据库数据模块的增加、删减和拓展权限。
建立持续适航工程数据的大数据系统,首先需要获得数据,利用网络爬虫的数据采集技术可以高效准确地获取一些国内外公开数据;其次是对已获得数据的整理与处理,以便后续分析使用;最后是利用大数据的分析方法,例如线性回归、决策树、支持向量机、贝叶斯网络、k均值以及Apriori关联等算法[9-10],对系统中的数据进行分析,因此需要建立针对不同应用场合的辅助分析方法。已实现的大数据技术方案如下所述。
3.1 基于网络爬虫的数据采集技术
持续适航的工程数据具有体量大的特点,包括飞机型号数据和国外相似机型数据。因此数据的采集不能靠人工来实现。
利用网络数据抓取技术,包括开源网络数据爬虫抓取技术或者Python语言自编译数据抓取技术,建立高效、准确的抓取规则,执行持续适航工程数据的抓取工作。基于网络爬虫数据采集的关键技术是抓取规则的建立,其技术方案如图3所示。
持续适航工程数据是不断更新的,不能使用不具有时效性的数据。利用网络数据抓取技术以及上述的数据抓取规则模型,建立数据更新的抓取规则,实现持续适航工程数据的定时更新。采集的数据均来自FAA、EASA以及NTSB的公开数据,因此数据的真实性是可以保证的。