图1:飞机起降跟踪智能识别分析系统
⼀、系统概述
新时代新体制下,机场作为联合作战体系的重要节点,空军战⽃⼒⽣成的基本依托,迫切需要加快推进向智能化保障跨越发展。智慧机场将在智能技术推动下机场发展的新形态,其本质就是通过智能化技术的⼴泛应⽤,形成与新体制相适应的飞⾏作战保障模式及智能化,实现机场业务⼯作的智慧化,从根本上提⾼机场整体智能管理。智慧机场离不开信息化,智慧机场信息化建设的使命任务就是通过信息技术的深⼊应⽤,改变现有机械化为主要特征的思维和运⾏规则,充分运⽤新型的保障⼿段、装备和设施,降低或减轻以劳动密集型保障模式带来的资源成本⾼及效率低下局⾯,满⾜未来做战对空军航空兵保障的“急、快、准、全”的新要求。 经过长期的建设发展,场站信息化建设取得较好的成效。各类信息系统在场站指挥、保障、业务管理领域得到应⽤,积累了⾏业信息化运⽤的宝贵经验;⼆代保障装备全⾯配备,与三代作战武器的配套成型,为保障⼀体联动奠定基础;信息主导的理念深刻影响各级领导⼲部,奠定了智慧机场建设发展思想根基;⼈才队伍和组织体系相对稳定,发展条件基本成熟。但依然存在战训、机务与场站保障信息隔离、保障需求与动态获取⼿段⽋缺、保障信息分析粗放、过程掌控能⼒较弱等问题。着眼未来,这些问
题都应在智慧机场信息化建设中得到解决,智慧机场信息化建设必将是新型机场建设突破⼝和发展牵引。
智慧机场信息化建设的总体⽬标:通过智慧机场信息化建设,实现飞⾏、机务、场站“三位⼀体”, 资源管理透明化,作业流程⾃动化,指挥控制智能化。其主要特征是:“指控智能”、“保障⾃控”、“管理⾃主”。
指控智能:指挥控制智能优化,飞⾏保障更科学。优化保障资源配置,全⾯感知保障需求,科学优选保障⽅案,智能分配保障任务,实现⾼效精准保障。
保障⾃控:保障⾏动精准联动,场站保障更⾼效。保障链条相互衔接,保障活动⾃动实施,外场保障与物资供应⼀体联动,实现实时精细保障。
管理⾃主:管理服务⾃主实施,场站保障更顺畅。⾃主获取各类服务要求,管理活动⾃主运⾏,安全机制多种互补,异常情况⾃动判别预警,综合管理从被动是向主动式转变,实现管理优质⾼效。
⼆、系统功能
系统由⾼普乐多光谱⼀体化球形转台摄像机、跟踪服务器、智能跟踪控制软件、防雷设备及配套安装⽀架等相关软硬件设备组成。其中多光谱⼀体化球形转台摄像机同时输出可见光图像和红外热成像图
像,后台系统根据画⾯能见度情况⾃动选⽤合适的信号进⾏分析。在能见度及光照较好的情况下,结合使⽤可见光和热成像图像进⾏分析,在雾天、⾬天、夜晚等低能见度的情况下,使⽤热成像图像进⾏分析。成像摄像机采⽤被动模式,不会⼲扰飞机的飞⾏。
⾬天、夜晚等低能见度的情况下,使⽤热成像图像进⾏分析。成像摄像机采⽤被动模式,不会⼲扰飞机的飞⾏。
新型广告媒介图2:多光谱⼀体化球形转台摄像机
整个系统是⼀个闭合的控制回路,其中摄像机的画⾯是系统的输⼊信号,智能视觉分析软件从画⾯中提取出飞机当前的位置信息,并以此作为云台的控制信号,转台转动的输出信号会⾃动反馈到摄像机的下⼀帧画⾯上。整个反馈控制回路闭合迭代可以对⾼速起降的战⽃机实现持续、稳定的跟踪效果并实时完成起落架的识别检测。
为了适应飞机的低可视化涂装,系统内置深度学习模块,可以在线和离线地对场景与⽬标进⾏学习。学习训练和推理过程合成在同⼀台服务器完成。数据与结果都保存在跟踪服务器本地。
系统特点
1. 组合使⽤可见光传感器和红外传感器,⽆论是在晴朗的⽩天、夜间、还是⾬雾天⽓等低能见度天⽓
下,都能有效发现、捕获、跟踪⽬标;
2. 采⽤先进的智能图像处理和系统控制技术,跟踪平滑稳定,图像清晰;
3. 采⽤标准化、模块化设计技术,扩展性好,维修⽅便;
4. 前端设备可以在恶劣环境下长期连续使⽤。
飞机智能追踪钣金专用工具
系统利⽤⼈⼯智能算法对飞机进⾏⾃动检测跟踪,可对⽬标飞机在机坪、滑⾏道、跑道等区域的⾏动进⾏全程跟踪,使值班管制⼈员能够全程关注飞机的状态,保证运⾏安全。
系统可根据当天飞机计划与天⽓风向条件,灵活变更跟踪计划,匹配场站实时飞⾏安排。
远距离全天候监控
系统配置长焦镜头,可以覆盖进近区域,⼤⼤扩展了跟踪检测的空域范围。系统配置的红外热成像相机根据温度成像,在⽆光,以及各种恶劣天⽓条件下,均具有良好的成像效果,适合机场这种需要全天候监控的场景。在基于智能视频分析的⽬标检测⽅⾯,红外热像仪也具有先天优势,由于热像仪视
频不受环境光照、昼夜及⽓候环境的影响,因此在⽬标检测上较可见光图像具有漏报率和误报率低的特点。
轨迹可视化
系统可以和三维场景进⾏联动,通过对摄像机进⾏标定,把摄像机捕捉到的战⽃机跟踪数据转化为三维轨迹并在三维模型中进⾏叠加展⽰,该功能使⽤户能够快速,直观,准确的了解战机滑⾏轨迹的整体态势,发现战机滑⾏过程中存在的问题,为战机滑⾏路径规划提供有⼒的依据。
飞机进场检测与跟踪
任一农系统在飞机进场阶段对预设区域进⾏扫描探测,当发现⽬标后,⾃动转⼊跟踪阶段,对飞机实施连续地跟踪,期间会把⽬标稳定在画⾯中⼼区域,并根据⽬标的⼤⼩控制镜头变倍,使飞机在画⾯中保持⾜够的⼤⼩和清晰度。
起落架识别检测
当前,机场对飞机起落架监控采取⼈⼯⾁眼观察的⽅式,通过望远镜对远距离降落中的飞机状态进⾏辨认识别,保证飞机安全降落。⾁眼观测的距离受限,并且对环境和光照有强的依赖,特别在逆光、夜间、⾬雾等条件下存在很⼤的局限。
本系统提供⼀种进近航线和实时视频数据相结合的⽅法,可以全⾃动跟踪飞机并检测起落架的放落状态,判断⽬标飞机是否在最后进近前完成飞机构型的改变,并在发现异常时及时向管制⼈员发出告警。
由于起落航线上的飞机数量是受管制的,所以可以预先规划决定结束本次任务,进⼊下⼀次任务的间隔和时机。
事件回放
系统云台相机的跟踪全过程进⾏存储与回放,通常配置存储容量不低于3个⽉(可配置) 。通过视频存储回放,可对包括航班滑⾏轨迹、战⽃机记录快照、历史事件进⾏回溯,有利于特殊事件后的分析。系统录像回放⽀持通过输⼊准确时间点(精确到秒)进⾏播放,也⽀持按航班号进⾏回放。
1. 按时间段回放: 按时间段的录像检索回放功能。监控⼈员可通过选择起始时间段进⾏录像检索回放,查询并同步回放指定时间段内的跟踪录像;
2. 按事件回放: 回放按照起降跟踪的事件进⾏组织,系统⾃动根据起降事件定位到回放的时间段;
3. 同步回放: 所有的回放操作系统会⾃动关联到可见光和红外相机,并⾃动选取同步的回放时间。
三、系统设计
飞机降落时⼀般按照起落航线进⾏飞⾏,机场的起落航线通常为左航线,若因地形、城市等条件的限制,或者为避免同邻近机场的起落航线交叉,也可以为右航线。起落航线的⾼度,通常为300⽶⾄500⽶。
图3: 起落航线⽰意图
系统通过在起落航线的合适位置部署前端摄像机,可以捕捉并观测到降落构型的飞机,并⾃动判断起落架的状态,如果在指定的区间范围内未有识别到起落架,则为异常。考虑到全天候⼯况要求,系统以红外信号为主,可见光信号为辅。前端双光谱视频信号通过光纤传回控制中⼼机房并接⼊⽹络,后台分析和控制软件通过⽹络收取实时视频信号,并控制云台转动与变倍。
云台初始时在起降航线的五边(final)区域扫描搜索飞机,⼀旦飞机进⼊扫描区域后台分析系统第⼀时间捕捉到飞机后开始进⾏跟踪,在跟踪的过程中,系统会把飞机稳定在画⾯中央区域,并调节镜头焦距使得⽬标在画⾯中占据⾜够的像素。
对起落架的检测在跟踪的过程中由智能算法在线完成。由于飞机降落构型的变化需要⼀个过程,分析软件会在⼀定区域范围内持续进⾏分析检测,当在区域中检测到起落架后,本次跟踪过程结束并返回初始的扫描位置。
如果在规定的区域范围中始终未能检测到起落架则向馆职⼈员发出告警信号,并保持云台跟踪画⾯。
前端摄像机码流同时接⼊后台存储,可以和系统⽇志进⾏关联,后台软件可以基于⽇志对录像存储进⾏联动和回放。
四、系统部署
前端摄像机
图4:多光谱⼀体化球形转台摄像机
前端设备为两台⾼性能⾼普乐多光谱⼀体化球形转台摄像机,⽀持可见光和红外热像两种成像成像,多光谱⼀体化球形转台摄像机的主要参数如下。
摄像机安装点位
考虑到红外相机的⼯作距离,特别是考虑到低能见度情况,前端相机应在第五边选取合适的部署位置。合适的位置应根据机场航图和飞机的实际飞⾏情况综合决定。
数据销毁
hxi图 4: 五边起降航线⽰意图
释放起落架的动作是在进近的某个区间内完成,摄像机点位的选取应保证在整个区间范围内都能拍摄到清晰的画⾯,⾄少应保证在区间的下限仍能拍摄到清晰的画⾯。否则就不能准确地发出告警信号。
搜索引擎制作图6:案例分享-机场视频监控图
本⽅案的核⼼由飞机场全⾃动起降跟踪功能模块和起落架全⾃动识别模块两部分组成。光学起降跟踪和起落架识别模块综合使⽤多光谱融合成像技术、计算机视觉技术、⼈⼯智能技术等多种先进的技术⼿段,并针对军⽤飞机进⾏了针对性的优化开发。
系统从实际需求出发,紧密围绕⽤户的应⽤场景,能⾃动识别安全隐患、⾃动告警。在此基础上可以进⼀步利⽤在其他⾏业和场景中验证成熟的技术,扩展功能成为全场⾯视频智能监控系统。