探析机器视觉实现
■文/那正平 北京旷视科技有限公司
随着城市化进程加快，城市人口规模与日俱增，运行系统愈加复杂，城市安防面临严峻考
验。近年来，响应十九大报告以及中共中央、国务院、国家发展改革委、工业和信息化部等部 门发布的系列政策，人工智能与安防企业开始将围绕公共安全、交通、楼宇、金融等安防场景， 打造以人工智能技术为核心的创新应用，与政府协同实现“AI+安防”的落地，满足了民众对
安全管控的需要。社会公共安全治理体系迈向信息化与智能化，作为人工智能一大分支的视觉 识别技术在安防行业尤其是城市公共安全视频监控中快速发展。一众企业纷纷入局，而要想做 好智能安防，企业既要深懂AI，也要深懂安防，才能将场景化算法和业务深度融合实现极致成效。
在实战之中发现，现有公共视频监控体系的每一个环节都存在巨大的AI 赋能提升空间，未 来将在机器视觉应用中实现“全视图智能化” o 本文将基于对安防业务的深刻理解以及行业经验,
从安防行业新需求、全视图智能化的建设要点等方面进行分析，展现全安防行业的发展蓝图。
一、安防行业需求的深入挖掘与 分析
尽管视频分析和视图数据的应用已有多 年，但其在安防领域的落地尚未触及天花板。 按照城市公共安全视频监控体系的划分进行分
析，当前人工智能在人脸卡口、车辆卡口的应 用相对比较充分，已经能够做到实时解析，但
还存在人脸、脸车不完全关联等痛点，对于异
常与违法违规事件的及时发现与后续处理造成 —定阻碍。
48 - 0空虫團殳BB -
2021.1-2
栏目主持：周丹雅 E-mail ： *****************
在覆盖面最广的城市治安监控网络方面，由于 针对弱特征、不同姿势的算法难度更大，且按需对
视频流进行小规模解析的利用成本较高，目前治安 摄像机大多只具备单纯的记录功能，仅有少量人体、 车体、车牌、人脸等信息被查看解析，海量沉睡数 据产生，对于视频分析和视图数据的应用需求较大。
整体上来看，公共安全领域的视图应用面临着 点线面“割裂”的难点：传统视频监控体系采用烟 囱式模式建设，彼此间不互相通，即使各模块均达
网联网到一定水平的智能化，对于实战指挥的辅助作用仍 然有限。此外，视频点位规划不科学、视频管理不
unmsg
智能、视频要素与已部署的智能化手段利用不充分、 侦查破案所需人工查看的视频量仍然较大等，也是 安防视图智能化应用现有的问题，机器视觉技术作
为人工智能的重要分支可施展拳脚的空间巨大。
二、安防视觉全视图智能化落地途径
目前看来，人员、地点、时间、物品和组织构
成了复杂的社会，这些要素都是客观存在的实体，
视频和图像则是显示世界最真实的记录，是物理世
界向数字世界过度的载体。安防视觉全视图智能化
即运用视觉技术将全视图（治安监控、人脸卡口、 交通卡口、微卡口，实时视频、录像视频、离线视频、
丝绵机离线图片）中全域、全周期中的有价值的全目标（脸、 人' 机、非、机动车牌、非机动车牌等）进行全结 汽车除霜器
构化提取，并进行应用计算，从而为社会的治安、 环境、保障管理提供可靠依据，是公共安全业务未
来发展的主要方向。
举例来说，由于点线面各场景的信息没有打通，
在传统办案过程中，公共安全部门只能在不同体系 内分别查人脸、车辆等要素并进行轨迹判断，需 要运用大量人力在不同卡口间进行交叉比对，相对 耗时耗力。"全视图智能化”通过接入基础设施，
尤其是感知前端的共享、共建、共用，将人脸' 车
辆、治安监控点位实现融合贯通，实现对全域范围、 全目标和全要素的深刻感知，能够通过多维度信息
•全目标信息档案；•全目标属性绑定关联研判
•全目标关联检索;•全目标自动识
•视图资源脸、人 机、非、车牌全目标解析
全视图资源接入
•皿卡口
•结构伽机
.頌卡口离线资源•治安监控
•录像资源•微卡口
•视图库资源
图1全视图与全目标
2021.1-2 - ChAottJSSBfi -
49
帮助刻画全息档案与目标轨迹，提升侦查破案、治 安维护的能力。
不仅是在公共安全领域有较好的应用空间，全 视图智能化还盘活了城市公共安全视频监控体系的
更多数据，准确抽离出社会的运转规律，也为人工 智能在城市物联网的更多落地以及智慧城市的建设 打下了基础。为了建设好全视图智能化，应从技术、 业务、工程三个层面综合考量。
4.技术侧：四大高门槛技术点有待持续突破
目前，在安防行业中每每提到AI，大家能想到
就是人脸识别和结构化，但实际上，人工智能和机 器视觉能做的远不止于此。要想实现全视图智能化，
在技术层面也应该从实战应用出发，并从以下四个 方面着手突破。
一是目标检测跟踪算法。目的是将有业务价值
的活动目标，从视频中提取出来进行进一步分析。 目标检测跟踪算法需要又快又准，"快”指的是算
力资源消耗少，提升计算密度，降低单路成本；“准”
指的是要做到目标不重不漏，同时也要确保到质 量最好或者最具代表性的某一帧或者几帧图像。由
于安防业务实际场景的复杂性，检测跟踪算法需要 调优的参数非常多，是非常难以做到又快又准的。
为了解决这一问题，需要创造性的利用场景自适应
调参的技术，帮助算法在不同场景下到最优参数， 从而显著提升算法效果。
二是目标关联绑定算法。目的是建立同一个摄
像头下多目标的物理关联关系，进而帮助数据挖掘。 常见的关联关系包括：脸人绑定、脸车绑定、牌车
水封井
绑定、人非绑定等。为了能够分别到绑定目标的 最优抓拍图，研发出N 合一检测跟踪算法，和多目 标跨帧绑定匹配算法，专门针对检测跟踪性能、ID-
switch 、错绑漏绑的情况进行大量优化，提升了关
联关系数据的可靠性。
三是目标特征提取和检索算法。目的是衡量目
标之间的相似程度，实现基于图像的内容比对和检 索，从而回答两个目标是否为同一个人的问题。在
50 - 6#卫星辽ffl] -
2021.1-2
栏目主持：周丹雅 E-mail ： *****************
城市规模下，需要解决百亿或千亿数据规模对于特 征提取的精度，以及海量数据检索的成本和性能的 矛盾冲突问题。为此，算法需要进行大量优化，比
如多目标特征+属性关联检索功能，冷热温数据的 异构硬件分级索引能力等，可以帮助客户更快更准
的到相关目标。
四是目标聚类和归档算法。目的是将同一个目
标ID （人或车）的所有抓拍记录全部纳入同一个档
案中。归档率越高，档案分裂度（一个人分属两个 档案）越小，档案纯度（一个档案只有一个人）越高, 数据的精度就越高。这一过程，大大提升了数据的
密度和价值，可以基于此拓展海量大数据应用。举 例而言，对于一个1万个摄像头的城市，每天产生
的抓拍数量接近1亿，三个月的数据会趋向于100
亿。然而，如果对大部分目标进行了档案化，那么 档案的数量将下降到与城市常住人口一个数量级，
即几百万左右，对于摄像头数量的增加和时间的增
加的影响都会大幅降低。
在应用实战中，通过以上技术点的互联互通，
在全场景接入数据开展全目标解析后，全视图智能 化平台可基于人脸自动聚档，同时关联人体、车辆 等多维数据，构建目标全息档案，刻画人员全息画像，
对公共安全工作形成有力支持□
2.业务侧
：点线面全视图与其他数据融合
贯通
城市公共安全视频监控体系点线面每一个环节
的信息挖掘都存在较大提升空间，全视图智能化建 设需要先将不同的卡口两两融合形成人像围栏、人 车围栏、车辆围栏，并将全卡口视图全面汇集生成
全息围栏，实现全卡口、全目标的识别分析，再完 成一人一档、一车一档、人员积分模型、车辆积分
模型等面向人、脸、车的应用部署。
除了卡口间的互联贯通，点线面视图还可与侦 码设备等其他物联感知数据、情报数据进行碰撞融
线
车牌+人直+车体
人体♦车处+牌*脸
V
人像圉启
人车国栏人验卡口+治安卡口人验卡口+车瀚卡口车卡口+治我卡口全卡口、全目标
图2城市公共安全视频监控的点线面有待实现全视图贯通
2021.1-2 - c 槪虫星殳Bfi -
51
合，综合多维判断帮助提高办案效率。
3.工程侧
：
科学规划点位，云边协同突破
联网汇聚瓶颈
经过实践感受到AI 的价值不在于算法本身，而 是用深入碎片化场景的高性能算法结合业务场景，
重新定义硬件和软件，通过软硬一体化的手段形成 的云、边、端应用网络；其次，引入AI 也不意味着 —定要花费高昂的成本。
在工程侧，全视图智能化建设面临的首要问题 在于前端点位规划。在规划时，并非所有点位都有 必要进行结构化解析，而是要以工程思维统合场景，
以有限算力最大化撬动数据价值。具体来看，需要
全盘梳理城市条、块、网格进行数据建模，动静态 综合规划组合点位，同时可以建立点位标签体系，
让视图资产更明晰，方便查提升成效。
视频联网汇聚是全视图智能化工程的又一难点。 传统视频网络由区县建设共享平台，到市局统一汇 聚、存储、智能解析，转发节点较多，对视频链路 稳定性的要求很高。在全视图带来更大解析量的背
景下，需要通过“云边协同”突破网络传输瓶颈， 让算力跟着数据走，推进边缘智能，跨域调度，提
升智能化密度，加速智能化建设。
在应用中，前端利原先摄像机和云边协同是平
衡成本和效果最优的解决方案。以目前推出的全程
全目标系统为例，选择通过智能结构化分析盒将算 力前置，就能够帮助行业客户大幅降低视频解析的
直接成本。比如同样是4张GPU 卡的算力，在传
统智慧城市解决方案中只能带动64路视频，用全城
全目标算力前置的方案就可连接500路视频，相当 于节约了近10倍计算成本。
三、全视图智能化实战案例
应势而为，旷视在2020年面向城市安防全场 景全新推出了城市级公共安全综合软件平台（旷视 昆仑）。它有机融合了人像大数据应用平台、全目
标解析实战平台、视图大数据应用平台，可连接城
市中各类视觉传感设备，构建起数据"接入-解析-
挖掘-应用”的闭环，支持全目标要素提取，以及
传统智慧城市解决方案全城全目标视频结构化解决方案
4卡机64路9 4卡机500路
计算服务器节约近10倍
图3
52 - 3应星貝BH -
2021.1-2
