崔义童
中国移动通信有限公司政企事业部，北京 100031
xv-851摘要：受技术发展的影响，通信运营业务与数据量迅速壮大。通过研究通信运营的现状与问题，引入大数据、数据中台、数据赋能、智能运营等概念与技术，从数据采集、存储、赋能和展示等方面对系统进行全方位优化升级，搭建通信运营统一数据域，实现通信运营的智能决策、智能营销与智能运营。关键词：通信运营；数据中台；数据赋能；智能运营中图分类号：TN929.5 玉石板作者简介：崔义童（1989—），男，山东滨州人，硕士研究生，PMP+软考中级，任职于中国移动通信有限公司政企事业部，主要研究方向是数据挖掘、机器学习、大数据分析。
0 引言
随着科技的发展，通信行业已成为全球发展最快的行业之一，“在线化”成为必然趋势，移动通信数据量爆发。截至2020年6月，通信运营商用户人数与企业数成倍扩张，会议次数与会议时长爆发性增长。为满足通信服务需求个性化，用户数据资产化与产品运营智能化的要求，通信运营商亟须提高数据管理、客户服务以及产品运营水平［1］。
随着数据治理的重要性日益凸显，各行各业都开始关注数据的价值，通信运营服务充满机遇，但是也存在许多挑战［2］。一方面，信息过量，庞大的数据沉淀后形成数据资产，实时性不断提高，导致通信运营缺乏相应的大数据采集、存储与价值挖掘体系，难以消化数据价值。另一方面，各系统业务独立，信息形式不一致，难以进行统一处理和关联分析。因此，提出通信运营大数据智能解决方案研究，通过明确目前通信运营商的现状与问题，结合数据中台、大数据分析、智能报表等技术，将通信运营商各业务系统数据进行集成、处理、分析与展示，实现通信运营商的智能决策、精准营销与高效运营［3］。
1 通信运营现状分析
近几年，通信运营不断发展，工作成效显著。通信运营商在业务发展和平台运行方面都不断进步。业务发展方面，截至2020年6月底，通信运营平台
的企业客户总数达2.2万，相比2020年年初增长一倍；个人用户数1.150 00万和会场数13万，相对于2
020年年初，实现了爆发性增长［4］。平台运行方面，2019年6月到2020年6月，高清会议次数从16万次上升到118万次，高清会议时长从1 800万min 增加到4 200万min，软终端会议次数从4 000次暴涨为4 200万次，软终端会议时长从47万min 上升到10.27亿min。
由于客户的增长与业务量的扩大，通信运营商的数据资产规模逐渐庞大。因此，大量实时的数据对数据采集方法与存储架构带来新要求，管理决策也越来越全面化与精细化，不仅要求企业打通各系统间的数据，而且需要结合数据挖掘技术为企业赋能。这些改变为数据的采集、存储与分析等方面带来挑战，具体表现如下：
其一，传统的数据采集与存储架构无法支持现有的业务量级。采集方面，随着数据量扩大与采集实时性要求的提高，需要变更数据采集模式以适配现有业务需求。存储方面，传统的MySQL 数据存储方式因为数据量的增加而变得不堪重负，查询和处理数据的速度减慢。报表方面，随着业务的发展，通信运营需要更加多样化的报表来展示业务的方方面面。
其二，各业务系统的信息较为独立，“信息孤岛”现象严重。通信运营商各系统数据独立，收入台账、企业会场等业务数据并未完全打通。目前出账、经分、管会等收入数据，软终端与高清产品中企业、会场、
用户等业务发展数据，会议次数、会议时长、登录情况等平台运行数据等分布在15个子系统中，需要在探清各系统数据结构与业务逻辑之后，进行数据的融合与业务关联［5］。
其三，业务运行成本高，数据赋能体系未健全。由于各业务数据独立运行，不相适应的问题逐渐凸显。业务协同方面，现有系统数据相对独立，数据集成和业务协作成本高，各系统业务纵向开展，业务之间成果共享性差、复用率低，无法支撑业务快速发展；系统演进方面，现有系统升级改造往往是重建的方式，不仅基础功能重复建设，而且难以将业务沉淀留存；数据融通方面，数据资源分散在异构系统中，一致性和流通性差，导致无法最大限度地挖掘数据价值，为数据赋能［6］。
2 通信运营解决方案的研究
为解决上述问题，通信运营解决方案引入数据中台、数据赋能与智能运营等概念与技术，以数据驱动为出发点，打通业务关联，引进大数据挖掘技术，全渠道覆盖业务数据，场景化营销来构建企业智能运营平台，从而提升运营效率与业务能力［7］。
2.1 通信运营数据中台研究
在中国，数据中台最早由阿里提出，其主要功能是构建规范、全域、智能的数据处理架构，为前台提供高效的数据分析功能，为业务提供多样的应用服务。数据中台涵盖数据服务、数据模型、数据资产
、数据治理等多个层次的建设体系［8］。通信运营引入数据中台技术，将核心数据资源进行整合、处理与沉淀，形成通信运营商全域数据中心，并依托数据中台作为技术连接打通业务前台与管理后台，以高效应对业务需求的变化，充分发挥数据资产价值。
2.2 通信运营数据赋能研究
通信运营商拥有的数据量非常大，而真正有价值的信息却很少。因此，需要从大量的数据中经过深层分析，利用大数据挖掘算法，将数据的价值赋予业务，提升业务运营能力。数据赋能是一种新型的业务信息处理模式，可以按通信运营既定业务目标，对大量的业务数据进行探索和分析，揭示隐藏规律或者验证已知的逻辑，并将业务的规律与逻辑模型化。通过运用关联、特征、分类、聚类等处理规则，采用因子、趋势、预测等分析方法，为业务提供产品营销、客户划分、业务预警、客户保留等能力［9］。钢水脱氧
2.3 通信数据智能运营研究
智能运营通常依托于商业智能可视化报表，依据报表数据可为运营决策提供支持［10］。智能运营是基于企业、用户等发展情况，会议次数、时长等使用情况，以部门利润为导向构建的模型。通过改善部门内部决策方式、运营模式等，智能运营可以降低通信运营成本，提高产品盈利能力，且可以帮助部门做出决策。智能运营的价值在于将营销IT化的模式转变为业务资产化的模式，从而提高业务运营
的敏捷性。
3 通信大数据智能运营的实现
3.1 打造通信智能运营体系
pcu h数据中台是业务前台与数据后台的技术连接层，通信智能运营体系主要依托数据中台，提供数据服务与数据赋能功能，支持业务运行，如图1所示。该体系提供了数据采集、存储与应用的数据服务，在此基础上，结合数据挖掘技术进行业务赋能，为业务运行与决策提供指标支持，具体功能如下。
其一，数据服务。主要解决数据资产的获取、存储、规划和治理问题。通信运营商使用大数据技术，对收入、企业、会场、用户等15个系统的原始数据进行采集与存储。在原始数据基础上，通过数仓建模技术，对数据进行质量检测，将多个业务平台数据进行抽取、融合与转化，衍生新的数据明细与数据指标，在统一数据规范的基础上，向上形成数据主题，支持销售、运用等业务服务。
其二，数据赋能。主要满足数据资产的共享、协作和业务价值的探索与需求分析。在数据中台统一数据域的基础上，结合业务发展、平台运行、财务挖掘、营销策略、行业画像、业务预警等通信运营需求，实现多位一体的业务数据建模，并提供统一的智能报表访问门户，将多个业务的明细数据、多业务关联形成的衍生指标、大数据挖掘模型输出的分析结果，按照部门工作人员的业务范围与岗位职级，分角、分权限提供定制化的智能运营报表服务。
其三，业务运行体系。提供数据应用服务的构建、治理、度量、运营功能。数据与业务的管理、运行、决策密不可分，在数据赋能体系的基础上，为营销活
动、销售管理、客户管理、成本管理、财务管理、收入指标、业务监控等提供运行效果报表展示与业务决策数据支持。例如，当部门需要开展收入健康度评估时，需要通过收入指标、销售管理、成本管理等数据，测算收入在企业、行业、地域中的发展均衡度，通过本量利分析收入的健康程度与可持续性。
3.2 构建通信大数据治理体系
整个治理体系的架构分为3层，如图2所示。
底层是原始数据，包括通信运营商15个业务系统的原始数据来源。第二层是数据主题层，包括原始数据清洗，基础数据融合、转化、衍生、聚合、分析，指标数据计算等数据处理以及输出的数据结果。上层是数据应用层，通过数据查询引擎进行连接，提供智能报表，分角权限向各业务工作人员开放［11］。
为解决通信运营数据量大、实时性高带来的采集与存储问题，通信大数据智能运营平台采用Hadoop
大数据分布式架构。在数据采集方面，Hadoop 大数
图
1 通信智能运营体系
图2 通信大数据治理架构
Spark 编程数据处理
Spark 编程数据处理
Spark 编程数据处理
存储过程数据处理
存储过程数据处理
据分布式架构使用了轻量级的Python、实时批处理的Spark、实时流处理的Flink与中间件Kafka；在数据存储方面，Hadoop大数据分布式架构使用MySQL作为非实时轻量级数据库，HBase作为实时大数据存储工具，Hive作为静态大数据仓库；在数据处理方面，Hadoop大数据分布式架构引入数仓建模方法，将数据分为保存原始数据的ODS贴源层、形成统一数据规范的DWD明细层与用于业务指标展示的DWM数据仓库层，并使用SQL与Spark SQL进行ETL开发［12］。通信大数据治理架构主要实现不同系统数据从采集到聚合为指标的功能，具体描述如下。
通过技术的综合运用，通信大数据治理架构可以实现大量、小量等离线、实时数据的批量与流式采集与存储。小数据量离线的企业、用户、收入等业务发展数据采用Python采集存储到MySQL；大数据量离线的会议次数、会议时长等平台运行数据通过Python 或者Spark采集存储到Hive数据库；实时性较服装道具制作
强的设备与业务运行日志等流式数据通过Flink采集，实时性较强的用户登录批量数据通过Kafka+Spark采集，统一保存到HBase数据库［13］。
通过数仓建模技术，对不同时间要求、不同数据量级的数据进行处理，实现各独立业务数据的融合与计算，形成统一数据域，具体包括以下3种处理模式。
（1）离线小数据处理方式。通过MySQL存储过程结合Python编程技术，获取MySQL数据库的ODS层数据做数据模式控制与异常检测修正，保存到MySQL数据库的DWD层。需要的关联数据，通过Spark程序到Hive数据库的DWD层获取，通过存储过程进行业务指标计算，保存到DWM层。
（2）离线大数据处理方式。通过Spark程序，获取Hive的ODS层数据做数据模式控制与异常检测修正，保存到Hive数据库的DWD层。需要的关联数据，一部分通过Spark程序到MySQL数据库的DWD 层获取；另一部分通过HBase的DWD层映射。通过Spark程序进行业务指标计算，如果是小数据量，写到MySQL，如果是大数据量，写到Hive。
远程遥控（3）实时数据处理方式。Kafka作为ODS层，缓存实时数据，Spark程序从Kafka采集数据，处理并保存到HBase的DWD层。将HBase的DWD层数据映射到Hive数据库，需要进行离线数据关联，通过Spark程序从MySQL与Hive进行关联查询，计算的数据如果是大数据量，保存到Hive的DWD层与DWM层；反之，则写到MySQL［14］。
4 通信运营数据赋能的实现
基于通信运营数据中台，构建通信运营大数据智能平台，该平台结合各部门系统业务需求、客户情况、财务状况、运营效果等数据，应用机器学习、可视化分析、数据应用开发等技术，为业务的效果评估、运行管理、预警监控、科学决策提供数据支持，如图3所示。平台主要在数据资产与业务指标的基础上，实现了数据赋能、智能运营、用户画像、自动预警等以下4个方面的功能。
其一，实现统一数据域的业务赋能数据挖掘。基于中台的数据资产，构建机器学习、深度学习、自然语言处理等算法模型，实现数据的关联计算、趋势预测等多种分析。比如，应用分类算法实现客户属性和特征分析，客户满意度分析和客户购买趋势预测等。应用回归算法实现客户寻求，预防客户流失，分析产品生命周期，预测销售趋势等。
其二，根据业务需求计算数据指标，打造数据统一访问门户，提供智能运营报表。从数据中台抽取数据，经过差异、分布、比较、区域、趋势等分析方法处理，通过报表引擎进行业务展示，如图4所示。构建管理驾驶舱，提供终极指标展示企业动脉数据，站在企业最高维度总览全局，为企业战略决策提供支持。构建各级业务指标，将数据通过企业、收入、会场、会议等业务维度聚合，展示各级业务运作能力，为业务整改、扩张与升级提供数据支持；建立多维指标查询，从不同维度探索数据特点，在数据聚合与关联中发现新的改进措施、商业机会与运营模式。
其三，构建用户行业画像，为营销活动、产品运营提供数据支持，为客户进行智能推荐。以往通过客户填报录入获取行业标签，数据错误率高，为保证客户行业标识的准确性，使用文本挖掘算法打破了固有模式，对一级行业政府、医疗、金融、教育等大类与二级细类进行企业名称算法匹配与特征标识。通信运营大数据智能平台首创性地实现了行业细分，如政府细分司法、党委、公安、委员会、建设部等；教育细分教育局、小学、初中、高中、大学、职高、培训机构等。通信运营大数据智能平台结合省、市、县、乡等地域维度，企业、用户、会场、会议、登录等业务运营指标对用户进行行业画像，深入了解各行业产
品使用特点、业务发展情况，在用户行为特征的基础上，实现产品智能推荐［15］。
其四，发挥海量历史数据的价值，以历史业务状况作为参照，实现业务智能预警，保障业务运营健康发展。业务智能预警从收入状况、运营情况和业务发展等多角度出发，涵盖通信运营指标的方方面面，既能进行指标性的指导，又能实行数据下进行问题原因的分析。首先，结合部门运行要求实现单指标预警，比如识别收入、会场数、行业、地域等维度突然大幅度变动。其次，基于业务关联实现多指标预警，揭露业务异常点，比如，企业数与会场数、登录数与会议次数等指标组合间出现反向变动。最后，使用挖掘算法辅助进行预警与异常定位，比如，通过相关性分析
图3 通信运营数据赋能
图
4 通信运营数据报表展示门户
挖掘业务指标的关联性进行大范围预警。
5 结语
2020年以来，通信运营的企业、用户等业务指标成倍增长，业务数据激增，给部门带来了机遇和挑战，所以需要从数据采集、存储、赋能等方面进行系统的全方位优化升级。因此，通信运营大数据智能解决方案研究中引入大数据、数据中台、数据赋能、智能运营等概念与技术，有利于实现通信运营的智能决策、智能营销与智能运营。但是，文章基于数据中台实现通信运营数据智能的研究尚存在一定的提升空间。一方面，通信运营行业虽然进行了细化，但是仍然存在未分类的企业，未来将引入第三方数据进行完
