BogDataSpecoaeRepoets
2021年2月 第24卷第2期Feb. 2021, Vol. 24 ,No.2
电力大数据
POWER SYSTEMS AND BIG DATA
电源点自动识别技术研究
于烨】，刘思尧】，郭安乐】，杨勇2
（1.国网宁夏电力有限公司信息通信公司，宁夏银川750001 ；
2.国网信息通信股份有限公司北京中电普华信息技术有限公司，北京昌平102200）
摘要：在营配数据核查的工作中，出现生产人员无法通过配电自动化系统的间隔名称准确定位到营销系统的对应
用户，营销人员也无法通过用户名称准确到生产侧电源点，电源点和用户溯源难的问题。本文采用简单相关系数 算法，基于营销业务应用系统的用户、计量点等档案信息，配电自动化、用电信息采集系统的电流、电压、功率数据，
将数据按需接入到数据中台共享层DWS 数据库中，通过分析层的Spark 等计算分析组件对共享层数据进行加工、 分析，构建电源点自动识别模型，分别对比用户和间隔的电流、电压、功率相似度，解决电源点和用户溯源难的问题。
宝石饰品
结果表明，该算法高效、简洁、精准率高，通过结果分析得出此算法可有效实现电源点和用户的双向溯源，辅助业务 人员快速确认生产侧和用户侧拓扑连接准确性。
关键词：电源点；用户；溯源；台区；间隔；配电自动化文章编号：2096 -4633 （2021）02 -0047 -07 中图分类号:TM76 文献标志码：B
营销系统用户名称是根据用户报装名称定的，
调度专业电源点名称是根据生产专业现场勘查后用
户实际的名称命名的，且调控专业为了信号监测和 下令的便利性，常常对名称进行了简化处理，这就导
致营销系统的用户名称和配电自动化系统名称无法
----对应匹配。
目前配电自动化系统可采集环网柜和电缆分支
箱各间隔的电压、电流、功率数据和开关位置信息, 而用电信息采集系统也可以每15分钟采集一次每
一个间隔连接的用户电能表的电压、电流、功率数
据。生产侧和用户侧中间连接设备仅仅是一段电
缆，对于中间没有派接的电缆设备，同一时间段（如
同一小时、同一天）电源点和用户的电压、电流和功
率曲线应该会高度一致，可以通过同一时刻配电自
动化系统和用电信息采 集系统的电压、 电流和 功率
生姜切片机值进行现场拓扑确认，通过此原理可以实现主网电 源点和用户的双向溯源。一可以解决电源点和用户
溯源难的问题，可以辅助业务人员快速确认生产侧
和用户侧拓扑连接准确性；二可以辅助业务人员开 展线变关系核查治理；三可以校验已核查完成线路
的工作质量；四可以通过数据校验判定用户停电情
况；五是可以系统的双向校核用户窃电行为。
为切实加强基础数据管理，提升营配调贯通水
平，银川公司根据宁夏电力公司整体工作安排，结合
数据中台重点建设任务和配网资产国际对标成果推
广专项工作，开展电源点自动识别技术研究。
图1拓扑图示
Fiy. 1 Topology diagram
1电源点自动识别技术的业务规则分析
电源点自动识别技术研究的数据采用内部业务
数据，其中包括用采的电流、功率96点数据，营销业
务应用系统的电能表、计量点、台区、变压器、线路、
用户、供电单位等档案信息，PMS 、GIS 系统的设备
档案数据，配电自动化系统的负荷开关电流、功率数
据。按场景需求通过多表关联重构数据结构，对配 电自动化系统JSON 文件解析，进行按天为单位的
曲线相似度比较，综合相似度比较结果实现对主网
电源点和用户的双向溯源。通过简单相关系数计
算，比较观察时间窗内，用配电自动化供电间隔出线
电力大数据第24卷
簧网和用电信息采集的台区供电关口表的电压、电流、功率的相似度，给出相似度前五的间隔或台区供电关口表的信息，实现主网电源点和用户的双向溯源。校验生产侧与营销侧对应关系的一致性，通过同一时刻配电自动化系统和用采系统的电压、电流和功率值进行现场拓扑确认，解决电源点和用户溯源难的问题。
业务规则1：任意输入一个站房的间隔名称，比较在某一时间段（可以比较前一天全天的96个电压、
电流和功率曲线）内，用采系统中10kV专变、配变的电压、电流、功率曲线与配电自动化该间隔的电压、电流、功率曲线综合最相近的用户，显示出用户编号、用户名称、计量点编号、表号等信息。
曲线相似度x0.4k功率曲线相似度+0.4x电流曲线相似度+0.2x电压曲线相似度
业务规则2：任意输入一个用户编号或台区编号，比较在某一时间段（可以比较前一天全天的96个电压、电流和功率曲线）内，配电自动化中与该用户用采系统中电压、电流、功率曲线最相似的间隔，应显示该间隔的名称、所属站房名称、所属线路名称、运维单位等信息。
曲线相似度x0.4k功率曲线相似度+0.4x电流曲线相似度+0.2k电压曲线相似度
2电源点自动识别技术的实现过程
2.1数据准备
该场景按业务逻辑分为相似度前5站房间隔信息、相似度前5用户信息、公专变用户及站房地图、用户和间隔曲线分析、电源点自动识别规则、站房间隔数六个功能模块，主要任务是完成可视化展示主网电源点和用户的双向溯源分析成果。
根据场景功能点需求，需要接入用电信息采集系统、营销业务应用系统、GIS、PMS配电自动化系统的数据，需要接入的数据如表1所示。
表1需接入数据表
Tab.1Data table access required
系统名表中文名
用电信息采集日测量点电压曲线
用电信息采集日测量点电流曲线
用电信息采集日测量点功率曲线
用电信息采集测量点档案
续表系统名表中文名
用电信息采集采集对象
营销业务系统电能表
营销业务系统电能表和计量点关系表
营销业务系统计量点信息表
营销业务系统台区档案
营销业务系统变压器档案
营销业务系统线路档案
营销业务系统用户档案
营销业务系统供电单位
营销业务系统编码表
PMS负荷开关
GIS负荷开关
GIS间隔单元
配电自动化遥测信息
图2数据迁移
Fig.2Data migration
按照可视化展示需求，编写数据抽取脚本，并创建数据流转链路，将源业务系统的明细业务数据按需接入分析层DWS数据库中。
营销业务应用系统用户档案类和GIS、PMS系统设备档案类结构化数据接入主要通过数据复制服务工具DRS来实现，可以满足将源系统中的数据实时抽取到Kata中。分析层数据转换根据业务需求，可通过编写DWS的存储过程脚本，使用DAYU 定时调度功能将数据落入分析层；也可结合大数据
第2期于烨，等：基于用电信息采集和配电自动化系统数据的电源点自动识别技术研究
保健杯分析计算能力，通过编写批量计算逻辑，使用DAYU 定时调度功能将数据落入分析层，满足各个应用的数据需求。
用电信息采集类电流、电压、功率数据主要通过数据复制服务工具DRS来实现，可以满足将源系统中的数据实时抽取到Kafka中。明细数据统一由DAYU工具调度至数据中台贴源层）MRS）存储。如果涉及流式计算，通过Flink流计算组件获取Kakfe 队列采集量测数据，关联计算结果结合应用场景进行存储，具体包括DWS分析层'Kata队列、HBase、MRS）Hive）、DCS等方式。
JSON文件由配电自动化系统生成，通过第三方解析程序对Kafka中的数据进行解析后写入数据中台DWS数据库中。由于配电自动化负荷开关的电流、功率数据每天数据达到几千万甚至几亿，如果数据需要支撑后续的点查或者批量计算，需第三方解析程序将数据写入MRS）Kafka）中，明细数据存储在贴源层）Hive）中。
2.2数据处理
数据处理是针对数据质量问题对数据进行缺失值处理和异常处理，针对分析需求对数据进行筛选、部分内容提取、格式转换等基本处理以及通过多表互联重新组织需求数据结构#
图3概念模型
Fig.3Conceptual model
结合分析模型数据需求，将采集到的数据进行汇总整理，剔除掉采集失败或没有用户的台区数据，删除多余字段，增加缺失字段，并对不规范数据、空值数据做预处理，规范数据字段名称，为模型分析做好数据清洗工作。
）1）数据预处理
营销业务应用系统与用电信息采集系统涉及台区表，计量点、测量点和96点电流、电压的关联，以及由于涉及一个台区挂接多个计量点，一个计量点下有多个测量点的情况，对数据进行筛选，只选取一个台区下挂接一个测量点的台区，计量点性质为结算，以及去除运行状态为撤销的台区。通过筛选获取符合条件的用户电流功率和电压数据。
配电自动化系统是实现配电网的运行监视和控制的自动化系统，具备配电SCADA）supervisorv control and data acquisition）、馈线自动化、电网分析应用及与相关应用系统互连等功能，主要由配电主站、配电终端、配电子站）可选）和通信通道等部分组成。配电自动化主站系统是实现配电网运行、调度、管理等各项应用需求的载体之一，提高配网生产运行管理水平和提升供电可靠性的重要技
术手段，是坚强智能电网建设的重要工作内容之一[1_3]o 由于用电信息采集系统的电流、电压、功率数据每15分钟采集一次，一天一共采集96个点；而配电自动化系统的电流、电压、功率曲线的数据实时采集，数据量每天达到几千万到几亿，而且每15分钟的数据不完整，需要从大量的数据中进行采样，取与94点对应时刻最相近的时点数据，差值超过5分钟的不参与计算。
对配电自动化的JSON格式的数据使用JAVA程序进行解析，将解析后的数据放入DWS数据库中。由于数据量太大，采用建立分区表的形式进行存储。
交互方式：电网运行实时信息交互主要指配网开关类遥测遥信类型数据，以JSON格式文件通过kata方式进行交互，以时间作为命名规范。包括电网运行实时信息。配网开关、配网母线，包括电流）A相、B相、C相）、电压、有功功率、无功功率。
配电开关:/*、厶、/八0、T#
母线:U、U、U、U f、U3、u“o
表2交互形式
Tab.2Interactive forms
接口名称电网运行实时信息
数据流向配电自动化系统->DWS
交互频率5分钟
技术路线Kafka
对于整点数据恰好没采集到的数据点，取时间差最小的临近点的数值）对于存在两个时间差最小的临近点，随机取其中一个点的数据）o
）2）用户数据行转列
用电信息采集系统中的数据96个点为行式，而配电自动化系统中的数据为列式数据，由于相似度计量公式涉及向量的计算，向量为列式数据，所以需
电力大数据第24卷
止水针头
要将用户96点电流、电压和功率数据进行行转列操
作，然后进行相似度计算。
(3)间隔数据处理
由于宁夏回族自治区涉及的数据量比较大，而
且用户和间隔跨市的情形较少，所以采用分地市执
行用户和间隔相似度计算的方式。
将配电自动化采集到的负荷开关电流、功率表
的主键负荷开关E与GIS系统中负荷开关的主键
进行关联，然后GIS系统中负荷开关的设备ID与
PMS系统中负荷开关的主键进行关联，获取负荷开
关所属地市。
(4)相似度计算
通过以上的数据预处理，与用户、间隔数据的处
理和筛选，用户、间隔数据都为列式数据。
旧衣服加工设备在相似度计算时，涉及一些数据采集值为空的
点。需要对空值进行填充或舍弃。
对于一天中空值较少的数据，采取不将这一点
数据加入相似度计算的方法，只要用电信息采集系
统或配电自动化系统一天中任一点数值为空，则这
一点的数据不参与相似度计算。
同时若一天内96个点有20%的点(19)个点的数
值未采集成功侧当天的数值不参与相似度的计算。
2.3数据分析
两条曲线的相似度一般采用相关系数来计算。
相关表和相关图可反映两个变量之间的相互关
系及其相关方向，但无法确切地表明两个变量之间相
关的程度。于是，著名统计学家卡尔•皮尔逊设计了
统计指标---相关系数(Cowelation coefficient)[4_6]o
相关系数是用以反映变量之间相关关系密切程度的
统计指标。相关系数是按积差方法计算，同样以两
变量与各自平均值的离差为基础，通过两个离差相
乘来反映两变量之间相关程度。
选用简单相关系数来计算两条曲线的相关度。
简单相关系数又称皮尔逊相关系数或者线性相
关系数，其定义式为：
"(!-!)(R-)
=1
槡-!)2槡R-。2COV(X，Y) %(!)%(R)
r值的绝对值介于0〜1之间。通常来说,r越接近1，表示"与=两个量之间的相关程度就越强，反之,r越接近于0，"与=两个量之间的相关程度就越弱，—般认为：
Tab.3Values and relevvncc of Irl
表3t的取值与相关程度
t的取值与相关程度
t的取值范围t的意义
0.00-0.19极低相关
0.20-0.39低度相关
0.40-0.69中度相关
0.70-0.89高度相关
0.90-1.00极高相关
使用简单相关系数进行配电自动化供电间隔出线和用电信息采集的台区供电关口表的电压、电流、功率的相似度比较。
分别使用简单相关系数(两个变量的协方差除以两个变量各自标准差的乘积，在数据库中有协方差和标准差函数，运算起来效率更高)来计算配电自动化供电间隔出线和用电信息采集的台区供电关口表的电压、电流、功率的相似度。最后计算总的曲线相似度：
曲线相似度=0.4k功率曲线相似度+0.4x电流曲线相似度+0.2X电压曲线相似度
由于电流、电压、功率曲线涉及A相、B相以及C相电流、电压、有功功率、无功功率以及总有功功率和总无功功率。采取先单相,A、B、C三相分别进行比较，然后综合进行比较的方法。
视在功率=槡有功功率2+无功功率2，综合有功功率，无功功率信息，进行功率曲线相似度比较。
图4电源点识别过程
Fiy.4Power point identification process
分别进行电流、电压和功率相似度计算，然后采用总的计算公式进行相似度更新。由于涉及数据采集不全不参与计算的情形，对于电流、功率和电压相似度计算为空的情形采取不参与总的相似度计算的方式，同时调整系数。
第2期于烨，等：基于用电信息采集和配电自动化系统数据的电源点自动识别技术研究
按天为单位进行曲线相似度比较，综合多天的相似度比较结果实现对主网电源点和用户的双向溯源。
通过简单相关系数计算，比较观察时间窗内，配电自动化供电间隔出线和用电信息采集的台区供电关口表的电压、电流、功率的相似度，给出相似度前五的间隔或台区供电关口表的信息，实现主网电源点和用户的双向溯源$7%。
2.4数据计算
由于电流、电压、功率数据量很大$13「16%，在DWS中直接计算容易导致内存溢出或计算时间较长。采用MRS框架实现电源点自动识别
图5数据流转
Fig.5Data transfer
该场景下MRS的优势如下所示。
实时：利用Kafka实现海量配电自动化电流、电压、功率的消息实时接入。
海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。
分布式数据查询：利用Spark实现海量数据的分析查询。
常规的业务数据计算通常基于Oracle数据库技术实现，当数据量达到一定限度之后查询处理速度会变得很慢且对机器性能要求很高。
通过多种数据集成技术，将营销业务应用系统档案结构化数据、运行采集量测数据、配电自动化遥测数据统一汇聚整合到DWS。通过批量数据抽取组件）kettle）定期从营销业务系统将档案数据更新至DWS中。采集监测数据（电流、电压、功率等）通过实时采集数据接入组件KAFKA实现数据接入采集量测数据存储组件HBASE，并提供计算分析能力，实现采集监测数据一处接入、多处使用。准备Hadoop数据源hive表数据，准备要保存分析结果的关系库，采用定时任务方式使用数据中台组件在数据中台里运行，采用Spark等组件读取HIVE电流、电压、功率等数据，业务计算逻辑利用Spark的大数据内存计算，实现电流、电压、功率数据的实时处理。实现流计算和内存计算，将电源点识别分析结果保存入DWS数据库中，支撑电源点识别技术应用。
通过基于内存计算的大数据分布式计算框架Spark，提高大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性。根据数据中台的分布式计算框架封装为算法组件，满足电源点识别技术的计算，减少数据流转链路，提高数据流转效率，支撑电源点识别技术应用［一13%。
2.4数据验证
通过营销业务应用系统变压器档案信息到台区或用户对应的PMS设备ID，然后将GIS中的设备I关联，到对应的设备OID，最后与配电自动化系统中的PMSID关联，到对应的电流和功率曲线进行相似度比较，计算相似度，与其他主网源点相似度进行比较。一可以核验电源点与用户的对应关系是否正确，二可以辅助业务人员开展线变关系核查治理。
通过相关系数算法校验台区户变关系的正确性，出户变关系不正确的用户，进行再校验。通过计算结果，到相似度最高的间隔或用户，最后根据人工现场校验结果，判断算法校验的正确性。
2.5数据展现
通过分析结果，使用SMARTBI进行场景配置、发布应用场景。
场景功能点如表4所示。
表4业务功能清单
Tab.4Busin/s function list
序号功能名称功能描述
1
相似度前
5站房间
隔信息
输入任意用户编号或用户名称，显示
电压、电流、功率曲线、综合值相似度
前5的配电自动化系统的站房间隔信
息，与4可以联动。
2
相似度前
5用户
信息
输入任意配电自动化系统间隔名称或
间隔设备代码。显示电压、电流、功率
曲线综合值相似度前5的用采系统的
用户信息，与4可以联动。
3
公专变用
户及站房
地图
显示公专变用户和站房设备位置坐
标，地图可缩放。
4
用户和间
隔曲线
分析
显示电压、电流、功率曲线最相似的用
户和站房间隔对应的用采系统曲线和
配电自动化系统曲线。
5
电源点自
动识别
规则
显示日期、显示电源点自动识别规则。
6
站房间
隔数
用文本显示配电自动化系统现有站房
间隔数。
7
公专变用
户数
用文本显示用采系统现中公专变用
户数。
