一种基于Transformer的智能电网5G移动终端多轨迹预测方法与流程

阅读：评论：0

一种基于transformer的智能电网5g移动终端多轨迹预测方法
技术领域
1.本发明涉及一种轨迹预测领域，尤其涉及一种基于双层transformer的智能电网5g移动终端多轨迹预测方法。

背景技术：

2.随着移动互联网的不断普及和发展，移动业务的数据流量呈现爆发式增长。随后，4g 移动通信技术难以满足现有需求，5g应运而生。新兴的5g移动通信技术具有超大连接、超低时延、超高带宽等优势，可大幅提升网络可靠性和运营效率。随着5g覆盖范围的不断提升，5g的应用越来越广泛。5g作为新安装的关键基础设施，不仅服务于个人用户，还需要满足众多垂直行业的需求。在众多5g应用的垂直行业中，电网就是典型代表。电网需要借助5g先进的通信技术完成数字化、智能化转型，这对于推动能源生产和消费模式创新、保障能源安全、促进经济可持续发展具有重要的战略意义。
3.5g电力通信网络是支撑智能电网发展的重要基础设施，但现阶段5g网络频段高、传播损耗大，难以实现全覆盖，而电网的4g lte私有网络已具有覆盖面广、运营成本低的特点。对两个网络的深度融合更有现实意义。同时，我们还需要各种技术手段来支持融合网络的终端接入管理、资源分配和状态监控。
4.5g电力业务除了电表数据采集、电力差动保护、电力视频监控等固定智能电网终端外，还有电力巡检机器人、移动充电桩、无人机、电动作业车等多种移动终端。一方面，这些移动终端的移动速度范围变化很大。比如普通无人机每秒可以达到30米，一分钟移动的距离是 1800米。另一方面，5g的覆盖范围只有300米左右。在移动终端的移动过程中，不可避免地会在不同之间频繁切换，造成网络负载的动态变化。基于5g移动终端的轨迹数据，可以分析其运行状态、业务模式、资源利用率等，为融合网络的优化提供数据支撑。此外，基于现有数据预测5g移动终端的轨迹，可以为定制或优化移动、注册和切换管理提供有效支持。
5.为了研究单个个体的轨迹预测，论文《s.qiao，d.shen，x.wang，n.han and w.zhu，
″
aself-adaptive parameter selection trajectory prediction approach via hidden markov models，
″ꢀ
ieee transactions on intelligent transportation systems，vol.16，no.1，pp.284-296，2015.》提出了一种基于隐马尔可夫模型的轨迹预测方法(hmtp)，通过计算状态转移矩阵得到转移概率来预测移动用户的下一个具体位置。论文《l.xin，p.wang，c.y.chan，j.chen，s.e.li and b. cheng，
″
intention-aware long horizon trajectory prediction of surrounding vehicles using duallstm networks，
″
proc.international conference on intelligent transportation systems(itsc)，pp. 1441-1446，2018.》中提出了一种基于双lstm网络的周边车辆长视距轨迹预测方法。第一个 lstm用于识别主体的意图，作为第二个lstm预测最终轨迹的中间隐藏层变量，双层lstm 结构有效提高了预测精度。
6.但该方法主要关注个体运动轨迹的预测，即每个个体的运动轨迹相互独立。而在5g 智能电网的垂直应用中，移动终端往往通过合作或分工来完成共同的任务，终端的轨迹之间存在明显的相关性。该方法缺乏多轨迹预测，不能充分利用终端的相关移动模式。
7.论文《f.li，q.li，z.li，z.huang，x.chang and j.xia，
″
a personal location predictionmethod to solve the problem of sparse trajectory data，
″
proc.ieee international conference onmobile data management(mdm)，pp.329-336，2019.》提出了一个模型itgtait。一般的运动模式是通过对体轨迹进行聚类得到的，这些运动模式可以用来提高个体轨迹的预测精度。这些方法主要是为了解决个体轨迹的稀疏性；为了解决多轨迹预测问题，论文《j.ding，h.liu， l.t.yang，t.yao and w.zuo，
″
multiuser multivariate multiorder markov-based multimodal usermobility pattern prediction，
″
ieee internet ofthings journal，vol.7，no.5，pp.4519-4531，2020.》提出了一种基于多元多阶马尔可夫模型的轨迹预测方法。但是，它需要根据统计信息人为地构造转移概率矩阵，并且需要将预测的连续位置转换为离散的状态空间。显然，离散化粒度的选择会对结果产生很大的影响。

技术实现要素：

8.本发明主要解决现有技术的轨迹预测方法独立输入轨迹，没有考虑到智能电网中移动终端轨迹的相关性问题；提供一种基于transformer的智能电网5g移动终端多轨迹预测方法，采用双层transformer结构，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码，第二层transformer捕获终端之间的相关运动模式以提高预测性能。
9.本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于transformer的智能电网5g移动终端多轨迹预测方法，包括以下步骤：s1：设定部署范围，收集部署范围内移动终端的移动轨迹数据；包括5g智能电网中的智能机器人、无人机、电动作业车、视频监控的轨迹及其他数据；s2：处理移动轨迹数据；对移动轨迹数据进行平滑处理并剔除异常数据，划分训练样本和测试样本；s3：构建双层transformer模型，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码；第二层transformer对移动终端之间的关系和运动模式进行捕获并进一步建模；s4：训练并测试双层transformer模型，将训练好的双层transformer模型部署到处理中心；s5：对部署范围内的移动终端轨迹跟踪，通过双层transformer模型输出轨迹预测结果。
10.本方案采用双层transformer结构，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码，第二层transformer捕获终端之间的相关运动模式以提高预测性能。充分考虑到了智能电网中移动终端轨迹的相关性。
11.作为优选，所述的步骤s1具体包括以下过程：s101：设定智能电网覆盖的区域的长度和宽度；s102：分别收集智能机器人、无人机、电动作业车、视频监控等5g终端设备的移动
轨迹数据；s103：给定以相同的采样间隔同时采样的长度为p的g个移动终端轨数据。目标是为这g个移动终端同时预测接下来h个时间步其所在的坐标位置。
12.以5g电力通信网作为支撑智能电网发展的重要基础设施，通过对多种业务高效、安全有序的运行需要，对电力巡检机器人、移动充电桩、无人机、电力作业车等多种移动性终端进行轨迹预测，从而为动态管理和分配网络频谱带宽资源提供支持，最终提高有限的5g 网络资源的利用效率。
13.作为优选，所述的步骤s2中，通过高斯算法对数据进行对移动轨迹数据进行平滑处理；高斯算法的过滤函数为：其中，(x，y)为移动轨迹数据的点坐标；σ为标准差。
14.作为优选，所述的第一层transformer包括编码器和解码器组成；编码器包括若干个第一layer，每个第一layer包含多头自注意模块和前馈网络模块，每层均会进行残差连接和归一化；解码器包括若干个第二layer，每个第二layer包含屏蔽多头自注意模块、多头自注意模块和前馈网络模块，每层均会进行残差连接和归一化。
15.第一层transformer对每个终端的历史和当前预测轨迹进行自编码，捕捉时间轴上的重要事件，并利用自注意力机制和基于位置的前馈网络完成内在特征提取。
16.作为优选，所述的第一层transformer的操作过程为：a1：输入序列t＝{t1，t2，...，t
p
}输入到第一层transformer；通过线性变换，将每个时间步的坐标映射到高维嵌入空间；a2：对于输入序列中的位置信息，通过不同频率的正弦和余弦函数来编码位置特征，在编码器和解码器的底端嵌入位置编码；a3：将步骤a1和步骤a2中的输出相加，获得x，通过三个权重矩阵wq、wk和wv分别转换为query向量、key向量和value向量；a4：前馈网络模块包含两个线性层和一个非线性激活函数，具体计算过程为：ffn(x)＝relu(w1x+b1)w2+b2其中，w1和w2是两个线性层的参数矩阵，b1和b2为线性层的偏置参数；a5：残差连接和归一化的具体过程为：x＝layernorm(x+operation(x))其中，operation(
·
)表示自注意力操作或前馈网络，layernorm(
·
)表示层归一化操作；a6：解码网络采用两个自注意力模型结构；第一个自注意力模型对输入 {t
zero
，t
p+1
，t
p+2
，t
p+3
，t
p+4
}进行编码，作为第二个自注意力模型的query向量；第二个注意力模型的输出采用前馈网络、残差连接和归一化模块，最后的输出是每个轨迹位置点对应的d维特征向量，并作为第二层transformer的输入。
17.第一层transformer对每个终端的历史和当前预测轨迹进行自编码，捕捉时间轴上的重要事件，并利用自注意力机制和基于位置的前馈网络完成内在特征提取。
18.作为优选，所述的第二层transformer包括多头自注意模块、前馈网络模块、残差连接模块和归一化模块，得到增强的特征序列后，使用线性变换将输出增强特征向量映射到二维坐标位置，从而得到最终的预测轨迹坐标位置。
19.第二层transformer将每个终端的内在特征作为输入，进一步进行注意力编码，从而有效捕捉终端之间相关的运动模式，提高预测精度。
20.作为优选，所所述的第二层transformer的操作过程为：b1：第二层transformer的输入为每个移动终端每一个预测时间步的高维嵌入共d维；b2：三个权重矩阵wq、wk和wv将输入分别转换为query向量、key向量和value向量；b3：嵌入前馈网络模块，前馈网络模块包含两个线性层和一个非线性激活函数，具体计算过程为：ffn(x)＝relu(w1x+b1)w2+b2其中，w1和w2是两个线性层的参数矩阵，b1和b2为线性层的偏置参数；b4：残差连接和归一化的具体过程为：x＝layernorm(x+operation(x))其中，operation(
·
)表示自注意力操作或前馈网络，layernorm(
·
)表示层归一化操作；b5：对于输出的每个移动终端的强化特征向量，使用线性变换将其映射为该移动终端在这一时间步的二维坐标位置，从而得到最后的预测轨迹坐标位置。
21.第二层transformer将每个终端的内在特征作为输入，进一步进行注意力编码，从而有效捕捉终端之间相关的运动模式，提高预测精度。
22.作为优选，所述的步骤s4包括以下步骤：s401：设置训练的学习率为0.01，epoch为300，batch size为100；s402：在训练的过程中，采用mse作为学习的误差函数：其中，ti为实际的移动终端轨迹坐标位置，为预测的移动终端轨迹坐标位置；s403：采用adam优化器来优化网络参数，逐步降低误差函数loss值。
23.利用5g的超大连接、超低时延、超高带宽等优势，预测各类5g移动终端的轨迹，从而为定制或优化移动、注册和切换管理提供有效支持。
24.本发明的有益效果是：本方案提出了一种基于双层transformer的智能电网5g移动终端多轨迹预测方法。其中，第一层transformer对每个终端的历史和当前预测轨迹进行自编码，捕捉时间轴上的重要事件，并利用自注意力机制和基于位置的前馈网络完成内在特征提取。第二层
能电网移动终端的协同工作模式，图4展示了5g智能电网移动终端的分工工作模式。对采集到的轨迹数据，分别采样100次，训练样本和测试样本按照80％和20％的比例进行划分，即其中的80％的样本用于构成训练集，其余的20％的样本构成测试集。
41.对于协作型任务，为组在区域范围内首先随机生成一个目标位置，每个终端随机生成v，从而以不同的速度向目标位置移动，当所有的终端到达目标位置后，随机生成p作为该目标位置的作业时间。当作业时间p到达后，在随机生成下一个目标位置。
42.对于分工型任务，首先为组在区域范围内随机生成一组目标位置，每个终端都从该目标位置中组中选择一个没有被其他终端到达的目标位置，并以随机生成的v到达其选择的目标位置，然后停留以随机生成的p以完成作业。每个终端在作业完成后，其继续选择其它没有被到达的目标位置。当所有的目标位置都被到达后，整个移动轨迹采样结束。
43.s3：构建双层transformer模型，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码；第二层transformer对移动终端之间的关系和运动模式进行捕获并进一步建模。
44.如图5所示，第一层transformer包括编码器和解码器组成。第一层transformer对每个终端的历史和当前预测轨迹进行自编码，捕捉时间轴上的重要事件，并利用自注意力机制和基于位置的前馈网络完成内在特征提取。
45.编码器包括若干个第一layer，每个第一layer包含多头自注意模块(multi-head attention)和前馈网络模块(feed forward)，每层均会进行残差连接和归一化(add&norm)。
46.解码器包括若干个第二layer，每个第二layer包含屏蔽多头自注意模块(maskedmulti-head attention)、多头自注意模块(multi-head attention)和前馈网络模块(feedforward)，每层均会进行残差连接和归一化(add&norm)。
47.第一层transformer的操作过程为：a1：transformer的输入序列是t＝{t1，t2，...，t
p
}，首先将每个时间步的坐标映射到高维嵌入空间，该过程通过线性变换来实现，输入为2维，输出为d维。
48.a2：对于输入序列中的位置信息，通过不同频率的正弦和余弦函数来编码位置特征，在编码器和解码器的底端嵌入位置编码。
49.轨迹序列t1，t2，...，t
p
是严格按照采样点时间排序的，对于输入序列中的位置信息 1，2，
…
，p，在编码器和解码器的底端嵌入“位置编码”，即通过不同频率的正弦和余弦函数来编码位置特征，输出为输入序列对应的位置编码，具体计算公式为：其中，pos为位置信息，取值为{1，2，
…
，p}之间的整数，i为{1，dm}之间的整数，dm为编码长度，k为i对应的整数，用来表示i为奇数还是偶数。
50.a3：将步骤a1和步骤a2中的输出相加，获得x，通过三个权重矩阵wq、wk和wv分别转换为query向量、key向量和value向量。
其中，w1和w2是两个线性层的参数矩阵，b1和b2为线性层的偏置参数；；b4：残差连接和归一化的具体过程为：x＝layernorm(x+operation(x))其中，operation(
·
)表示自注意力操作或前馈网络，layernorm(
·
)表示层归一化操作。
63.为了加深模型深度从而达到更高的性能，添加残差连接，并进行层归一化。
64.b5：对于输出的每个移动终端的强化特征向量，使用线性变换将其映射为该移动终端在这一时间步的二维坐标位置，从而得到最后的预测轨迹坐标位置。
65.s4：训练并测试双层transformer模型，将训练好的双层transformer模型部署到处理中心。
66.步骤s4包括以下步骤：s401：设置训练的学习率为0.01，epoch为300，batch size为100。
67.s402：在训练的过程中，采用mse(mean square error)作为学习的误差函数。
68.其中，ti为实际的移动终端轨迹坐标位置，为预测的移动终端轨迹坐标位置。
69.s403：采用adam优化器来优化网络参数，逐步降低误差函数loss值。
70.s5：对部署范围内的移动终端轨迹跟踪，通过双层transformer模型输出轨迹预测结果。
71.本实施例的方案采用双层transformer结构，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码，第二层transformer捕获终端之间的相关运动模式以提高预测性能。充分考虑到了智能电网中移动终端轨迹的相关性。
72.设智能电网覆盖的区域的长和宽为10000米。参考无人机的飞行速度，终端的移动速度v的范围为10～25米/秒，终端在一个场所的最长作业时长p为1～10分钟，终端移动组的数量nt设置为5～10的范围内，v，pmax，nt都采用均匀分布进行采样。每分钟进行采样，共采样180次，即得到3个小时的轨迹数据。
73.对于协作型任务，为组在区域范围内首先随机生成一个目标位置，每个终端随机生成v，从而以不同的速度向目标位置移动，当所有的终端到达目标位置后，随机生成p作为该目标位置的作业时间。当作业时间p到达后，在随机生成下一个目标位置。
74.对于分工型任务，首先为组在区域范围内随机生成一组目标位置，每个终端都从该目标位置中组中选择一个没有被其他终端到达的目标位置，并以随机生成的v到达其选择的目标位置，然后停留以随机生成的p以完成作业。每个终端在作业完成后，其继续选择其它没有被到达的目标位置。当所有的目标位置都被到达后，整个移动轨迹采样结束。
75.对于两个协作类型，我们分别采样100次，训练样本和测试样本按照80％和20％的比例进行划分，即其中的80％的样本用于构成训练集，其余的20％的样本构成测试集。
76.实验的平台的处理器为intel i9 10900x，gpu为navida rtx3090，深度学习的框架为 pytorch。训练的学习率为0.1，batch size为240，epoch为300。
77.对于第一层的transformer，设置embedding size为512，header为8，layer为6；对于第二层的transformer，设置embedding为512，header为8，layer为3。
78.为了进一步评估有效性，将本实施例的方法和传统的方法以及基于深度学习的序列预测方法进行了对比，他们分别是linear regression和lstm。上述方法都是把每个用户的轨迹作为单独的训练样本。采用同样的训练数据和测试数据，以比较不同方法的性能差异。对于5个不同的时间步，表1给出了上述4种方法和本文方法轨迹预测误差，单位为米。
79.表1.不同方法预测的5个时间步的mse误差 algorithmsstep1step2step3step4step5linear-regression207.6770.21245.61842.32630.8lstm188.3539.6958.31450.91967.1本实施例方案128.9357.1699.11025.71325.3从上表可以看出，linear-regression的方法在下一个时间窗口的预测精度和lstm差距不是很大，然后随着步长的增加，其性能极具下降，说明其无法利用长期的历史信息，所以只能在非常小的时间窗口内具有较好的性能。相比于linear-regression，lstm的预测精度具有明显的提升。对于智能电网移动终端来说，转向、停留、变速等事件发生的时间与当前的时间往往有着较长的时间间隔，而lstm通过输入、输出门以及遗忘门等单元，能够更好的处理延迟非常长的重要事件。
80.本实施例的方案取得了最好的性能，其在第1个时间步的预测误差为128.9米，在第 5个时间步的预测误差为1325.3米，相比于lstm，精度分别提高了31.6％和32.6％。这主要是因为双层的transformer的设计使得移动终端不仅仅只是依赖于时间轴上历史轨迹，而且能够综合其他终端的移动轨迹，从而能够有效地利用共享的组运动模式，提高轨迹预测的精度，为动态管理和分配网络频谱带宽资源提供支持，从而可以提高有限的5g网络资源的利用效率。
81.应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。

技术特征：

1.一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，包括以下步骤：s1：设定部署范围，收集部署范围内移动终端的移动轨迹数据；s2：处理移动轨迹数据；对移动轨迹数据进行平滑处理并剔除异常数据，划分训练样本和测试样本；s3：构建双层transformer模型，第一层transformer对每个移动终端的历史和当前预测轨迹进行编码；第二层transformer对移动终端之间的关系和运动模式进行捕获并进一步建模；s4：训练并测试双层transformer模型，将训练好的双层transformer模型部署到处理中心；s5：对部署范围内的移动终端轨迹跟踪，通过双层transformer模型输出轨迹预测结果。2.根据权利要求1所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的步骤s1具体包括以下过程：s101：设定智能电网覆盖的区域的长度和宽度；s102：分别收集5g终端设备的移动轨迹数据；s103：给定以相同的采样间隔同时采样的长度为p的g个移动终端轨数据。3.根据权利要求1或2所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的步骤s2中，通过高斯算法对数据进行对移动轨迹数据进行平滑处理；高斯算法的过滤函数为：其中，(x，y)为移动轨迹数据的点坐标；σ为标准差。4.根据权利要求1所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的第一层transformer包括编码器和解码器组成；编码器包括若干个第一layer，每个第一layer包含多头自注意模块和前馈网络模块，每层均会进行残差连接和归一化；解码器包括若干个第二layer，每个第二layer包含屏蔽多头自注意模块、多头自注意模块和前馈网络模块，每层均会进行残差连接和归一化。5.根据权利要求4所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的第一层transformer的操作过程为：a1：输入序列t＝{t1，t2，...，t
p
}输入到第一层transformer；通过线性变换，将每个时间步的坐标映射到高维嵌入空间；a2：对于输入序列中的位置信息，通过不同频率的正弦和余弦函数来编码位置特征，在编码器和解码器的底端嵌入位置编码；a3：将步骤a1和步骤a2中的输出相加，获得x，通过三个权重矩阵w
q
、w
k
和w
v
分别转换为
query向量、key向量和value向量；a4：前馈网络模块包含两个线性层和一个非线性激活函数，具体计算过程为：ffn(x)＝relu(w1x+b1)w2+b2其中，w1和w2是两个线性层的参数矩阵，b1和b2为线性层的偏置参数；a5：残差连接和归一化的具体过程为：x＝layernorm(x+operation(x))其中，其中，operation(
·
)表示自注意力操作或前馈网络，layernorm(
·
)表示层归一化操作；a6：解码网络采用两个自注意力模型结构；第一个自注意力模型对输入{t
zero
，t
p+1
，t
p+2
，t
p+3
，t
p+4
}进行编码，作为第二个自注意力模型的query向量；第二个注意力模型的输出采用前馈网络、残差连接和归一化模块，最后的输出是每个轨迹位置点对应的d维特征向量，并作为第二层transformer的输入。6.根据权利要求1或4或5所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的第二层transformer包括多头自注意模块、前馈网络模块、残差连接模块和归一化模块，得到增强的特征序列后，使用线性变换将输出增强特征向量映射到二维坐标位置，从而得到最终的预测轨迹坐标位置。7.根据权利要求6所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的第二层transformer的操作过程为：b1：第二层transformer的输入为每个移动终端每一个预测时间步的高维嵌入共d维；b2：三个权重矩阵w
q
、w
k
和w
v
将输入分别转换为query向量、key向量和value向量；b3：嵌入前馈网络模块，前馈网络模块包含两个线性层和一个非线性激活函数，具体计算过程为：ffn(x)＝relu(w1x+b1)w2+b2其中，w1和w2是两个线性层的参数矩阵，b1和b2为线性层的偏置参数；b4：残差连接和归一化的具体过程为：x＝layernorm(x+operation(x))其中，operation(
·
)表示自注意力操作或前馈网络，layernorm(
·
)表示层归一化操作；b5：对于输出的每个移动终端的强化特征向量，使用线性变换将其映射为该移动终端在这一时间步的二维坐标位置，从而得到最后的预测轨迹坐标位置。8.根据权利要求1所述的一种基于transformer的智能电网5g移动终端多轨迹预测方法，其特征在于，所述的步骤s4包括以下步骤：s401：设置训练的学习率为0.01，epoch为300，batch size为100；s402：在训练的过程中，采用mse作为学习的误差函数：
其中，t
i
为实际的移动终端轨迹坐标位置，为预测的移动终端轨迹坐标位置；s403：采用adam优化器来优化网络参数，逐步降低误差函数loss值。

技术总结

本发明公开了一种基于Transformer的智能电网5G移动终端多轨迹预测方法，包括以下步骤：首先设定智能电网部署范围，收集该范围内的移动轨迹；处理轨迹数据，通过高斯算法对数据进行平滑并剔除异常数据，以分钟为最小单位进行采样，并按照80%和20%的比例划分训练样本和测试样本；最后设计总体双层Transformer模型，第一层Transformer对每个移动终端的历史和当前预测轨迹进行编码，第二层Transformer对移动终端之间的关系和相关运动模式进行捕获并进一步建模；通过使用Transformer架构来完成5G智能电网的终端轨迹预测，从而为定制或优化网络的移动、注册和切换管理提供有效支持。持。持。