1.本发明涉及智能
交通技术领域,具体涉及一种基于动态自适应生成对抗网络的交通
数据修复方法。
背景技术:
2.城市道路交通网络是一个数据丰富且存在特定运行规律的复杂系统,它有序支撑了城市居民的便捷生活,也促进了现代城市的稳健发展。然而,随着传感器技术、通信技术等先进方法的迅猛发展,交通数据迎来了爆炸性增长,缺失、异常等劣质数据也随之产生。导致交通数据缺失的主要因素包括软件或硬件故障,数据的缺失比率和缺失类型也依实际环境呈复杂变化。因此,采用有效算法对缺失交通数据进行高精度修复,从而保障交通数据的后续建模与分析甚至城市路网交通系统稳定运行都有极为重要的作用。
3.现阶段的交通数据修复方法主要包括传统插值方法、统计学习与生成对抗网络算法(王力,李敏,闫佳庆,张玲玉,潘科,&李正熙.(2018).基于生成式对抗网络的路网交通流数据补全方法.交通运输系统工程与信息,18(6),9.)。存在的主要缺陷包括无法有效修复缺失的交通数据以及无法解决高缺失率交通数据修复等问题。特别对于大规模交通数据集,数据的时空特性十分复杂,传统的修复方法已经无法应对新形式下的修复目标。因此,建立稳定且高效的交通数据修复模型十分必要。
技术实现要素:
4.为克服现有技术的不足,本发明提供了一种基于动态自适应生成对抗网络的交通数据修复方法。该方法动态驱使生成对抗网络自适应其数据生成过程,解决gan迭代过程不稳定、过拟合与欠拟合等问题,进而有效提高交通数据的修复精度和效率。
5.本发明的目的至少通过如下技术方案之一实现。
6.一种基于动态自适应生成对抗网络的交通数据修复方法,包括以下步骤:
7.s1、通过布置在城市路网干道上的传感器不间断获取原始交通数据,构成原始交通数据
矩阵;
8.s2、利用数据标准化处理原始交通数据矩阵,并通过可视化方式绘制交通数据随时间变化的热力图,确定异常数据位置,并对其进行预处理;
9.s3、构造时空交通数据矩阵,并按不同的缺失类型和比例随机删除部分数据,构建多个待修复交通数据矩阵;
10.s4、组建由全连接神经网络构成的生成对抗网络(gan),并基于博弈思想迭代训练生成器与对抗器;
11.s5、引入一种动态自适应机制,自动识别生成对抗网络的最佳迭代次数,并利用待修复交通数据矩阵完成生成对抗网络的模型训练;
12.s6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。
13.进一步地,步骤s1中,采集的原始交通数据包括交通流量、速度或者密度。
14.进一步地,步骤s2具体如下:
15.对原始交通数据进行预处理,按如下标准化公式完成不同数据量纲的统一:
[0016][0017]
其中,为城市路网传感器检测的原始交通数据;为对应传感器观测值的最小值;为对应传感器观测值的最大值;为数据标准化后的原始交通数据;对于优化后的原始交通数据矩阵,通过可视化的方式绘制交通数据随时间变化的热力图,热力图中的0值颜块和数值超过设定阈值的极大值颜块的所在位置即是异常数据点位置;进一步通过设置交通数据的阈值,采用网格搜索法逐个对比交通数据与阈值的大小,锁定异常数据的坐标;求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据,或者直接删除采集锁定的异常数据的传感器所测量的所有数据,剩余的原始交通数据用于构成最终交通数据矩阵。
[0018]
进一步地,步骤s3具体如下:
[0019]
采用表示城市路网的拓扑结构,构建最终交通数据矩阵其中,i和j分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量;
[0020]
最终交通数据矩阵中,x
ij
表示第i个传感器在第j个时间点测量的交通数据;
[0021]
构建最终交通数据矩阵对应的掩码矩阵掩码矩阵中的元素m
ij
表示交通数据矩阵中对应位置的元素是否缺失的标记值,表示如下:
[0022][0023]
其中,属于最终交通数据矩阵中被观察到的部分交通数据的集合,ω属于该集合索引;部分交通数据的集合与最终交通数据矩阵还存在还存在的关系,符号代表矩阵间的哈达玛积。
[0024]
进一步地,为了模拟自然环境下的数据缺失现象,人为设置掩码矩阵中0的比率和位置,具体如下:
[0025]
未缺失状况下的掩码矩阵中的数据全为1,缺失率为0;用0替代1表示数据的缺失,设置0的个数占掩码矩阵总个数的比率,该比率即为缺失率;对于随机缺失(rm)情况,掩码矩阵中用0替代1的过程是随机的,所生成的缺失值在最终交通数据矩阵中呈分散分布;而对于聚类缺失(cm)情况,掩码矩阵中0值的分布呈明显的连续分布,典型表现为同一个传感器在一段时间内发生故障,导致采集的交通数据值为0;最后,按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵,并统一命名为
[0026]
进一步地,步骤s4具体如下:
[0027]
设置生成对抗网络的生成器(g)和对抗器(d),生成器(g)和对抗器(d)均为三层全连接神经网络,采用博弈思想迭代训练生成对抗网络模型,以填补步骤s3中的待修复交通数据矩阵;生成对抗网络模型被定义为如下的最大最小值博弈优化过程:
[0028][0029]
其中,lg和ld分别代表生成对抗网络中生成器(g)的生成过程与对抗器(d)的对抗过程;z是噪声数据,来自于分布pz,满足z~pz;p
real
(x)代表步骤s3中的待修复交通矩阵中的数据的真实分布;v(d,g)代表修复任务的目标函数;pz(z)代表随机噪声分布;和均为带掩体矩阵的三层全连接神经网络;和分别表示p
real
(x)和pz(z)的期望值;
[0030]
通过固定生成器(g),最大化公式(3)的v(d,g)函数,得到最优对抗器d为:
[0031][0032]
其中,pg代表生成器(g)定义的概率分布,其初始分布为随机噪声,经过模型训练后逐渐逼近代表待修复交通数据矩阵的真实分布;公式(3)可进一步转化为:
[0033][0034]
其中,代表在固定判别器d的情况下优化生成器g的目标函数;代表pg的期望值;当满足时,生成器(g)能完整的复制待修复交通数据的生成过程。
[0035]
进一步地,步骤s5中,标准生成对抗网络根据生成器(g)与对抗器(d)的损失值进行迭代训练,但该过程对迭代次数的固定设置导致模型训练过程不稳定,训练结束后模型易出现过拟合或欠拟合现象;
[0036]
因此,提出一种动态自适应机制,通过更改生成对抗网络的
误差反馈对象以修改模型训练的损失函数,并利用savizkg-golag(s-g)平滑和二阶求导(2d)动态确定生成对抗网络的最佳迭代次数,具体如下:
[0037]
生成器依据噪声分布输出所有生成的交通数据:
[0038][0039]
利用公式(6)中生成器依据噪声分布输出所有生成的交通数据替换待修复交通
数据矩阵以形成完整的交通数据矩阵
[0040][0041]
进一步训练生成器(g)以最小化对抗器(d)对所生成的完整的交通数据矩阵的判断概率,确保在得到最佳生成器g的基础上获得最佳对抗器d,此时的博弈过程由公式(3)转变为:
[0042][0043]
计算生成器(g)的训练误差和测试误差并分别累计形成训练误差向量和测试误差向量
[0044][0045][0046]
其中,代表已观测的交通数据矩阵,代表已修复的交通数据矩阵;应用s-g平滑和2d作用于训练误差向量和测试误差向量以获得生成对抗网络的动态迭代次数。
[0047]
进一步地,s-g平滑是一种常用低通滤波器,用于消除训练误差向量和测试误差向量中的干扰因素,以便观察生成器(g)的迭代趋势;
[0048]
具体而言,取训练误差向量和测试误差向量中长度为(2w+1)的部分误差组成局部误差向量,设置一个n阶多项式fy来拟合局部误差向量:
[0049][0050]
其中,[c
n0
,c
n1
,c
n2
…cnn
]代表fy的系数;n代表fy的阶次;计算训练误差向量和测试误差向量的原始误差值与修正后的误差值之间的均方误差:
[0051]
[0052]
通过偏最小二乘法拟合公式(12)以最小化确定fy系数[c
n0
,c
n1
,c
n2
…cnn
];重新计算局部误差向量以得到修正后的误差值;
[0053]
经过s-g平滑后训练误差向量和测试误差向量的曲线随迭代次数增加凸显更清晰的变化趋势,随后对曲线进行2d处理以动态监测生成器(g)的迭代过程;
[0054]
当曲线的斜率发生翻转时,即可终止生成对抗网络的训练过程;
[0055]
在迭代期间,训练误差向量和测试误差向量也在不断更新,所有误差值都在不断减少,而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围,此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象,同时收获较好的修复效果。
[0056]
进一步地,步骤s6中,所述模型评价指标包括平均绝对百分比误差mape、均方根误差rmse和平均绝对误差mae。
[0057]
进一步地,利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价,指标的计算公式如下:
[0058][0059][0060][0061]
其中,|ω|代表ω的大小;x
ij
和分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
[0062]
本发明的有益效果主要表现在:提出一种改进的gan模型用于缺失交通数据修复。其中,gan的生成器g与对抗器d采用了三层全连接神经网络深度提取交通数据特征。特别针对gan训练过程不稳定,易出现过拟合与欠拟合等问题,提出一种动态自适应机制改进gan的损失函数,动态调整gan的迭代次数,进而有效提高了gan模型的修复精度、效率和鲁棒性。
附图说明
[0063]
图1为本发明实施例中一种基于动态自适应生成对抗网络的交通数据修复方法的流程图。
[0064]
图2为本发明实施例中动态自适应生成对抗网络的模型结构图。
具体实施方式
[0065]
为了更清楚地说明本发明的技术方案,下面结合附图对示例性实施例进行说明。
[0066]
实施例1:
[0067]
一种基于动态自适应生成对抗网络的交通数据修复方法,如图1所示,包括以下步骤:
[0068]
s1、通过布置在城市路网干道上的传感器不间断获取原始交通数据,构成原始交通数据矩阵;
[0069]
采集的原始交通数据包括交通流量、速度或者密度。
[0070]
s2、利用数据标准化处理原始交通数据矩阵,并通过可视化方式绘制交通数据随时间变化的热力图,确定异常数据位置,并对其进行预处理,具体如下:
[0071]
对原始交通数据进行预处理,按如下标准化公式完成不同数据量纲的统一:
[0072][0073]
其中,为城市路网传感器检测的原始交通数据;为对应传感器观测值的最小值;为对应传感器观测值的最大值;为数据标准化后的原始交通数据;对于优化后的原始交通数据矩阵,通过可视化的方式绘制交通数据随时间变化的热力图,热力图中的0值颜块和数值超过设定阈值的极大值颜块的所在位置即是异常数据点位置;进一步通过设置交通数据的阈值,采用网格搜索法逐个对比交通数据与阈值的大小,锁定异常数据的坐标;求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据,或者直接删除采集锁定的异常数据的传感器所测量的所有数据,剩余的原始交通数据用于构成最终交通数据矩阵。
[0074]
s3、构造时空交通数据矩阵,并按不同的缺失类型和比例随机删除部分数据,构建多个待修复交通数据矩阵,具体如下:
[0075]
采用表示城市路网的拓扑结构,构建最终交通数据矩阵其中,i和j分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量;
[0076]
最终交通数据矩阵中,x
ij
表示第i个传感器在第j个时间点测量的交通数据;
[0077]
构建最终交通数据矩阵对应的掩码矩阵掩码矩阵中的元素m
ij
表示交通数据矩阵中对应位置的元素是否缺失的标记值,表示如下:
[0078][0079]
其中,属于最终交通数据矩阵中被观察到的部分交通数据的集合,ω属于该集合索引;部分交通数据的集合与最终交通数据矩阵还存在还存在的关系,符号代表矩阵间的哈达玛积。
[0080]
为了模拟自然环境下的数据缺失现象,人为设置掩码矩阵中0的比率和位置,具体如下:
[0081]
未缺失状况下的掩码矩阵中的数据全为1,缺失率为0;用0替代1表示数据的缺失,设置0的个数占掩码矩阵总个数的比率,该比率即为缺失率;对于随机缺失(rm)情况,掩码矩阵中用0替代1的过程是随机的,所生成的缺失值在最终交通数据矩阵中呈分散分布;而对于聚类缺失(cm)情况,掩码矩阵中0值的分布呈明显的连续分布,典型表现为同一个传感器在一段时间内发生故障,导致采集的交通数据值为0;最后,按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵,并统一命名为
[0082]
s4、组建由全连接神经网络构成的生成对抗网络(gan),并基于博弈思想迭代训练生成器与对抗器,具体如下:
[0083]
本实施例中,如图2所示,设置生成对抗网络的生成器(g)和对抗器(d),生成器(g)和对抗器(d)均为三层全连接神经网络,采用博弈思想迭代训练生成对抗网络模型,以填补步骤s3中的待修复交通数据矩阵;生成对抗网络模型被定义为如下的最大最小值博弈优化过程:
[0084][0085]
其中,lg和ld分别代表生成对抗网络中生成器(g)的生成过程与对抗器(d)的对抗过程;z是噪声数据,来自于分布pz,满足z~pz;p
real
(x)代表步骤s3中的待修复交通矩阵中的数据的真实分布;v(d,g)代表修复任务的目标函数;pz(z)代表随机噪声分布;和均为带掩体矩阵的三层全连接神经网络;和分别表示p
real
(x)和pz(z)的期望值;
[0086]
通过固定生成器(g),最大化公式(3)的v(d,g)函数,得到最优对抗器d为:
[0087][0088]
其中,pg代表生成器(g)定义的概率分布,其初始分布为随机噪声,经过模型训练后逐渐逼近代表待修复交通数据矩阵的真实分布;公式(3)可进一步转化为:
[0089][0090]
其中,代表在固定判别器d的情况下优化生成器g的目标函数;代表pg的期望值;当满足时,生成器(g)能完整的复制待修复交通数据的生成过程。
[0091]
s5、引入一种动态自适应机制,自动识别生成对抗网络的最佳迭代次数,并利用待修复交通数据矩阵完成生成对抗网络的模型训练;
[0092]
标准生成对抗网络根据生成器(g)与对抗器(d)的损失值进行迭代训练,但该过程对迭代次数的固定设置导致模型训练过程不稳定,训练结束后模型易出现过拟合或欠拟合现象;
[0093]
因此,提出一种动态自适应机制,通过更改生成对抗网络的误差反馈对象以修改
模型训练的损失函数,并利用savizkg-golag(s-g)平滑和二阶求导(2d)动态确定生成对抗网络的最佳迭代次数,具体如下:
[0094]
生成器依据噪声分布输出所有生成的交通数据:
[0095][0096]
利用公式(6)中生成器依据噪声分布输出所有生成的交通数据替换待修复交通数据矩阵以形成完整的交通数据矩阵
[0097][0098]
进一步训练生成器(g)以最小化对抗器(d)对所生成的完整的交通数据矩阵的判断概率,确保在得到最佳生成器g的基础上获得最佳对抗器d,此时的博弈过程由公式(3)转变为:
[0099][0100]
计算生成器(g)的训练误差和测试误差并分别累计形成训练误差向量和测试误差向量
[0101][0102][0103]
其中,代表已观测的交通数据矩阵,代表已修复的交通数据矩阵;应用s-g平滑和2d作用于训练误差向量和测试误差向量以获得生成对抗网络的动态迭代次数。
[0104]
s-g平滑是一种常用低通滤波器,用于消除训练误差向量和测试误差向量中的干扰因素,以便观察生成器(g)的迭代趋势;
[0105]
具体而言,取训练误差向量和测试误差向量中长度为(2w+1)的部分误差组成局部误差向量,设置一个n阶多项式fy来拟合局部误差向量:
[0106][0107]
其中,[c
n0
,c
n1
,c
n2
…cnn
]代表fy的系数;n代表fy的阶次;计算训练误差向量和测试误差向量的原始误差值与修正后的误差值之间的均方误差:
[0108][0109]
通过偏最小二乘法拟合公式(12)以最小化确定fy系数[c
n0
,c
n1
,c
n2
…cnn
];重新计算局部误差向量以得到修正后的误差值;
[0110]
经过s-g平滑后训练误差向量和测试误差向量的曲线随迭代次数增加凸显更清晰的变化趋势,随后对曲线进行2d处理以动态监测生成器(g)的迭代过程;
[0111]
当曲线的斜率发生翻转时,即可终止生成对抗网络的训练过程;
[0112]
在迭代期间,训练误差向量和测试误差向量也在不断更新,所有误差值都在不断减少,而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围,此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象,同时收获较好的修复效果。
[0113]
s6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能;
[0114]
所述模型评价指标包括平均绝对百分比误差mape、均方根误差rmse和平均绝对误差mae。
[0115]
利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价,指标的计算公式如下:
[0116][0117][0118][0119]
其中,|ω|代表ω的大小;x
ij
和分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
[0120]
本实施例中,实施过程如下:
[0121]
(1)选择实验数据:
[0122]
本实施例中,选择的公开交通数据集为中国广州城市路网交通速度数据矩阵,对动态自适应生成对抗网络的修复性能进行实际评估。
[0123]
(2)模型参数确定:
[0124]
生成对抗网络中生成器与对抗器都为三层全连接神经网络,各隐藏层神经元个数分别为209,418和209,激活函数为leaky_relu函数,数据缺失比率分别为10%,20%,30%,40%,50%,60%,70%,80%和90%,数据缺失类型分别为随机缺失(rm)和聚类缺失(cm)。
[0125]
(3)实验结果展示:
[0126]
在各种复杂缺失情况下,广州交通速度数据矩阵的修复评价指标如表1所示。
[0127][0128]
实施例2:
[0129]
本实施例中,选择的公开交通数据集为杭州地铁客流数据矩阵,对动态自适应生成对抗网络的修复性能进行实际评估。
[0130]
杭州地铁客流数据矩阵的修复评价指标如表2所示。
[0131][0132][0133]
实施例3:
[0134]
本实施例中,选择的公开交通数据集为seattle-loop交通速度数据矩阵,对动态自适应生成对抗网络的修复性能进行实际评估。
[0135]
seattle-loop交通速度数据矩阵的修复评价指标如表3所示。
[0136]
技术特征:
1.一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,包括以下步骤:s1、通过布置在城市路网干道上的传感器不间断获取原始交通数据,构成原始交通数据矩阵;s2、利用数据标准化处理原始交通数据矩阵,并通过可视化方式绘制交通数据随时间变化的热力图,确定异常数据位置,并对其进行预处理;s3、构造时空交通数据矩阵,并按不同的缺失类型和比例随机删除部分数据,构建多个待修复交通数据矩阵;s4、组建由全连接神经网络构成的生成对抗网络(gan),并基于博弈思想迭代训练生成器与对抗器;s5、引入一种动态自适应机制,自动识别生成对抗网络的最佳迭代次数,并利用待修复交通数据矩阵完成生成对抗网络的模型训练;s6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。2.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s1中,采集的原始交通数据包括交通流量、速度或者密度。3.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s2具体如下:对原始交通数据进行预处理,按如下标准化公式完成不同数据量纲的统一:其中,为城市路网传感器检测的原始交通数据;为对应传感器观测值的最小值;为对应传感器观测值的最大值;为数据标准化后的原始交通数据;对于优化后的原始交通数据矩阵,通过可视化的方式绘制交通数据随时间变化的热力图,热力图中的0值颜块和数值超过设定阈值的极大值颜块的所在位置即是异常数据点位置;进一步通过设置交通数据的阈值,采用网格搜索法逐个对比交通数据与阈值的大小,锁定异常数据的坐标;求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据,或者直接删除采集锁定的异常数据的传感器所测量的所有数据,剩余的原始交通数据用于构成最终交通数据矩阵。4.根据权利要求3所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s3具体如下:采用表示城市路网的拓扑结构,构建最终交通数据矩阵其中,i和j分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量;最终交通数据矩阵中,x
ij
表示第i个传感器在第j个时间点测量的交通数据;构建最终交通数据矩阵对应的掩码矩阵掩码矩阵中的元素表示交通数据矩阵中对应位置的元素是否缺失的标记值,表示如下:
其中,属于最终交通数据矩阵中被观察到的部分交通数据的集合,ω属于该集合索引;部分交通数据的集合与最终交通数据矩阵还存在还存在的关系,符号代表矩阵间的哈达玛积。5.根据权利要求4所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,为了模拟自然环境下的数据缺失现象,人为设置掩码矩阵中0的比率和位置,具体如下:未缺失状况下的掩码矩阵中的数据全为1,缺失率为0;用0替代1表示数据的缺失,设置0的个数占掩码矩阵总个数的比率,该比率即为缺失率;对于随机缺失(rm)情况,掩码矩阵中用0替代1的过程是随机的,所生成的缺失值在最终交通数据矩阵中呈分散分布;而对于聚类缺失(cm)情况,掩码矩阵中0值的分布呈明显的连续分布,典型表现为同一个传感器在一段时间内发生故障,导致采集的交通数据值为0;最后,按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵,并统一命名为6.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s4具体如下:设置生成对抗网络的生成器(g)和对抗器(d),生成器(g)和对抗器(d)均为三层全连接神经网络,采用博弈思想迭代训练生成对抗网络模型,以填补步骤s3中的待修复交通数据矩阵;生成对抗网络模型被定义为如下的最大最小值博弈优化过程:其中,l
g
和l
d
分别代表生成对抗网络中生成器(g)的生成过程与对抗器(d)的对抗过程;是噪声数据,来自于分布满足p
real
(x)代表步骤s3中的待修复交通矩阵中的数据的真实分布;v(d,g)代表修复任务的目标函数;代表随机噪声分布;和均为带掩体矩阵的三层全连接神经网络;和分别表示p
real
(x)和的期望值;通过固定生成器(g),最大化公式(3)的v(d,g)函数,得到最优对抗器d为:其中,p
g
代表生成器(g)定义的概率分布,其初始分布为随机噪声,经过模型训练后逐渐逼近代表待修复交通数据矩阵的真实分布;公式(3)可进一步转化为:
其中,代表在固定判别器d的情况下优化生成器g的目标函数;代表p
g
的期望值;当满足时,生成器(g)能完整的复制待修复交通数据的生成过程。7.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s5中,提出一种动态自适应机制,通过更改生成对抗网络的误差反馈对象以修改模型训练的损失函数,并利用savizkg-golag(s-g)平滑和二阶求导(2d)动态确定生成对抗网络的最佳迭代次数,具体如下:生成器依据噪声分布输出所有生成的交通数据:利用公式(6)中生成器依据噪声分布输出所有生成的交通数据替换待修复交通数据矩阵以形成完整的交通数据矩阵以形成完整的交通数据矩阵进一步训练生成器(g)以最小化对抗器(d)对所生成的完整的交通数据矩阵的判断概率,确保在得到最佳生成器g的基础上获得最佳对抗器d,此时的博弈过程由公式(3)转变为:计算生成器(g)的训练误差和测试误差并分别累计形成训练误差向量和测试误差向量和测试误差向量和测试误差向量
其中,代表已观测的交通数据矩阵,代表已修复的交通数据矩阵;应用s-g平滑和2d作用于训练误差向量和测试误差向量以获得生成对抗网络的动态迭代次数。8.根据权利要求7所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,s-g平滑是一种常用低通滤波器,用于消除训练误差向量和测试误差向量中的干扰因素,以便观察生成器(g)的迭代趋势;具体而言,取训练误差向量和测试误差向量中长度为的部分误差组成局部误差向量,设置一个n阶多项式来拟合局部误差向量:其中,代表的系数;代表的阶次;计算训练误差向量和测试误差向量的原始误差值与修正后的误差值之间的均方误差:通过偏最小二乘法拟合公式(12)以最小化确定系数重新计算局部误差向量以得到修正后的误差值;经过s-g平滑后训练误差向量和测试误差向量的曲线随迭代次数增加凸显更清晰的变化趋势,随后对曲线进行2d处理以动态监测生成器(g)的迭代过程;当曲线的斜率发生翻转时,即可终止生成对抗网络的训练过程;在迭代期间,训练误差向量和测试误差向量也在不断更新,所有误差值都在不断减少,而动态确定的迭代次数表明生成对抗网络通过训练以减少修复误差的趋势逐渐脱离稳定变化的范围,此时中断生成对抗网络的训练既可避免出现训练混乱以及过拟合与欠拟合现象,同时收获较好的修复效果。9.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,步骤s6中,所述模型评价指标包括平均绝对百分比误差mape、均方根误差rmse和平均绝对误差mae。10.根据权利要求1~9任一项所述的一种基于动态自适应生成对抗网络的交通数据修复方法,其特征在于,利用模型评价指标对动态自适应生成对抗网络的修复性能进行评价,指标的计算公式如下:
其中,|ω|代表ω的大小;x
ij
和分别代表第i个传感器在第j个时间点测量的真实交通数据值及其修复值。
技术总结
本发明公开了一种基于动态自适应生成对抗网络的交通数据修复方法。所述方法包括以下步骤:获取原始交通数据,构成原始交通数据矩阵;利用数据标准化处理原始交通数据矩阵,确定异常数据位置,并对其进行预处理;构建多个待修复交通数据矩阵;组建由全连接神经网络构成的生成对抗网络,并基于博弈思想迭代训练生成器与对抗器;引入一种动态自适应机制,自动识别生成对抗网络的最佳迭代次数,并利用待修复交通数据矩阵完成生成对抗网络的模型训练;利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。本发明具有算法计算复杂度低、修复精度高、实时动态性强等优点,可为智能城市交通规划与管理、实时公交调度与优化等提供保障。供保障。供保障。
技术研发人员:
李金龙 李若南 许伦辉 吴攀
受保护的技术使用者:
华南理工大学
技术研发日:
2022.06.29
技术公布日:
2022/9/6