交通运行体系流量数据采集缺失补全的算法模型的制作方法

1.本发明涉及交通领域，特别涉及一种交通运行体系流量数据采集缺失补全的算法模型。


背景技术：

2.路网交通状态估计是智能交通系统的重要组成部分，在交通数据补全时一般选择当前路段的信息，通过时间序列进行预测和补全。长时间的交通数据的缺失补全存在难度。


技术实现要素：

3.本发明的目的提供一种交通运行体系流量数据采集缺失补全的算法模型，解决上述现有技术问题中的一个或多个。
4.第一方面，本发明提出一种交通运行体系流量数据采集缺失补全的算法模型，包括如下步骤：
5.获取各个路段的交通数据；
6.将得到的交通数据进行处理，得到全连接神经网络所需的数据集；
7.设计全连接神经网络模型，利用生成的数据集进行模型训练和验证调参，提取不同路段与附近路段交通数据的空间相关性；
8.获取交通数据缺失路段附近路段的交通数据，做归一化处理；
9.将归一化后的交通数据输入训练好的全连接神经网络模型，根据空间相关性补全缺失路段的交通数据。
10.在一些实施方式中，交通数据的处理包括在交通数据中分别提取每个路段和及其附近路段的历史交通数据，并构建每个路段对应的数据集；
11.每个路段的数据集包含n个时间段附近路段交通数据x＝{x1,x2,x3…
,xn}以及当前路段的交通数据y＝{y1,y2,y3…
,yn},其中xi表示的某一时间段m个附近路段的交通数据xi＝{x
i,1
,x
i,2
,
…
x
i,m
},yi表示对应时间段当前路段的交通数据；
12.数据矩阵格式可表示为：
[0013][0014]
设定的时间段的间隔，时间段的间隔优选为5min；
[0015]
附近路段是指与交通数据待补全路段有交汇路口的路段。
[0016]
在一些实施方式中，所述全连接神经网络采用的是全连接神经网络，包括输入层、提取补全层以及输出层，
[0017]
所述输入层用于待补全交通数据路段的附近路段的交通数据；
[0018]
所述提取补全层用于提取待补全路段交通数据和附近路段的交通数据的空间相关性；
[0019]
所述输出层用于输出补全后的缺失路段的交通数据。
[0020]
在一些实施方式中，所述提取补全层具体进行如下操作：
[0021]
获取交通数据缺失时间段外的交通数据缺失路段的交通数据和未缺失的附近路段的交通数据，构建成未经过归一化处理的数据集；
[0022]
将未经过归一化处理的数据集进行归一化处理；
[0023]
训练模型并保存和验证，获取交通数据缺失路段的交通数据和未缺失的附近路段的交通数据之间的权重参数。
[0024]
在一些实施方式中，所述交通数据归一化处理使用公式生成数据集，数据集为0到1之间的实数的数据集合，所述公式如下：
[0025][0026]
上式中max表示数据集中的最大值，
[0027]
min表示数据集中的最小值。
[0028]
在一些实施方式中，所述模型的训练和验证包括如下步骤：
[0029]
构建模型；
[0030]
归一化处理后的数据集中未缺失的附近路段的交通数据作为模型的输入数据，将交通数据缺失路段的交通数据作为模型的输出数据；
[0031]
将归一化处理后的数据集划分为训练集和验证集；
[0032]
将训练集中的数据输入初始化参数模型，计算出待补全路段的预测交通数据,公式如下：
[0033]
y'＝wx+b
[0034]
y'表示的是模型补全的交通数据，w,b分别为全连接网络的输出层的权重和偏置,x表示的是输入数据经过提取补全层的计算后的数据；
[0035]
将预测交通数据与待补全路段实际的交通数据进行比较，计算获得两者之间的损失函数值，公式如下
[0036]
loss(x,y)＝e(y-y')
[0037]
上式中e为交叉熵损失函数，y表示的是实际的交通数据的数值，y'表示的是当前模型参数预测的交通数据的数值；
[0038]
通过计算出的损失函数的数值进行反向传播，迭代更新模型参数，公式如下：
[0039][0040][0041]
上式中w，b表示的是网络中每一层网络的权重和偏置，w'，b'表示的是更新后的权重和偏置，l表示的是损失函数；
[0042]
利用验证集验证测试模型；
[0043]
调试模型结构和超参数，减少损失函数的数值，保存模型。
[0044]
在一些实施方式中，归一化处理后的数据集划分为训练集和验证集的比例关系为8:2。
[0045]
在一些实施方式中，补全缺失路段缺失的交通数据的过程如下：
[0046]
将交通数据缺失时间段内未缺失的附近路段的交通数据进行归一化处理，
[0047]
将归一化处理后得到的数据输入模型，计算出缺失部分交通数据，对缺失交通数据进行补全。
[0048]
在一些实施方式中，所述交通数据为车流量数据。
[0049]
第二方面，本发明提出一种智能交通运行体系数据缺失补全装置，所述装置包括至少一个存储介质以及至少一个处理器；
[0050]
所述至少一个存储介质用于存储计算机指令；
[0051]
所述至少一个处理其用于执行所述计算机指令，用以实现第一方面中叙述的交通运行体系流量数据采集缺失补全的算法模型。
[0052]
第三方面，本发明提出一种计算机可读存储介质，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现第一方面中叙述的交通运行体系流量数据采集缺失补全的算法模型。
[0053]
本发明所述的交通运行体系流量数据采集缺失补全的算法模型的优点为：通过深度学习模型提取当前路段与附近路段的交通数据之间的空间相关特征，可以忽略天气、节假日等时间因素；利用附近路段的交通数据对长时间的交通数据的缺失进行补全，补全效果好。
附图说明
[0054]
图1为本发明的一些实施方式中交通运行体系流量数据采集缺失补全的算法模型的流程图；
[0055]
图2为本发明的一些实施方式中全连接神经网络的结构示意图。
具体实施方式
[0056]
本技术中提出一种交通运行体系流量数据采集缺失补全的算法模型，结合图1所示的内容，将车流量数据作为交通数据为例，包括如下步骤：
[0057]
步骤1、在终端设备(比如：台式电脑、笔记本等)上安装相应的应用程序，关联交通大数据平台系统，构建全连接神经网络，结合图2所示的内容，全连接神经网络包括输入层、提取补全层以及输出层，
[0058]
输入层用于输入交通数据缺失时间段内未缺失的附近路段的交通数据，未缺失的附近路段指交通数据未缺失的，且与交通数据缺失路段有交汇路口的路段；
[0059]
提取补全层内构建有空间相关性提取模型，通过空间相关性提取模型提取交通数据缺失时间段外的交通数据缺失路段和未缺失的附近路段的空间相关性，并根据相关性补全缺失路段缺失的交通数据，空间相关性指的是当前路段在某个时间段内的车流量数据与附近路段在同一时间段内的车流量数据之间的相关性，便于通过空间相关性利用附近路段的车流量数据来预测或者补全当前路段某个时间段内的车流量缺失数据；
[0060]
输出层用于输出补全后的缺失路段的交通数据；
[0061]
交通大数据平台用于对各个路段的车流量数据进行统计；
[0062]
步骤2、通过交通大数据平台系统获取车流量数据，将得到的车流量数据进行处理，具体处理过程为：
[0063]
提取每个路段和及其附近路段的历史交通数据，并构建每个路段对应的数据集；
[0064]
每个路段的数据集包含n个时间段附近路段交通数据x＝{x1,x2,x3…
,xn}以及当前路段的交通数据y＝{y1,y2,y3…
,yn},其中xi表示的某一时间段m个附近路段的交通数据xi＝{x
i,1
,x
i,2
,
…
x
i,m
},yi表示对应时间段当前路段的交通数据；
[0065]
数据矩阵格式可表示为：
[0066][0067]
设定的时间段的间隔为5min；
[0068]
步骤3、确定交通数据缺失路段和时间段，交通数据缺失指某个路段的某个时间段内车流量数据为空；
[0069]
步骤4、查找交通数据缺失路段附近未缺失的附近路段；获取交通数据缺失时间段外的交通数据缺失路段的车流量数据和未缺失的附近路段的车流量数据，以及交通数据缺失时间段内未缺失的附近路段的车流量数据，
[0070]
附近路段是指与交通数据待补全路段有交汇路口的路段；
[0071]
步骤5、对空间相关性提取模型进行训练验证，获取当前的交通数据缺失路段和未缺失的附近路段的空间相关性，具体训练和验证过程如下：
[0072]
步骤5.1、构建未经过归一化处理的数据集，未经过归一化处理的数据集包括交通数据缺失时间段外的交通数据缺失路段的车流量数据和未缺失的附近路段的车流量数据；
[0073]
步骤5.2、将未经过归一化处理的数据集进行归一化处理，并构建归一化处理后的数据集；
[0074]
步骤5.3、将归一化处理后的数据集随机按比例划分为训练集和验证集，训练集用于进行模型训练，验证集用于对训练后的模型进行测试和评判，训练集和验证集中的未缺失的附近路段的车流量数据作为模型的输入数据，训练集和验证集中的交通数据缺失路段的车流量数据作为模型的输出数据；
[0075]
步骤5.3、将训练集中的模型的输入数据输入空间相关性提取模型，计算出交通数据缺失路段的模拟车流量数据；
[0076]
步骤5.4、将空间相关性提取模型计算出的交通数据缺失路段的模拟车流量数据与训练集中的模型的输出数据进行比较，计算获得两者之间的损失函数值；
[0077]
步骤5.5、利用验证集验证测试空间相关性提取模型，根据空间相关性提取模型在训练集和验证集上的效果，对模型结构和超参数进行调试，减少损失函数的数值，获取最佳的空间相关性提取模型，将效果最佳的空间相关性提取模型进行保存，并获取对应的权重
参数；
[0078]
步骤6、将交通数据缺失时间段内未缺失的附近路段的车流量数据进行归一化处理，获取归一化处理后的当前完整数据；
[0079]
步骤7、将当前完整数据通过输入层输入空间相关性提取模型，获取的交通数据缺失路段的附近路段的交通数据与交通数据缺失路段的交通数据之间的权重参数，计算出缺失部分交通数据，实现对缺失交通数据的补全，可忽略天气、节假日等时间因素的影响；
[0080]
步骤8、补全后的交通数据通过输出层输出。
[0081]
上述空间相关性提取模型的训练和验证过程中最佳的模型不是说绝对的最佳模型，是指从训练的模型中挑选出最佳的模型，将每次训练的模型都保存，并标记对应的历元和损失函数，使用对验证数据集进行测试，测试结果最佳的模型即认为是最佳模型，没有具体的范围判定
[0082]
在一些实施方式中，当某个路段的某个时间段车流量数据为空时，交通大数据平台中会对管理人员进行提示，便于管理人员确定出车流量数据缺失的路段和对应的时间段。
[0083]
在一些实施方式中，车流量数据归一化处理使用公式生成数据集，数据集为0到1之间的实数的数据集合，所述公式如下：
[0084][0085]
上式中max表示未经过归一化处理的数据集中的最大值，
[0086]
min表示未经过归一化处理的数据集中的最小值。
[0087]
在一些实施方式中，空间相关性提取模型的训练和验证的具体过程包括如下步骤：
[0088]
构建模型；
[0089]
归一化处理后的数据集中未缺失的附近路段的交通数据作为模型的输入数据，将交通数据缺失路段的交通数据作为模型的输出数据；
[0090]
将归一化处理后的数据集划分为训练集和验证集，其划分比例可为8:2；
[0091]
将训练集中的数据输入初始化参数模型，计算出待补全路段的预测交通数据,公式如下：
[0092]
y'＝wx+b
[0093]
y'表示的是模型补全的交通数据，w,b分别为全连接网络的输出层的权重和偏置,x表示的是输入数据经过提取补全层的计算后的数据；
[0094]
将预测交通数据与待补全路段实际的交通数据进行比较，计算获得两者之间的损失函数值，公式如下
[0095]
loss(x,y)＝e(y-y')
[0096]
上式中e为交叉熵损失函数，y表示的是实际的交通数据的数值，y'表示的是当前模型参数预测的交通数据的数值；
[0097]
通过计算出的损失函数的数值进行反向传播，迭代更新模型参数，公式如下：
[0098]
[0099][0100]
上式中w，b表示的是网络中每一层网络的权重和偏置，w'，b'表示的是更新后的权重和偏置，l表示的是损失函数；
[0101]
利用验证集验证测试模型；
[0102]
调试模型结构和超参数，减少损失函数的数值，保存模型。
[0103]
本技术的一些实施例提出了一种智能交通运行体系数据缺失补全装置，装置包括至少一个存储介质以及至少一个处理器；
[0104]
至少一个存储介质用于存储计算机指令，计算机指令中包括交通运行体系流量数据采集缺失补全的算法模型对应的应用程序；
[0105]
至少一个处理其用于执行所述计算机指令，用以实现上述的交通运行体系流量数据采集缺失补全的算法模型。
[0106]
本技术的一些实施例提出一种计算机可读存储介质，存储介质存储有计算机指令，计算机指令中包括交通运行体系流量数据采集缺失补全的算法模型对应的应用程序，当计算机指令被处理器执行时，实现上述的交通运行体系流量数据采集缺失补全的算法模型。
[0107]
上述的交通运行体系流量数据采集缺失补全的算法模型通过深度学习模型提取当前路段与附近路段的交通数据之间的空间相关特征，可以降低时间因素的影响，有效的提升了缺失补全的效果，使得补全的数据与实际数据更加的接近。
[0108]
以上所述仅是本发明的优选方式，应当指出，对于本领域普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干相似的变形和改进，这些也应视为本发明的保护范围之。

技术特征：
1.一种交通运行体系流量数据采集缺失补全的算法模型，其特征在于，包括如下步骤：获取各个路段的交通数据；将获取的交通数据进行处理，得到全连接神经网络所需的数据集；设计全连接神经网络模型，利用生成的数据集进行模型训练和验证调参，提取不同路段与附近路段交通数据的空间相关性；获取交通数据缺失路段附近路段的交通数据，做归一化处理；将归一化后的交通数据输入训练好的全连接神经网络模型，根据空间相关性补全缺失路段的交通数据。2.根据权利要求1所述的交通运行体系流量数据采集缺失补全的算法模型，其中，交通数据的处理包括在交通数据中分别提取每个路段和及其附近路段的历史交通数据，并构建每个路段对应的数据集；每个路段的数据集包含n个时间段附近路段交通数据x＝{x1,x2,x3…
,x
n
}以及当前路段的交通数据y＝{y1,y2,y3…
,y
n
},其中x
i
表示的某一时间段m个附近路段的交通数据x
i
＝{x
i,1
,x
i,2
,
…
x
i,m
},y
i
表示对应时间段当前路段的交通数据，其数据矩阵格式可表示为：设定的时间段的间隔，时间段的间隔优选为5min；交通运行体系流量数据采集缺失补全的算法模型附近路段是指与交通数据待补全路段有交汇路口的路段。3.根据利要求1所述的交通运行体系流量数据采集缺失补全的算法模型，其中，所述全连接神经网络包括输入层、提取补全层以及输出层：所述输入层用于待补全交通数据路段的附近路段的交通数据；所述提取补全层用于提取待补全路段交通数据和附近路段的交通数据的空间相关性；所述输出层用于输出补全后的缺失路段的交通数据。4.根据权利要求1所述的交通运行体系流量数据采集缺失补全的算法模型，其中，所述交通数据归一化处理使用公式生成数据集，数据集为0到1之间的实数的数据集合，所述公式如下：上式中max表示数据集中的最大值，min表示数据集中的最小值。5.根据权利要求1所述的交通运行体系流量数据采集缺失补全的算法模型，其中，所述全连接神经网络模型的训练和验证包括如下步骤：构建模型结构；归一化处理后的数据集中附近路段的交通数据作为模型的输入数据，将待补全路段的
交通数据作为模型的输出数据；将归一化处理后的数据集划分为训练集和验证集；将训练集中的数据输入初始化参数模型，计算出待补全路段的预测交通数据,公式如下：y'＝wx+by'表示的是模型补全的交通数据，w,b分别为全连接网络的输出层的权重和偏置,x表示的是输入数据经过提取补全层的计算后的数据；将预测交通数据与待补全路段实际的交通数据进行比较，计算获得两者之间的损失函数值，公式如下loss(x,y)＝e(y-y')上式中e为交叉熵损失函数，y表示的是实际的交通数据的数值，y'表示的是当前模型参数预测的交通数据的数值；通过计算出的损失函数的数值进行反向传播，迭代更新模型参数，公式如下：通过计算出的损失函数的数值进行反向传播，迭代更新模型参数，公式如下：上式中w，b表示的是网络中每一层网络的权重和偏置，w'，b'表示的是更新后的权重和偏置，l表示的是损失函数；利用验证集验证测试模型；调试模型结构和超参数，减少损失函数的数值，保存模型。6.根据权利要求5所述的交通运行体系流量数据采集缺失补全的算法模型，其中，归一化处理后的数据集划分为训练集和验证集的比例关系为8:2。7.根据权利要求5所述的交通运行体系流量数据采集缺失补全的算法模型，其中，补全缺失路段缺失的交通数据的过程如下：将交通数据待补全路段同一时间段内附近路段的交通数据进行归一化处理；将归一化处理后得到的数据输入训练好的全连接神经网络模型，计算出缺失部分交通数据，对缺失交通数据进行补全。8.根据权利要求1-7中的任一项所述的交通运行体系流量数据采集缺失补全的算法模型，其中，所述交通数据为车流量数据。9.一种智能交通运行体系数据缺失补全装置，其特征在于，所述装置包括至少一个存储介质以及至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理其用于执行所述计算机指令，用以实现权利要求1-8中任一项所述的交通运行体系流量数据采集缺失补全的算法模型。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现如权利要求1-8任一项所述的交通运行体系流量数据采集缺失补全的算法模型。

技术总结
本发明公开了一种交通运行体系流量数据采集缺失补全的算法模型，包括如下步骤：确定交通数据缺失路段和时间段；获取交通数据缺失路段及其附近路段的交通数据；提取空间相关性；根据空间相关性补全缺失路段缺失的交通数据。本发明叙述的方法通过深度学习模型提取当前路段与附近路段的交通数据之间的空间相关特征，并根据空间相关特性进行交通数据补全，具有能对长时间的交通数据的缺失进行补全，补全效果好的优点。全效果好的优点。全效果好的优点。


技术研发人员：何冉冉 何中 朱聪聪 蔡亚军 严伟
受保护的技术使用者：江苏中威软件技术有限公司
技术研发日：2021.12.06
技术公布日：2022/3/8