一种支持弹性伸缩的智能网联汽车大数据实时分析方法与流程

阅读：评论：0

1.本发明涉及智能网联汽车技术领域，具体为一种支持弹性伸缩的智能网联汽车大数据实时分析方法。

背景技术：

2.随着智能网联汽车技术的发展，对海量汽车数据进行处理变得越来越重要。了解行驶中车辆的各种传感器的最新数据，进一步了解车辆的最新的运行状态是一个重要数据分析任务。由于车辆内各种传感器发送信号的频率不同，每个传感器的最新数据获取时间戳都不尽相同，并且数据传输过程中会出现信号时间戳前后顺序错乱。获取一个整体的车辆状态需要大量的分组、排序和连接操作，并且车辆的实时信号是高频发送的数据，需要大量的计算资源。
3.目前使用高性能服务器处理流数据，服务器的系统崩溃会影响到实时流处理。当数据流传输速率过大时无法进行实时处理。系统是固定的，不容易安装，实施和调试新的服务。高性能服务器无法为超过其最大计算能力的计算任务提供服务，即数据流传输速度增大，现有单节点高性能服务器硬件无法满足实时批处理；如增加计算节点则需要重新配置系统，即增加高性能服务器的计算能力性价比比较低。
4.因此，针对不同数量的传感器信号需求和不同的信号传输速率，亟需研发一种既可以减少计算资源，又可以应对实时分析需求的支持弹性伸缩的数据实时分析系统。

技术实现要素：

5.针对上述技术问题，本发明的目的是提供一种支持弹性伸缩的智能网联汽车大数据实时分析方法。该方法当需要获取的最新传感器信号增加时或数据流传输速度增大时，无需进行过多的重新配置即可满足实时处理需求。
6.为实现上述目的，本发明采用如下技术方案：
7.一种支持弹性伸缩的智能网联汽车大数据实时分析方法，包括以下步骤：
8.s1：获取车联网实时数据流；
9.s2：调用数据库中保存的上一批车联网最新数据；
10.s3：将步骤s1中的数据流和步骤s2中的最新数据合并，过滤掉时序错乱的数据条目并生成批处理数据；
11.s4：将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，获得每个所需最新字段和相应时间戳；
12.s5：将步骤s4计算获得的结果写入数据库，为下一次计算做准备并为前端展示提供数据。
13.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s1中采用kafka提供实时车联网数据流。
14.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一
种优选方案，其中：步骤s2中所述的数据库为redis内存数据库。
15.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s4中各个字段的解析和同步使用spark计算引擎实现。
16.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s1还包括以下步骤：
17.s11：采用spark-kafka连接组件获取kafka数据流一定时间段内的kafka数据。
18.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s2还包括以下步骤：
19.s21：采用spark-redis连接器访问redis数据库，并获取redis数据库内上一批实时信号。
20.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s3具体为：合并每种信号的数据，生成一系列子dataframe。
21.作为本发明所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法的一种优选方案，其中：步骤s4具体为：
22.s41：针对每个vin获取各个信号的最新数值和时间戳；
23.s42：按照vin将各个信号合并成完整dataframe；
24.s43：去除掉没有改变的条目，加上过期时间，转入s5。
25.与现有技术相比：本发明具有以下有益效果：
26.1.获取一个整体的车辆状态需要分组、排序和连接操作，本技术方案可以高效实时的实现。
27.2.计算规模比较小时，可以减少计算资源，减少系统能耗，同时满足实时处理需求。
28.3.计算规模增加时，可以增加计算资源，满足实时处理需求。
29.4.增加或者减少计算资源无需过多的重新配置。
30.5.增加计算资源时相较于提高高性能服务器性能性价比更高。
附图说明
31.图1为本发明整体流程示意图；
32.图2为本发明具体实施例流程示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
34.如图1所示，本发明提供一种支持弹性伸缩的智能网联汽车大数据实时分析方法，包括以下步骤：
35.s1：获取车联网实时数据流；
36.s2：调用数据库中保存的上一批车联网最新数据；
37.s3：将步骤s1中的数据流和步骤s2中的最新数据合并，过滤掉时序错乱的数据条目并生成批处理数据；
38.s4：将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，获得每个所需最新字段和相应时间戳；
39.s5：将步骤s4计算获得的结果写入数据库，为下一次计算做准备并为前端展示提供数据。
40.如图2所示，本方法的实施需要提供实时车联网数据源，数据库可以选择redis(是一个开源的支持网络、可基于内存亦可持久化的日志型、key-value数据库)这种内存数据库，如果使用kafka(kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据)提供实时车联网数据源，对实时数据流各个字段的解析和同步使用spark(spark是专为大规模数据处理而设计的快速通用的计算引擎)框架实现，具体步骤为：
41.s1：获取车联网实时数据流；本实施例采用kafka提供实时车联网数据流；
42.s11：采用spark-kafka连接组件获取kafka数据流一定时间段内的kafka数据；
43.s2：调用数据库中保存的上一批车联网最新数据；本实施例数据库为redis内存数据库；
44.s21：采用spark-redis连接器访问redis数据库，并获取redis数据库内上一批实时信号；
45.s3：将步骤s1中的数据流和步骤s2中的最新数据合并，过滤掉时序错乱的数据条目并生成批处理数据；合并每种信号的数据时，生成一系列子dataframe；
46.s4：将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，获得每个所需最新字段和相应时间戳；本实施例使用spark计算引擎实现；具体为：
47.s41：针对每个vin获取各个信号的最新数值和时间戳；
48.s42：按照vin将各个信号合并成完整dataframe；
49.s43：去除掉没有改变的条目，加上过期时间，转入s5。
50.s5：将步骤s4计算获得的结果写入数据库，为下一次计算做准备并为前端展示提供数据。
51.由于本发明采用了支持弹性伸缩计算资源的数据实时分析方法，即采用spark-kafka连接组件获取kafka数据流一定时间段内的kafka数据；采用spark-redis连接器访问redis数据库，并获取redis数据库内上一批实时信号，同时，将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，从而支持弹性伸缩数据流量和数据字段的解析和同步，能够很好地适应不同数量的传感器信号需求和不同的信号传输速率，既可以减少计算资源的浪费，又可以应对实时分析需求。
52.虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

技术特征：

1.一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于：包括以下步骤：s1：获取车联网实时数据流；s2：调用数据库中保存的上一批车联网最新数据；s3：将步骤s1中的数据流和步骤s2中的最新数据合并，过滤掉时序错乱的数据条目并生成批处理数据；s4：将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，获得每个所需最新字段和相应时间戳；s5：将步骤s4计算获得的结果写入数据库，为下一次计算做准备并为前端展示提供数据。2.根据权利要求1所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s1中采用kafka提供实时车联网数据流。3.根据权利要求1所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s2中所述的数据库为redis内存数据库。4.根据权利要求1所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s4中各个字段的解析和同步使用spark计算引擎实现。5.根据权利要求1所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s1还包括以下步骤：s11：采用spark-kafka连接组件获取kafka数据流一定时间段内的kafka数据。6.根据权利要求5所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s2还包括以下步骤：s21：采用spark-redis连接器访问redis数据库，并获取redis数据库内上一批实时信号。7.根据权利要求6所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s3具体为：合并每种信号的数据，生成一系列子dataframe。8.根据权利要求7所述的一种支持弹性伸缩的智能网联汽车大数据实时分析方法，其特征在于，步骤s4具体为：s41：针对每个vin获取各个信号的最新数值和时间戳；s42：按照vin将各个信号合并成完整dataframe；s43：去除掉没有改变的条目，加上过期时间，转入s5。

技术总结

本发明公开了一种支持弹性伸缩的智能网联汽车大数据实时分析方法，属于智能网联汽车技术领域，包括以下步骤：S1：获取车联网实时数据流；S2：调用数据库中保存的上一批车联网最新数据；S3：将步骤S1中的数据流和步骤S2中的最新数据合并，过滤掉时序错乱的数据条目并生成批处理数据；S4：将批处理数据在弹性伸缩硬件中进行分组、排序、连接计算，获得每个所需最新字段和相应时间戳；S5：将步骤S4计算获得的结果写入数据库，为下一次计算做准备并为前端展示提供数据。本发明的有益效果是，当需要获取的最新传感器信号增加时或数据流传输速度增大时，无需进行过多的重新配置即可满足实时处理需求。处理需求。处理需求。