一种基于流式计算实时分析门架交易数据方法与流程

阅读：评论：0

1.本发明涉及高速公路门架交易数据交互传输技术领域，具体是一种基于流式计算实时分析门架交易数据方法。

背景技术：

2.在高速公路上，车辆通过门架时，门架和车辆的obu直接会发生读写数据，同时产生一条门架交易，可以通过门架交易实时分析每个门架的实时过车通行量，全国每天产生3.3亿条门架交易，计算实时过车数据需要解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题。
3.现有问题的关键点在于，数据量大，且数据分析的周期大，数据库不能支撑如此大数据量的实时分析，一般流式计算为了追求极致的性能，采用纯内存计算，这样会要求更多的硬件资源。因此，针对上述问题提出一种基于流式计算实时分析门架交易数据方法。

技术实现要素：

4.本发明的目的就在于为了解决上述问题而提供一种基于流式计算实时分析门架交易数据方法。
5.本发明通过以下技术方案来实现上述目的，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。
6.优选的，门架交易量统计以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1。
7.优选的，路段交易量统计以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理。
8.优选的，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。
9.优选的，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的
passid，一次通行会包含passid相同的多个门架交易。
10.本发明的有益效果是：采用流式计算+kv存储方式来实现解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题的需求，在数据处理过程中不断保存中间状态，在某个时间点，把处理的数据位置和结果都保存下，防止系统故障漏算或者重算导致的统计结果不准确，用较少的服务器完成功能。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
12.图1为本发明方法流程图。
具体实施方式
13.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
14.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
15.在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
16.实施例一请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。
17.进一步地，门架交易量统计以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1。
18.进一步地，路段交易量统计以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理。
19.该处的有益之处在于：采用流式计算+kv存储方式来实现实现解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题的需求。
20.实施例二请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，分别统计时间窗口[08:10:00,08:10:30]、[08:10:01,08:10:31]、[08:10:02,08:10:32]，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。
[0021]
进一步地，门架交易量统计以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1。
[0022]
进一步地，路段交易量统计以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理。
[0023]
该处的有益之处在于：防止系统故障漏算或者重算导致的统计结果不准确，用较少的服务器完成功能。
[0024]
实施例三请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，分别统计时间窗口[08:10:00,08:10:30]、[08:10:01,08:10:31]、[08:10:02,08:10:32]，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成，以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个，以路段按天统计为例，需要把临时按天把passid都
保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。
[0025]
进一步地，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。
[0026]
进一步地，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易。
[0027]
该处的有益之处在于：在数据处理过程中不断保存中间状态，在某个时间点，把处理的数据位置和结果都保存下，防止数据丢失或重复计算。
[0028]
实施例四请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，分别统计时间窗口[08:10:00,08:10:30]、[08:10:01,08:10:31]、[08:10:02,08:10:32]，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成，门架交易量统计以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1；进一步地，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。
[0029]
进一步地，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易实施例五请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s4、路段交易量统计：路段在统计通行量时，需要做去重操作，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易，以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确；进一步地，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。
[0030]
实施例六请参阅图1所示，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，分别统计时间窗口[08:10:00,08:10:30]、[08:10:01,08:10:
31]、[08:10:02,08:10:32]，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成，以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个，以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。
[0031]
进一步地，每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。
[0032]
进一步地，车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易。
[0033]
该处的有益之处在于：采用流式计算+kv存储方式来实现解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题的需求，在数据处理过程中不断保存中间状态，在某个时间点，把处理的数据位置和结果都保存下，防止系统故障漏算或者重算导致的统计结果不准确，用较少的服务器完成功能。
[0034]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0035]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种基于流式计算实时分析门架交易数据方法，其特征在于：包括以下步骤：s1、消费kafka实时门架交易数据，按照门架进行分组；s2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；s3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；s4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；s5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。2.根据权利要求1所述的一种基于流式计算实时分析门架交易数据方法，其特征在于：门架交易量统计以小时统计为例，创建redis的key,value对，门架id和小时为key，流量为value，每消费一条门架交易，value加1。3.根据权利要求1所述的一种基于流式计算实时分析门架交易数据方法，其特征在于：路段交易量统计以路段按天统计为例，需要把临时按天把passid都保存下来，此时内存的容量不够，只能使用rocksdb库持久到盘上，在时间结束后，查出passid的数量就是路段的天流量，其次在统计结束后需将临时存储的数据清理。4.根据权利要求1所述的一种基于流式计算实时分析门架交易数据方法，其特征在于：每3个门架对应一个路段，3个门架分别标为g1、g2和g3，g1代2个收费单元i1、i2，g2代收3个收费单元，i1、i3、i4，g3代收4个收费单元i2、i5、i6、i7。5.根据权利要求1所述的一种基于流式计算实时分析门架交易数据方法，其特征在于：车辆通过一个门架生成一条门架交易，车辆在高速的一次通行有唯一的passid，一次通行会包含passid相同的多个门架交易。

技术总结

本发明公开了一种基于流式计算实时分析门架交易数据方法，包括消费kafka实时门架交易数据，按照门架进行分组；实时过车数据；门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；关于交易量的统计。本发明有益之处在于：采用流式计算+kv存储方式来实现解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题的需求，在数据处理过程中不断保存中间状态，在某个时间点，把处理的数据位置和结果都保存下，防止系统故障漏算或者重算导致的统计结果不准确，用较少的服务器完成功能。务器完成功能。务器完成功能。