分布式统计分析系统的配置方法及分布式统计分析系统

本发明涉及分布式统计分析系统技术领域，具体为分布式统计分析系统的配置方法及分布式统计分析系统。

分布式系统是一种由多个处理资源相互连接在一起的计算机系统。这些处理资源又可以称为节点设备，在统一的控制下来执行同一任务。如中国专利CN102497280就公开了一种分布式系统，其能够实现多个设备节点之间的相互感知。提高了管理效率。分布式系统通常需要具备统计分析的功能。申请号为2017101050317的一项中国专利公开了一种分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集，服务节点和计算节点集，所述方法包括：选举计算节点集中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；服务节点收到统计分析请求后，向领导节点申请计算节点。

但是目前的分布式统计系统中只通过自身内部的服务器设备进行分配统计分析任务，随着统计请求的任务逐渐增加，在统计分析任务繁重时，传统的分布式系统会花费较长的时间，并且，在数据传输时，对统计任务的安全难以实施。

为了解决上述的问题，本发明提供分布式统计分析系统的配置方法及分布式统计分析系统。

本发明提供了一种技术方案：一种分布式统计分析系统的配置方法，该配置方法包括以下步骤：

步骤一、选举计算节点集中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；

步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；

步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。

优选的，在步骤三中，服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。

优选的，所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。

优选的，所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。

优选的，所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。

优选的，所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。

本发明提供了另一种技术方案：一种分布式统计分析系统，其特征在于：包括集管理模块，用于选举计算节点集中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；加密模块，用于通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄；压缩模块，用于将加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩；流量告警模块，用于将服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。

与现有技术相比，本发明的有益效果是：本发明所述的分布式统计分析系统的配置方法及分布式统计分析系统，能够在统计分析任务繁重时，利用基于外部服务器的外部计算节点，进而大大提高分布式统计分析系统的运算能力，加速对数据的统计分析；并且，在对外部计算节点进行传输时，先进行明文加密，再压缩，能够保障统计任务的安全传输，同时缩减传输时的流量消耗，安全性能高。

图1为本发明所述的分布式统计分析系统的架构图；

图2为本发明所述的分布式统计分析系统的配置方法流程图。

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供以下技术方案：

一种分布式统计分析系统的配置方法，该配置方法包括以下步骤：

步骤一、选举计算节点集中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；

步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；

步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。

服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。

所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。

所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。

所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。

所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。

一种分布式统计分析系统，包括集管理模块，用于选举计算节点集中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；加密模块，用于通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄；压缩模块，用于将加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩；流量告警模块，用于将服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

虽然在上文中已经参考实施例对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。