一种用户行为的分布式实时动态监控方法及系统

一种用户行为的分布式实时动态监控方法及系统

技术领域

本发明涉及用户行为监控技术领域，尤其涉及一种用户行为的分布式实时动态监控方法。

背景技术

分布存储，会合处置的优缺点是，物理介质分布到不一样的地理方位；视频流就近上载，对骨干网带宽没有什么需要；可选用多套低端的小容量的存储设备分布布置，设备报价和维护本钱较低；小容量设备分布布置，对机房环境需要低。将各种类型的音视频信号进行独立的网络化、数字化编码、传输并进行解码显示，从根本上解决了传统方案的信号噪声干扰、远距离传输衰减、信号质量下降等技术难点；分布式、节点化的软硬件设计，使得系统性能和稳定性都大幅提高。让音频、视频、控制完全网络化，实现点对点的音视频与控制的互通，方便集中管理。

现有技术CN101990003B公开了一种基于IP地址属性的用户行为监控系统与方法，通过离线基础数据获取模块、在线数据实时分析模块、数据中心和分析模块四部分协同工作完成用户行为的监控。首先提出显著IP地址的概念，并采用主被动监控相结合的方法实现显著IP地址的获取。随后，提出将服务类型和地理位置作为IP地址的属性，并结合所筛选的显著IP地址构建IP地址属性信息库。采用多种行为图谱描述用户行为在时间和空间上的特征，在建立行为图谱的基础上，可以实现用户行为聚集性、关联性、相似性、周期性、迁移性等特征的分析，进一步了解网络用户的需求和访问特征。该对比文件通过集中获取用户行为信息并通过与IP地址绑定，能够根据IP地址总结用户行为规律分类，产生不同类别的用户行为数据。

CN106228388A公开了一种会员用户行为监控方法、装置及电子设备，包括：监测会员用户行为，获取会员用户行为信息；从所述会员用户行为信息中提取第一使用数据，所述第一使用数据为：同一天内所述会员用户使用多个不同的终端登录时的终端数量；获取与所述第一使用数据对应的第一权重系数，并将所述第一使用数据乘以所述第一权重系数得到第一特征值；将所述第一特征值与预设阈值进行比较，若所述第一特征值大于等于所述预设阈值，则对所述会员用户执行封禁操作。该装置通过采集到的用户行为信息进行处理并将数据与第一阈值进行对比，通过第一对比能够判断用户行为是否处于规范范围。

上述两个对比文件通过获取会员用户行为信息，并对数据进行处理，这样的行为建立在一个系统或装置之上，检测的范围有限，并且对存储和宽带的要求高，在使用时存在一定的延时性。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

针对现有技术之不足，本发明提供一种用户行为的分布式动态实时监控系统，包括：主节点和分节点。所述分节点用于对区域内用户行为进行检测。所述分节点包括行为预警模块和通讯模块。行为预警模块用于持续对用户的行为数据进行检测，当检测到用户的行为数据存在威胁时，向所述主节点发送主监控申请，当所述主节点响应所述主监控申请时，所述分节点与所述主节点进行数据通讯，由所述主节点对相应异常行为数据进行监控。

根据一种优选的实施方式，所述主节点将异常用户行为的行为类型、行为时间和行为次数、被监控页面等信息进行绑定标记后得到标签化的用户行为数据并分发到特定的储存该类型数据的分节点中进行储存。

根据一种优选的实施方式，所述主节点对监控数据进行分析并根据监控数据进行威胁分级预警，并将所述分级预警发送到发送主监控申请的分节点，所述分节点响应于接收到的分级预警对用户行为进行不同程度和方式的制止或干预。

根据一种优选的实施方式，所述分节点还包括数据清洗模块，各个不同的所述分节点设置有不同类型的数据清洗模块，所述数据清洗模块能够根据预设的数据清洗模型对分配到自身的监控数据进行清洗，以去除垃圾数据。

根据一种优选的实施方式，所述分节点包括线上数据库和线下临时缓冲库，所述线上数据库包括第一线上数据库和第二线上数据库，所述第一线上数据库上设置有数据监听元件，当数据监听模块监听到第一线上数据库中存储到数据包时，所述数据监听元件激活下载模块下载线上数据包到线下临时缓冲库中进行数据处理。

根据一种优选的实施方式，当所述主节点同时收到第一分节点发送的第一主监控申请和第二分节点发送的第二主监控申请时，所述主节点分别调用第一分节点和第二分节点的处理器占用数据，并相应于处理器占用大的分节点的主监控申请。

根据一种优选的实施方式，所述主节点还包括负载均衡模块，所述负载均衡模块按照均衡分配各处理器的方式将所述异常数据信息分配到非对应标签的分节点进行处理，并在处理完成后传输到特定的分节点进行储存。

根据一种优选的实施方式，所述分节点将同一IP地址、同一账户和同一设备的行为数据认定为同一用户行为。

根据一种优选的实施方式，所述主节点在空闲时对所述分节点进行随机轮检并将检查结果计入分节点质量检查表中，并在下一次需要将数据分发到非对应标签的分节点进行处理时排除该分节点。

根据一种优选的实施方式，分节点检测用户行为，当所述分节点检测到异常用户行为数据时，所述分节点向主节点发送主监控申请；所述主节点根据自身情况和主监控申请情况响应所述分节点的主监控申请；所述分节点将异常用户行为数据发送给所述主节点，并由所述主节点对所述用户异常行为继续进行监控。

本发明的有益技术效果：

第一，方便数据集中处理：通过彼此通信的分节点和主节点的设置，并且通过分节点进行不同标签类型的数据的存储，能够分散存储压力，并集中存储同一标签数据，在需要集中处理数据时不需要利用网络再次调用，甚至能够进行离线数据处理；

第二，将同一异常数据分别通过主节点和分节点进行处理和存储，能够降低处理器的要求，均分数据处理压力，提高系统的稳定性和包容性；并且提高了主节点的数据处理效率，增加主节点能够统筹的节点数量，扩大系统。

第三，通过数据清洗模块依据不同的数据标签对不同用户异常行为数据中的数据特征赋予不同的权重，并清洗掉权重较低的低价值数据。提高数据的有效性，提高存储空间的利用效率。

第四，上级管理部门例如卫健委对(核酸)检测单位的监督大多为事后监督，或者采用表格管理，最多限于视频远程监控。现有技术的各项措施都无法对每一次高风险操作进行评分，更无从管理高风险人员的高风险操作。由监控设备本身监控本地风险事件的局限性凸显于此。请求上级主管部门来进行监控涉及管理，也涉及技术问题，本发明的技术方案正是应用于此，以期达成可靠自动化监控系统。

具体实施方式

实施例1

在新冠疫情期间，需要对采集的样本进行PCR扩增判断是否包含病毒DNA，进而判断患者是否感染新冠肺炎病毒。PCR扩增主要使用的仪器为 PCR仪，PCR仪通过内部预先设置的标准升降温程序对构建好的扩增体系进行扩增。内部预先设置的标准升降温进程按DNA的标准扩增程序设定。例如，标准程序如下：首先升温到94-96℃预加热几十秒至几分钟，使模板 DNA充分变性；然后进入扩增循环。在每一个循环中，先于94℃保持30 秒钟使模板变性，然后将温度降到复性温度(一般50-60℃之间，根据引物的Tm值进行计算)，一般保持30秒钟，使引物与模板充分退火；在72℃保持1分钟(扩增1kb片段)，使引物在模板上延伸，合成DNA，完成一个循环。重复这样的循环25～35次，使扩增的DNA片段大量累积。最后，在 72℃保持3-7min，使产物延伸完整，4℃保存。当待扩增的片段和引物确定时，扩增程序能够是确定的，在一定范围内的，当程序超出该范围时，扩增的过程可能会出现错误，使得扩增出与目标片段大小不同的条带。例如缩短退火时间会使得片段的扩增不完全，使得扩增出的目标片段的长度变短，进而使得最后检测时未发现与病毒的DNA片段长度相同的片段，导致结果误判，将阳性的样本判断为阴性等，将造成重大影响。因此，在实际的扩增过程中，需要时时对PCR的扩增过程和检测中的一些异常行为进行实时监控，以确保检测结果的准确性，防止恶意篡改程序，破坏防疫等行为造成巨大社会危害。本发明提供一种用户行为的分布式动态实时监控系统，包括：主节点和若干分节点。若干分节点与主节点数据连接。主节点接入更高安全等级的数据网络，分节点接入不同于主节点的专用数据网络。这两个数据网络分处于彼此不同的防火墙之后，具有彼此各异的网络架构。

分节点用于对区域内用户行为进行监测。本发明的监测内容不同于现有技术，其例如可以至少包括用户行为时间、被监控系统、被监控模块、被监控页面以及业务标签等。现有技术的监控通常仅限于设备状态或者用户本身，不存在业务标签的监控管理。分节点包括行为预警模块和通讯模块。行为预警模块用于持续对用户的行为数据进行检测，当检测到用户的行为数据存在威胁时(尤其是涉及某些特殊业务标签的情况下)，分节点按照无需提示用户的方式自行确认向所述主节点发送主监控申请。

优选地，分节点的行为预警模块判断行为是否存在威胁异常的方法例如可以是将得到的用户行为特征数据输入预先训练完成的及其学习模型中计算得出。主节点根据自身情况和收到的主监控申请情况确定是否响应该主监控申请。当主节点响应该主监控申请时，分节点与主节点进行数据通讯，分节点将已检测到的数据传输给主节点，并由主节点对相应异常行为继续进行监控。

优选地，主节点和分节点的数据传输方式可以是通过WiFi网络或 ZigBee网络等无线通信网络或有线通信网络。通过这样的设置方式，能够首先由分节点进行不同分区域的用户行为监控，并将正常数据储存在分节点的本地数据库中。当分节点检测到异常数据时，能够发送到主节点进行重点监控，以使得分节点能够将重要的数据信息传递到主节点，从而主节点通过对分节点的统筹和管理能够在低配置的条件下对所有区域内的用户行为信息进行监控和处理，便于集中管理。例如，主节点可以被实施为卫健委或其他具有监测权限和资质的监测机构的系统。分节点可以是各具有核酸检测资质的检测机构的区域监测系统等。分节点和主节点通过有线或无线的方式信号连接，分节点对本地的PCR检测过程的各项参数进行检测，参数例如可以是： PCR程序、PCR仪的升温降温性能和PCR仪器的使用年限等。各具有核酸检测资质的检测机构的系统能够对本分节点的各PCR仪器进行监控，并将正常的监控数据存入到自身的分节点存储器中。监控的方法例如可以是系统能够实时调取PCR仪的运行程序，可以是通过图像监控的方式获取或是通过网络数据调取的方式获悉PCR仪程序正在运行的程序。当程序出现异常情况，例如，当程序中变性-延伸-退火阶段的温度超出系统预设的范围时；或程序最终的保藏温度设置为4℃时，向主节点即卫健委发送主监控请求，请求主节点对该行为进行重点监控。当PCR仪的保藏温度最终设置在4℃时间过长时，仪器会产生水汽，水汽在金属升温板聚集，会渗透到PCR仪器的内部设备中，造成仪器损伤，十分不利于仪器保养，容易降低仪器性能，影响实验结果。卫健委能够快速获知异常行为情况，并对异常行为进行分类、制止和记录，及时督促分节点进行重新采样和程序修正，并在必要时取消分节点的检测资质，以对各检测机构实施实时动态全面监控，确保检测进程的标准性和检测结果的准确性，避免检测结构遭受恶意篡改或程序性错误。

根据一种优选的实施方式，主节点收集异常行为的用户的行为类型、行为时间和行为次数、被监控页面等信息进行绑定标记后得到标签化的行为数据。优选地，分节点在本地数据库中储存用户异常行为的次数和标签，并在该用户再次产生异常行为的情况下将该用户出现异常行为的类型和次数数据一同发送给主节点。主节点依据用户本次出现的异常行为的数据为用户建立类型标签，并根据用户的行为次数建立次数标签。主节点建立类型标签的方式能够增加主节点的参与度，避免一些分节点绕开主节点或主节点意外忽略异常情况的发生，保证主节点掌握每一个异常情况；并且能够使得对整个系统内的分节点使用相同的标准，避免分节点之间存在不同的划分标准，保证监控系统的公平性。建立类型标签的方法例如可以是：将一个或几个与标签关联的数据或信息写入标签，建立标签体系，也包括业务标签体系；例如可以是写入PCR扩增程序遭受更改的数据或是写入PCR程序结束后的保持温度过高或过低或在同一温度保持时间过长等异常数据到程序异常标签中；写入PCR仪使用超限或升温降温实际温度与程序不匹配等到PCR仪器异常标签中；写入PCR监测数据无法读取或PCR仪失去数据网络连接等到数据传输异常的标签中。将各类异常情况归类并建立一个完善的标签体系，利用标签体系标识数据特征，将数据进行结构化分析，使得处理规则规范化，以便后续分节点数据清洗模块分类进行数据清洗。依据数据信息比对标签体系数据特征，确认现有数据类型标签，并将用户本次异常行为数据打包发送到储存该标签类数据的分节点进行储存。优选地，主节点将本次用户异常行为数据的标签发送给检测到该异常数据的分节点进行储存。通过标签统一储存用户异常信息，能够便于数据打包和分类，以方便下一次调用。根据一种优选的实施方式，主节点对用户本次的异常行为数据进行标签化分析，并根据分节点发送的该用户的历史异常行为标签在对应的储存库中调用该用户的历史异常行为数据。通过本次异常行为数据和历史异常行为数据的结合对用户的异常行为数据进行威胁分级预警。预警分级例如可以分为低风险、中风险、高风险等。分级预警的方法例如可以是建立分级预警认定表。分级预警认定表的内容包括异常行为类型标签和次数标签，不同类型标签对应不同分值，不同次数标签按次数增加分别按类型标签的分值的百分比增加。例如，仪器异常标签的数值可以是四十分，仪器异常标签的次数标签可以是仪器异常标签的分值的30％，依据次数累加到标签数值上。当用户出现一次仪器异常时分级预警的分值为五十二分，用户出现两次仪器异常时分级预警的分值为六十四分。再例如，程序异常的数值可以是六十分，程序异常的次数标签可以是程序异常标签的分值的40％，当用户程序异常一次时分级预警的分值为八十四分，当用户程序异常两次时分级预警的分值为一百零八分。主节点根据分级预警对应的分值对相应异常行为数据进行分级判定。例如可以是低于六十分为低风险、大于等于六十分小于八十分为中风险、大于等于八十分为高风险。优选地，分级预警的加成分数还可以包括造成的结果或检测数量、错误时长等内容。例如，给予扩增程序结束后仪器在4℃保持了1h的行为和扩增程序结束后仪器在4℃保持了2h的行为不同的评分，以对错误程度不同的相同行为进行不同的惩罚，加大对错误程度更高的行为的惩罚力度，使得惩罚更加合理和人性化。通过这样的设置方式，能够对不同用户的相同异常行为结合细化的异常程度进行不同的分数计算，以将进行异常行为的用户进行分层惩罚，使得系统更加精准和人性。

根据一种优选的实施方式，主节点对分节点的异常行为和分级预警情况进行简单记录并存储在自身的储存装置中而不能与分节点进行这类数据的交流。这样的设置方式能够对多个分节点的检测质量进行保留和评估，为下一次类似的任务分配提供数据参考，以激励提高分节点的检测质量。

根据一种优选的实施方式，主节点将分级预警反馈到发送主监控申请的分节点，该分节点响应于接收到的分级预警对用户行为进行不同程度和方式的制止或干涉。例如，当用户的异常行为被判断为低风险时，对用户进行行为限制，例如限制检测数量并强制修正等。当用户的异常行为被判断为中风险时，对用户的行为进行主动终止检测或强制修正等控制。当用户的异常行为被判断为高风险时，对用户进行取消检测资质等惩罚。优选地，分节点根据自身数据库中储存的用户的异常行为标签和次数信息对用户当次行为在同一预警等级内进行不同程度的制止或干涉。例如，当用户的行为被判断为低风险且为数据库中首次出现时对用户进行强制修正，强制修正影响结果时停止检测；当用户的行为被判断为低风险且数据库中多次出现时对用户进行检测数量的限制。通过这样的设置方式，能够对不同异常行为的用户起到合理程度的警示和惩罚作用，以循序渐进规范用户行为。

根据一种优选的实施方式，主节点包括高风险名单。当主节点检测到异常数据时，调取正在进行扩增的样品信息加入分节点标签并存入高风险名单。主节点对存在于高风险名单中的样品督促进行重新采样。督促的方式例如是通过短信或邮箱等方式提示高风险名单中的被采样者到另一分节点进行重新采样；或是通过短信或邮箱等方式提示重新采样并将采集后的样本重新分配到另一分节点进行检测；或是对该样本采取其他检测方式进行确认等。优选地，主节点对高风险名单中的样本信息建立次数标签，对于多次出现在高风险名单中的样本进行风险预警。对风险预警分数较高的人员采取线下管制，限制出行，进行居家隔离并每隔三天进行一次自费核酸检测等惩罚。确保对意图通过修改程序修改核酸检测结果的行为和人员进行重点监控和惩罚，确保核酸检测结果的准确性，避免由于程序性错误导致错误误判，使得漏检阳性样本导致病毒意外扩散的情况发生。

根据一种优选的实施方式，分节点将同一检测实验室、同一检测机构和同一区域的检测机构的行为数据认定为同一用户行为。当分节点检测到异常用户行为并将其通讯传递给主节点时，分节点依据同一检测实验室、同一检测机构和同一区域的检测机构在自身数据库中检索同一用户的其余异常行为信息，并将其发送给主节点，以供主节点分析。通过这样的设置方式，能够增强同一区域内各分节点的互相监测和督促。

根据一种优选的实施方式，分节点还包括数据清洗模块。各个不同的分节点用于储存不同类型的用户数据。优选地，各个不同的分节点设置有不同类型的数据清洗模块。数据清洗模块能够根据数据的标签不同确定不同的数据信息的权重，并根据预设的数据清洗模型对分配到自身的异常行为数据进行清洗，将权重低于阈值的数据筛除，将剩下的数据进行打包存储，以去除垃圾数据，降低数据内存占用。优选地，数据清洗模块对数据进行数据预处理和数据清洗。数据预处理为对数据文本进行去重、去噪、异常值处理及缺失值处理。优选地，数据清洗包括对预处理后的数据提取数据特征值，例如行为类型、行为时长和预警分级情况等，赋予不同的数据特征值不同的权重。不同的数据清洗模型赋予相同的数据特征值不同的权重，并分别将权重最低的多个低价值数据特征删除，例如可以是权重最低的1-3个数据特征。例如，程序错误的标签数据中权重较低的数据特征可能是仪器使用年限，而权重较高的数据特征是程序数据。而仪器异常的标签数据中程序数据则为权重较低的数据特征。通过分类的清洗，能够记录储存重要数据，延长重要数据的储存时长，提高储存空间的有效利用率。

根据一种优选的实施方式，分节点包括线上数据库和线下临时缓冲库。线上数据库包括第一线上数据库和第二线上数据库。第一线上数据库上设置有数据监听元件。主节点将标签化的打包数据发送到分节点，分节点接收并储存到第一线上数据库中。当数据监听模块监听到第一线上数据库中存储到数据包时，数据监听元件激活下载模块下载线上数据包到线下临时缓冲库中进行数据处理。通过这样的设置方式，可以对数据进行离线处理，处理过程中不需要占用网络资源，并且在一些特殊情况下例如网络连接不稳定的情况下不会出现数据处理错误的情况。分节点将数据处理完成后发送到第二线上数据库中进行储存。

根据一种优选的实施方式，当主节点同时收到第一分节点发送的第一主监控申请和第二分节点发送的第二主监控申请时，主节点分别调用第一分节点和第二分节点的处理器占用数据，并响应于处理器占用大的分节点的主监控申请。通过这样的处理方式，使得主节点能够在任务冲突时首先分担处理器占用大的分节点的压力，以首先响应该分节点的主监控申请，并首先对其的异常行为数据信息进行采集和分析，并在标签和分级结束后再按照时间顺序相应后续主监控申请。

根据一种优选的实施方式，在一定时间内未被响应的分节点将收集到的异常数据信息打包进行无用数据筛选后与自身数据库进行比对，在与自身的数据库内的数据类型匹配成功时初步确认数据标签并临时储存于自身数据库中。当收集到的异常数据信息不能与自身的数据库内的数据类型匹配成功时，分节点将数据信息发送到其余分节点的数据库进行比对，以此类推，初步确定当前数据标签。当主节点响应于该分节点的主监控申请时，分节点将预测的数据标签和收集到的数据发送给主节点，主节点根据现有的数据标签确认数据信息并根据数据信息进行威胁分级。通过这样的设置方式，使得分节点能够在主节点出现控制冲突时通过其余方式为主节点分担工作负担，以提高主节点的工作效率和系统的使用灵活性。

根据一种优选的实施方式，主节点还包括负载均衡模块。负载均衡模块按照均衡分配各处理器的方式将所述异常数据信息分配到非对应标签的分节点进行处理。优选地，负载均衡模块在接收到异常数据信息的情况下，调用空闲分节点的处理器占用情况，并在主节点判断数据标签后将数据传输到空闲的分节点中处理器占用最低的分节点进行数据处理。该分节点依据数据标签向相应标签的分节点中复制预设调用函数并将其写入自身的程序中，依据该程序对相应的数据包进行处理后发送到对应数据标签的分节点的第二线上数据库中储存。通过这样的设置方式，使得在某分节点的处理器占用过高的情况下将任务分担给其余空闲或占用较低的处理器进行处理，以均衡系统的负载，增强系统的数据处理能力和抗压性能。

根据一种优选的实施方式，主节点设置为一段时间内对分节点的正常数据进行随机轮检。主节点依据随机函数随机抽取特定的分节点进行轮检，分节点依据随机函数随机抽取储存的用户正常行为数据发送给主节点。主节点对分节点判断正常的用户正常行为数据赋予标签和分级预警。当主节点不能对数据赋予标签时，判断该分节点判断正确。并将该判断结果写入分节点质量检查表中，根据质量检查表数据对判断错误次数较多的分节点进行重点抽检，并在需要将数据分发到非对应标签的分节点进行处理时排除该判断错误次数较多的分节点。并从其余分节点处复制相应的监控和判断程序写入当前分节点中以替换现有分节点的程序。这样的设置方式能够保证分节点的检测质量，对分节点的正常检测行为进行监督和抽查，避免分节点漏查。优选地，分节点的程序来自于主节点的分发，主节点在一段时间内对分节点的程序进行检查，判断分节点的监测程序和数据分类程序是否有异常，以避免有人恶意篡改监控程序。从而保证分节点的检测质量，实现主节点对区域内用户行为的精准监控和处理。

实施例2

本实施例提供一种用户行为的分布式动态实时监控方法。当分节点检测到异常用户行为数据时，分节点向主节点发送主监控申请。主节点根据自身情况和主监控申请情况响应分节点的主监控申请。分节点将异常用户行为数据发送给主节点。主节点为用户行为数据赋予标签并进行分级预警。主节点将分级预警信息反馈给分节点，分节点依据分级预警信息对相应用户行为进行不同程度的干预和制止。主节点将带有标签的用户行为数据发送到储存特定标签的分节点进行集中储存。

优选地，当主节点同时受到第一分节点发送的第一主监控申请和第二分节点发送的第二主监控申请时，主节点调取第一分节点和第二分节点的内存占用信息，并优先相应内存占用大的分节点的主监控申请。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。