1.本发明涉及网络安全技术领域,尤其涉及一种检测方法和系统,及存储介质。
背景技术:
2.失陷
主机检测是指通过检测主机的网络流量和日志等信息,从中发现感染木马病毒的主机,即失陷主机;进而及时清除安全隐患以确保主机的安全。
3.在现有技术中,主要是通过对主机的相关数据与威胁情报库进行对比,发现存在风险的主机,进而对存在风险的主机进行风险排查,确定造成失陷的问题;因此,基于现有的检测方法,仅能根据威胁情报库对已知的风险进行检测,无法检测未知的风险行为,会造成漏报的问题;同时由于检测的主机数量较大,现有的检测方法误报率较高;也无法对失陷主机进行有效分析,导致对失陷主机的处置效率较低。
技术实现要素:
4.本技术实施例提供了一种检测方法和系统,及存储介质,能够降低对失陷主机的漏报率和误报率,并且有效提升对失陷主机的处置效率。
5.本技术实施例的技术方案是这样实现的:
6.第一方面,本技术实施例提供了一种检测方法,
所述方法包括:
7.获取主机的日志信息;
8.基于威胁情报库和第一分析
模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;
9.基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。
10.第二方面,本技术实施例提供了一种检测系统,所述检测系统包括获取单元和分析单元,
11.所述获取单元,用于获取主机的日志信息;
12.所述分析单元,用于基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;以及基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。
13.第三方面,本技术实施例提供了一种检测系统,所述检测系统还包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如上所述的检测方法。
14.第四方面,本技术实施例提供了一种计算机可读存储介质,其上存储有程序,应用于检测系统中,所述程序被处理器执行时,实现如上所述的检测方法。
15.本技术实施例提供了一种检测方法和系统,及存储介质,检测系统获取主机的日志信息;基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷
结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证;由此可见,本技术除了利用威胁情报库获得已知风险以外,还可以利用第一分析模型对未知风险进行检测,由此利用威胁情报库和第一分析模型获得了主机的初始失陷结果;进而再利用第二分析模型对初始失陷结果进行分析处理,相当于对初始失陷结果进行了验证,并最终获得目标失陷结果,从而能够降低对失陷主机的漏报率和误报率,进而有效提升对失陷主机的处置效率。
附图说明
16.图1为本技术实施例提出的检测方法的实现流程示意图一;
17.图2为本技术实施例提出的检测方法的实现流程示意图二;
18.图3为本技术实施例提出的检测方法的实现流程示意图三;
19.图4为本技术实施例提出的检测方法的实现流程示意图四;
20.图5为本技术实施例提出的检测方法的实现流程示意图五;
21.图6为本技术实施例提出的检测方法的实现流程示意图六;
22.图7为本技术实施例提出的检测方法的实现流程示意图七;
23.图8为本技术实施例提出的检测方法的实现示意图;
24.图9为本技术实施例提出的检测系统的组成结构示意图一;
25.图10为本技术实施例提出的检测系统的组成结构示意图二。
具体实施方式
26.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
27.在相关技术中,主要通过将日志的相关信息匹配威胁情报库,确认主机是否失陷,该方法虽然支持海量数据的检测,但是无法发现情报库中未知的风险主机;并且,检测结果完全依赖于威胁情报库中情报质量,容易发生漏报和误报,同时也无法对失陷主机进行有效分析,导致对失陷主机的处置效率较低。
28.为了解决现有技术中检测方法所存在的问题,本技术实施例提供了一种检测方法和系统,及存储介质,检测系统获取主机的日志信息;基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证,能够降低对失陷主机的漏报率和误报率,并且有效提升对失陷主机的处置效率。
29.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
30.实施例一
31.本技术实施例提供了一种检测方法,图1为本技术实施例提出的检测方法的实现流程示意图一,如图1所示,检测系统检测失陷主机的方法可以包括以下步骤:
32.步骤101、获取主机的日志信息。
33.在本技术的实施例中,检测系统在检测失陷主机时,可以先获取主机的日志信息。
34.需要说明的是,在本技术的实施例中,日志信息可以包括多种类型的日志,例如域名系统(domain name system,dns)日志,netflow日志等。
35.进一步地,在本技术的实施例中,可以建立文件存储系统,从而利用文件存储系统对海量的日志信息进行存储,文件存储系统可以采用分布式文件系统(hadoop distributed file system,hdfs);其中,文件存储系统可以通过预设端口接收不同类型的日志信息,例如,预设端口可以包括文件传输协议(file transfer protocol,ftp)端口和用户数据报协议(user datagram protocol,udp)端口,从而利用ftp端口接收dns日志,利用udp端口接收netflow日志;其中,在利用udp端口接收netflow日志时,还可以设置解析工具,将udp端口接收的netflow流量进行解析后,将经过解析后获得的netflow日志存储至文件存储系统。
36.步骤102、基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测。
37.在本技术的实施例中,在检测系统获取主机的日志信息之后,检测系统可以基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测。
38.需要说明的是,在本技术的实施例中,基于威胁情报库对日志信息进行分析处理,是指利用威胁情报库,分别匹配日志信息中的域名和网络之间互连的协议(internet protocol,ip)字段,从而命中可疑的失陷主机;也就是说,威胁情报库能够用于提供已知的风险行为,从而利用威胁情报库对日志信息进行分析与检测,确定失陷主机。
39.进一步地,在本技术的实施例中,第一分析模型是指用于分析和检测未知风险的模型;第一分析模型是与日志信息相对应的,也就是说,第一分析模型用于对与之对应的日志信息进行分析处理,从而检测出未知风险,确定失陷主机。
40.示例性的,在本技术的实施例中,对于dns日志,第一分析模型可以为能够对dns日志进行检测的模型,例如第一分析模型可以为长短期记忆人工神经网络(long short-term memory,lstm),具体地,可以先利用dga家族
规则对dns日志中的域名进行筛选,进而利用lstm模型对筛选后的疑似dga家族规则的域名进行识别,将识别后的域名与dns日志进行关联,统计出每个请求ip访问疑似dga域名的去重个数n,进而将n与预设数值范围进行对比,当n符合预设数值范围时,则可以确定为失陷主机,从而输出请求ip;也就是说,当日志信息为dns日志时,可以利用lstm模型与dga家族规则结合的方式,确定失陷主机。
41.示例性的,在本技术的实施例中,对于netflow日志,第一分析模型可以为能够对netflow日志进行检测的模型,例如扫描类攻击识别模型,包括扫描连续ip的攻击识别模型、基于收发比的扫描攻击识别模型、多个连续ip集中扫描识别模型、扫描固定入侵端口识别模型等;还可以是垃圾邮件识别模型,例如对固定目的ip的垃圾邮件攻击识别模型。
42.进一步地,在本技术的实施例中,在基于威胁情报库和第一分析模型对日志信息进行分析处理,获得所述主机的初始失陷结果之前,还可以先对初始第一分析模型进行训练处理,从而经过训练处理后,获得能够直接用于使用的第一分析模型。
43.可以理解的是,在本技术的实施例中,在基于威胁情报库对日志信息进行分析处
理的基础上,可以通过检测已知风险行为的方式确定一类失陷主机;同时再利用第一分析模型对日志信息进行分析处理,就可以通过检测未知风险行为的方式确定另一类失陷主机,即能够检测出基于威胁情报库所不能检测到的未知风险行为;从而将这两类失陷主机共同作为初始失陷结果,能够有效降低对失陷主机检测的漏报率。
44.步骤103、基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证。
45.在本技术的实施例中,在检测系统基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果之后,可以基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证。
46.需要说明的是,在本技术的实施例中,第二分析模型用于对失陷结果进行验证,也就是说,在获取了初始失陷结果以后,可以利用第二分析模型对初始失陷结果进行验证,从而降低对失陷主机的误报率。
47.进一步地,在本技术的实施例中,在经过第二分析模型对初始失陷结果进行分析处理以后,就可以获得目标失陷结果,目标失陷结果不仅可以确定失陷主机,还可以确定失陷主机的失陷原因,从而可以基于失陷原因直接对失陷主机进行处置和维护,有效提升对失陷主机的处置效率。
48.进一步地,在本技术的实施例中,第二分析模型包括失陷匹配规则表和预设计算模型;其中,失陷匹配规则表包括约简后的行为决策表和预设威胁分类;预设计算模型可以为d-s证据理论。
49.进一步地,在本技术的实施例中,在d-s证据理论中,给定u表示x的所有可能取值的一个论域集合,且u内的元素是互不相容的,则称u为x的识别框架。设u为一识别框架,则函数m:2u
→
[0,1]在满足m(φ)=0,时:称m(a)为a的基本概率赋值,m(a)表示对命题a的信任度;进一步地,如下公式(1)所示,bel(a)是u上的信任函数,表示对命题a的信任程度。
[0050][0051]
此外,如下公式(2)所示,pl(a)称为似真函数,表示对命题a非假的信任程度,即对a似乎可能成立的不确定性的度量。
[0052][0053]
进一步地,[bel(a),pl(a)]称为焦元a的信任度区间,pl(a)-bel(a)描述了a的不确定性,称为焦元a的不确定度。pl(a)为证据理论定义上的上概率度量,bel(a)对应于下概率度量。对于同样的证据,由于来源不同,会得到不同的概率分配函数,证据理论提出用正交和来组合这些函数。设bel1和bel2是同一识别框架u上的两个信任函数,m1和m2分别是对应的基本概率赋值,焦元分别为a1,a2,
…
ak和b1,b2,
…
br,又设时,如下公式(3)所示:
[0054][0055]
其中,,m(e)为联合概率分配。若k≠1,则m确定一个基本概率赋值;若k=1,则认为m1,m2矛盾,不能对基本概率赋值进行组合,上述证据组合规则称为d-s组合规则。
[0056]
具体地,在本技术的实施例中,基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果,包括两种计算过程,一种计算过程是同时利用第二分析模型中的失陷匹配规则表和预设计算模型获得目标失陷结果,另一种是直接根据第二分析模型中的失陷匹配规则表获得目标失陷结果。
[0057]
图2为本技术实施例提出的检测方法的实现流程示意图二,如图2所示,检测系统基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果之前,即步骤103之前,检测系统检测失陷主机的方法还可以包括以下步骤:
[0058]
步骤104、根据历史数据集获取失陷主机的行为特征数据。
[0059]
在本技术的实施例中,检测系统基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果之前,还可以根据历史数据集获取失陷主机的行为特征数据。
[0060]
需要说明的是,在本技术的实施例中,历史数据集中可以包括已验证数据集和木马沙箱运行数据集,其中,已验证数据集中包括已经过验证的失陷主机的数据,木马沙箱数据集中包括这些失陷主机的病毒信息或风险行为等数据。
[0061]
可以理解的是,在本技术的实施例中,根据历史数据获得的失陷主机的行为特征数据可以体现失陷主机的行为特征。
[0062]
进一步地,在本技术的实施例中,可以将失陷主机的行为特征数据以列表的形式呈现。
[0063]
示例性的,在本技术的实施例中,失陷主机的行为特征数据以如下表1的形式呈现:
[0064]
表1
[0065]
[0066][0067]
进一步地,在本技术的实施例中,还可以对失陷主机的行为决策表中的每个预设异常行为特征进行数值判定处理;示例性的,如上述表1中的c1特征,若失陷主机存在高cpu,即大于70%进程的情况,则在c1特征后标注1,即符合该特征,若失陷主机不存在高cpu的情况,则标注0;标注的方式本技术不做具体限制。
[0068]
步骤105、基于行为特征数据确定失陷主机的行为决策表。
[0069]
在本技术的实施例中,在检测系统根据历史数据集获取失陷主机的行为特征数据之后,可以基于行为特征数据确定失陷主机的行为决策表。
[0070]
需要说明的是,在本技术的实施例中,失陷主机的行为决策表是基于行为特征数
据确定的,失陷主机的行为决策表中除了可以包括上述c1~c18的特征以外,还可以包括决策信息,决策信息可以为“主机是否失陷”。
[0071]
示例性的,在本技术的实施例中,失陷主机的行为决策表可以以如下表2的形式呈现:
[0072]
表2
[0073][0074]
其中,左侧1,2
……
是由c1~c18可能组成的不同的规则;c1~c18即为前述示例中的行为特征;d为决策信息;当d为1时,表示主机失陷,为0时,则代表主机未失陷。
[0075]
步骤106、根据行为决策表获得第二分析模型。
[0076]
在本技术的实施例中,在检测系统基于行为特征数据确定失陷主机的行为决策表之后,可以根据行为决策表获得第二分析模型。
[0077]
需要说明的是,在本技术的实施例中,第二分析模型可以根据行为决策表获得;具体地,可以先对行为决策表进行约简处理,获得约简后的行为决策表;然后根据约简后的行为决策表和预设威胁分类确定失陷匹配规则表;最后基于失陷匹配规则表和预设计算模型获得第二分析模型。
[0078]
图3为本技术实施例提出的检测方法的实现流程示意图三,如图3所示,检测系统根据行为决策表获得第二分析模型的方法,即步骤106提出的方法可以包括以下步骤:
[0079]
步骤106a、对行为决策表进行约简处理,获得约简后的行为决策表。
[0080]
在本技术的实施例中,检测系统根据行为决策表获得第二分析模型,具体地,检测系统可以先对行为决策表进行约简处理,获得约简后的行为决策表。
[0081]
需要说明的是,在本技术的实施例中,约简处理是针对行为决策表进行的,其目的是删除冗余的特征行为,确保约简后的所有特征行为均与主机失陷相关。
[0082]
示例性的,在本技术的实施例中,行为决策表有c1~c18,共18个行为特征,但是这18个行为特征中可能有些行为特征是无效的,并不会导致主机失陷,因此,可以删除这些行为特征;例如,c1~c18中有九个行为特征是无效的,则可以删除这九个行为特征,由此根据剩下的另外九个行为特征建立的行为决策表即为约简后的行为决策表。
[0083]
示例性的,在本技术的实施例中,约简后的行为决策表可以如表3所示:
[0084]
表3
[0085]
[0086]
其中,ε1~ε9即为约简后的行为特征。
[0087]
步骤106b、根据约简后的行为决策表和预设威胁分类确定失陷匹配规则表;其中,失陷匹配规则表用于确定每一个规则中的预设威胁分类的发生概率和每一个规则对应的失陷信任度。
[0088]
在本技术的实施例中,检测系统对行为决策表进行约简处理,获得约简后的行为决策表之后,可以根据约简后的行为决策表和预设威胁分类确定失陷匹配规则表;其中,失陷匹配规则表用于确定每一个规则中的预设威胁分类的发生概率和每一个规则对应的失陷信任度。
[0089]
需要说明的是,在本技术的实施例中,预设威胁分类可以是从威胁情报库中提取的,预设威胁分类可以作为决策信息,从而将约简后的行为决策表中的信息归类于预设威胁分类中,由此创建失陷匹配规则表。
[0090]
示例性的,在本技术的实施例中,预设威胁分类可以包括挖矿类d1、分布式拒绝服务攻击(distributed denial of service attack,ddos)类d2,蠕虫扫描类d3、类d4以及后门类d5。
[0091]
进一步地,在本技术的实施例中,失陷匹配规则表的创建过程可以是对约简后的行为决策表进行扫描,获得所有对应的失陷主机的记录,从而根据所有失陷主机的记录进行统计,构建失陷匹配规则表。
[0092]
可以理解的是,在本技术的实施例中,由于失陷匹配规则表是对约简后的行为决策表进行扫描,统计所有失陷主机的记录构成的;因此,失陷匹配规则表能够反映出在每一个规则下,预设威胁分类的发生概率和每一个规则对应的失陷信任度。
[0093]
示例性的,在本技术的实施例中,失陷匹配规则表可以为如下表4:
[0094]
表4
[0095][0096]
其中,基于不同的规则,预设威胁分类可以表现为不同的发生概率,同时,失陷信任度也可以不同;例如表4中所示的,若满足规则1,则可以认为主机被d2感染的概率为41%,主机被d3感染的概率为59%;同时,当满足规则1时,主机可以被确定为失陷的概率为70%。
[0097]
可以理解的是,在本技术的实施例中,上述表4中的预设威胁分类的发生概率和失陷信任度的数值结果是对约简后的行为决策表进行扫描,通过统计所有失陷主机的记录获得的;示例性的,以上述表4中的数值为例,经过扫描和统计后,在满足规则1的所有主机中,感染了d2的失陷主机与所有满足规则1的主机的比值为41%;感染了d3的失陷主机与所有满足规则1的主机的比值为59%;并且满足规则1的失陷主机占满足规则1的所有主机的
70%。
[0098]
步骤106c、基于失陷匹配规则表和预设计算模型获得第二分析模型。
[0099]
在本技术的实施例中,在检测系统根据约简后的行为决策表和预设威胁分类确定失陷匹配规则表之后,可以基于失陷匹配规则表和预设计算模型获得第二分析模型。
[0100]
需要说明的是,在本技术的实施例中,预设计算模型可以为d-s证据理论,也就是说,可以基于失陷匹配规则表和d-s证据理论确定第二分析模型。
[0101]
图4本技术实施例提出的检测方法的实现流程示意图四,如图4所示,检测系统基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果的方法,即步骤103提出的方法可以包括以下步骤:
[0102]
步骤103a、获取初始失陷结果中的行为特征。
[0103]
在本技术的实施例中,检测系统基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果的方法,具体地,检测系统可以先获取初始失陷结果中的行为特征。
[0104]
可以理解的是,在本技术的实施例中,由于初始失陷结果中包括疑似失陷的主机,因此,从初始失陷结果中获取的行为特征即为疑似失陷主机的行为特征,从而依据这些行为特征进一步对初始失陷结果进行验证。
[0105]
步骤103b、根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果。
[0106]
本技术的实施例中,在检测系统获取初始失陷结果中的行为特征之后,可以根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果。
[0107]
需要说明的是,本技术的实施例中,可以利用初始失陷结果的行为特征与第二分析模型进行匹配处理,具体地,可以包括两种计算过程,其中一种是,若行为特征符合失陷匹配规则表中的至少两个规则,则根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果;进而基于预设计算模型对规则匹配结果进行计算处理,获得目标失陷结果;另一种是,若行为特征符合失陷匹配规则表中的一个规则,则根据行为特征和失陷匹配规则表获得目标失陷结果。
[0108]
图5为本技术实施例提出的检测方法的实现流程示意图五,如图5所示,若行为特征符合失陷匹配规则表中的至少两个规则,则根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果的方法,即步骤103b提出的方法可以包括以下步骤:
[0109]
步骤103b1、根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果。
[0110]
在本技术的实施例中,若行为特征符合失陷匹配规则表中的至少两个规则,则检测系统根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果,具体地,检测系统根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果。
[0111]
需要说明的是,在本技术的实施例中,若行为特征符合失陷匹配规则表中的至少两个规则,则需要通过结合失陷匹配规则表和预设计算模型来获取目标失陷结果;首先,利用行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果。
[0112]
进一步地,在本技术的实施例中,规则匹配结果是指将行为特征与失陷匹配规则表进行匹配之后,针对行为特征发生在预设威胁分类下的概率的整理结果。
[0113]
示例性的,在本技术的实施例中,行为特征符合失陷匹配规则表中的两个规则,以如下表5所示:
[0114]
表5
[0115][0116][0117]
其中,a和b即为行为特征所符合的规则,基于不同的规则,基于a规则,主机被认为是失陷的失陷信任度为0.75,感染d1的概率为0.5,感染d3的概率为0.5;基于b规则,主机被认为是失陷的失陷信任度为0.95,感染d1的概率为0.3,感染d2的概率为0.15,感染d4的概率为0.55.
[0118]
进一步地,若行为特征符合失陷匹配规则表中的两个规则,则根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果;示例性的,规则匹配结果可以如下表6所示:
[0119]
表6
[0120][0121]
其中,该结果是由表5中的预设威胁分类的发生概率与失陷信任度的乘积,例如,基于规则a,将表5中d1的发生概率与失陷信任度进行乘法运算,即0.5
×
0.75=0.375,从而得到表6中d1的失陷信任度为0.375;φ为无法确认主机是否失陷的信任度。
[0122]
步骤103b2、基于预设计算模型对规则匹配结果进行计算处理,获得目标失陷结果。
[0123]
在本技术的实施例中,在检测系统根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果之后,可以基于预设计算模型对规则匹配结果进行计算处理,获得目标失陷结果。
[0124]
需要说明的是,在本技术的实施例中,预设计算模型可以为d-s证据理论,在获取了行为特征对应的规则匹配结果之后,可以基于d-s证据理论对规则匹配结果进行计算处理,从而获得目标失陷结果。
[0125]
示例性的,在本技术的实施例中,基于d-s证据理论对规则匹配结果进行计算处理,获得目标失陷结果,以上述表6为例:k=0.375
×
0.1425+0.375
×
0.5225+0.375
×
0.285+0.375
×
0.1425+0.375
×
0.5225=0.606;m(d1)=(0.375
×
0.285+0.375
×
0.05+0.285
×
0.25)/(1-k)=0.46;m(d2)=(0.1425
×
0.25)/(1-k)=0.1;m(d3)=(0.375
×
0.05)/(1-k)=0.05;m(d4)=(0.5225
×
0.25)/(1-k)=0.33;m(d5)=0
[0126]
将上述计算结果以表格形式汇总,如下表7所示:
[0127]
表7
[0128][0129]
可以理解的是,如表7所示,主机感染d1的概率为0.46,感染d2的概率为0.1,感染d3的概率为0.05,感染d4的概率为0.33,感染d5的概率为0;将d1~d5的概率相加,得到主机失陷的概率为0.94;由此,上述结果即为目标失陷结果。
[0130]
图6为本技术实施例提出的检测方法的实现流程示意图六,如图6所示,若行为特征符合失陷匹配规则表中的一个规则,则检测系统根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果的方法,即步骤103b提出的方法可以包括以下步骤:
[0131]
步骤103b3、根据行为特征和失陷匹配规则表获得目标失陷结果。
[0132]
在本技术的实施例中,若行为特征符合失陷匹配规则表中的一个规则,则检测系统根据行为特征与第二分析模型进行匹配处理,获得目标失陷结果,具体地,检测系统根据行为特征和失陷匹配规则表获得目标失陷结果。
[0133]
可以理解的是,在本技术的实施例中,由于行为特征仅符合失陷匹配规则表中的一个规则,且失陷匹配规则表中已统计出每个规则对应的预设威胁分类的发生概率和失陷信任度,因此,无需利用预设计算模型进行计算,可以直接根据失陷匹配规则表获得行为特征对应的目标失陷结果。
[0134]
示例性的,在本技术的实施例中,若行为特征仅符合失陷匹配规则表中的规则a,如下表8所示,则可以确定目标失陷结果为:感染d1的概率为0.5,感染d3的概率为0.5,失陷信任度为0.75。
[0135]
表8
[0136][0137]
图7为本技术实施例提出的检测方法的实现流程示意图七,如图7所示,检测系统基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果的方法,即步骤102提出的方法可以包括以下步骤:
[0138]
步骤102a、根据威胁情报库和日志信息进行对比处理,获得第一失陷结果。
[0139]
在本技术的实施例中,检测系统基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果,具体地,检测系统可以根据威胁情报库和日志信息进行对比处理,获得第一失陷结果。
[0140]
可以理解的是,在本技术的实施例中,威胁情报库可以用于检测出已知风险行为,因此,根据威胁情报库和日志信息进行对比处理,获得的第一失陷结果即为根据已知风险行为确定的失陷主机。
[0141]
步骤102b、利用第一分析模型对日志信息中的威胁信息进行识别,获得威胁识别
结果,并根据威胁识别结果获得第二失陷结果。
[0142]
在本技术的实施例中,检测系统基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果,具体地,检测系统还可以利用第一分析模型对日志信息中的威胁信息进行识别,获得威胁识别结果,并根据威胁识别结果获得第二失陷结果。
[0143]
可以理解的是,在本技术的实施例中,由于第一分析模型可以用于对未知风险行为进行检测,因此,可以利用第一分析模型对日志信息中的威胁信息进行识别,该威胁信息可以包括未知风险行为的信息,从而获得威胁识别结果。
[0144]
示例性的,在本技术的实施例中,第一分析模型为lstm模型,利用lstm模型对dns日志中的疑似dga家族规则的dga域名进行识别,获得威胁识别结果,即威胁识别结果中包括识别后的dga域名;进而可以根据威胁识别结果进行统计,得到每个请求ip访问识别后的dga域名的去重个数n,当n满足预设数值范围时,输出请求ip,这些请求ip对应的失陷主机即为第二失陷结果;例如预设数值范围可以为[5,20],若5≤n≤20,则可以输出请求ip,并将这些请求ip对应的失陷主机确定为第二失陷结果。
[0145]
步骤102c、根据第一失陷结果和第二失陷结果确定初始失陷结果。
[0146]
在本技术的实施例中,检测系统在根据威胁情报库和日志信息进行对比处理,获得第一失陷结果,以及利用第一分析模型对日志信息中的威胁信息进行识别,获得威胁识别结果,并根据威胁识别结果获得第二失陷结果之后,可以根据第一失陷结果和第二失陷结果确定初始失陷结果。
[0147]
可以理解的是,在本技术的实施例中,分别利用威胁情报库和第一分析模型对日志信息的对比和识别以后,就可以根据第一失陷结果和第二失陷结果共同确定为初始失陷结果,从而令初始失陷结果中能够包括根据已知风险行为确定的失陷主机和未知风险行为确定的主机,减少失陷主机检测的漏报率。
[0148]
本技术实施例提供了一种检测方法,检测系统获取主机的日志信息;基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证;由此可见,本技术除了利用威胁情报库获得已知风险以外,还可以利用第一分析模型对未知风险进行检测,由此利用威胁情报库和第一分析模型获得了主机的初始失陷结果;进而再利用第二分析模型对初始失陷结果进行分析处理,相当于对初始失陷结果进行了验证,并最终获得目标失陷结果,从而能够降低对失陷主机的漏报率和误报率,进而有效提升对失陷主机的处置效率。
[0149]
实施例二
[0150]
示例性的,在本技术的另一实施例中,图8为本技术实施例提出的检测方法的实现示意图,如图8所示,检测系统检测失陷主机的方法整体可以分为三个部分,包括数据存储模块,初始检测模块以及验证检测模块;进一步地,数据存储模块主要可以采用hdfs,当日志信息包括dns日志和netflow日志时,利用udp端口接收netflow日志,利用ftp端口接收dns日志;进而在初始检测模块,对日志信息进行分析或检测,包括分别利用威胁情报库和第一分析模型对已知风险的检测和未知风险的检测,从而将上述检测获得的初始失陷结果发送至验证检测模块,验证检测模块通过获取初始失陷结果中的行为特征,结合第二分析模型和行为特征获得目标失陷结果。
[0151]
具体地,在本技术的实施例中,以dns日志和netflow日志为例,在获取了日志信息以后,首先基于威胁情报库对日志信息中的域名和ip字段进行匹配,命中可疑的失陷主机,确定第一失陷结果;同时基于第一分析模型分别对dns日志和netflow日志中的威胁信息进行识别,获得威胁识别结果,并将威胁识别结果作为第二失陷结果,由此,根据第一失陷结果和第二失陷结果确定初始失陷结果;针对初始失陷结果,检测系统可以先对初始失陷结果中的失陷主机进行报警。
[0152]
由此可见,在本技术的实施例中,分别基于威胁情报库和第一分析模型进行疑似失陷主机分析,不仅可以发现威胁情报库中已知的风险行为,对于未知风险亦可以检测出来;从而减少了失陷主机检测的漏报率。
[0153]
进一步地,在本技术的实施例中,在利用第二分析模型对初始失陷结果进行验证之前,首先需要获取第二分析模型;第二分析模型主要由失陷匹配规则表和预设计算模型构成。
[0154]
具体地,在本技术的实施例中,失陷匹配规则表的创建方法主要包括:首先根据历史数据集获取失陷主机的行为特征数据;其中,历史数据集可以包括已验证数据集和木马沙箱运行数据集,已验证数据集中包括已经过验证的失陷主机的数据,木马沙箱数据集中包括这些失陷主机的病毒信息或风险行为等数据;进而将失陷主机的行为特征数据以列表的形式呈现。
[0155]
进一步地,在本技术的实施例中,在获取了失陷主机的行为特征数据以后,可以基于行为特征数据确定失陷主机的行为决策表。
[0156]
进一步地,在本技术的实施例中,在确定了行为决策表以后,可以对行为决策表进行约简处理,获得约简后的行为决策表。
[0157]
进一步地,在本技术的实施例中,根据约简后的行为决策表和预设威胁分类确定失陷匹配规则表;示例性的,预设威胁分类可以包括挖矿类d1、ddos类d2,蠕虫扫描类d3、类d4以及后门类d5。
[0158]
进一步地,在本技术的实施例中,基于失陷匹配规则表和预设计算模型获得第二分析模型;其中,预设计算模型可以为d-s证据理论。
[0159]
进一步地,在本技术的实施例中,在经过上述方法确定了第二分析模型以后,就可以利用第二分析模型对初始失陷结果进行进一步地验证处理;具体地,可以先获取初始失陷结果中的行为特征。
[0160]
进一步地,在本技术的实施例中,若行为特征符合第二分析模型中失陷匹配规则表中的至少两个规则,则根据行为特征和失陷匹配规则表确定行为特征对应的规则匹配结果;最后基于预设计算模型对规则匹配结果进行计算处理,获得目标失陷结果。
[0161]
进一步地,在本技术的实施例中,若行为特征符合失陷匹配规则表中的一个规则,则可以直接根据行为特征和失陷匹配规则表获得目标失陷结果。
[0162]
由此可见,在本技术的实施例中,通过第二分析模型对初始失陷结果的验证,不仅可以减少误报,还可以直接定位至导致主机失陷的原因,例如失陷主机是因为感染了某类病毒而导致失陷的,从而直接根据失陷的原因对失陷主机进行处置,而不是对失陷主机进行排查才能定位失陷原因,提高了处置效率,实现了分析、告警以及处置的任务闭环。
[0163]
本技术实施例提供了一种检测方法,检测系统获取主机的日志信息;基于威胁情
报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证;由此可见,本技术除了利用威胁情报库获得已知风险以外,还可以利用第一分析模型对未知风险进行检测,由此利用威胁情报库和第一分析模型获得了主机的初始失陷结果;进而再利用第二分析模型对初始失陷结果进行分析处理,相当于对初始失陷结果进行了验证,并最终获得目标失陷结果,从而能够降低对失陷主机的漏报率和误报率,进而有效提升对失陷主机的处置效率。
[0164]
实施例三
[0165]
基于上述实施例,在本技术的另一实施例中,图9为本技术实施例提出的检测系统的组成结构示意图一,如图9所示,本技术实施例提出的检测系统10可以包括获取单元11、分析单元12以及确定单元13。
[0166]
所述获取单元11,用于获取主机的日志信息。
[0167]
所述分析单元12,用于基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;以及基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。
[0168]
所述获取单元11,还用于在所述分析单元12基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果之前,根据历史数据集获取失陷主机的行为特征数据。
[0169]
所述确定单元13,用于基于所述行为特征数据确定所述失陷主机的行为决策表。
[0170]
所述获取单元11,还用于根据所述行为决策表获得所述第二分析模型。
[0171]
进一步地,所述获取单元11,具体用于对所述行为决策表进行约简处理,获得约简后的行为决策表;以及根据所述约简后的行为决策表和预设威胁分类确定失陷匹配规则表;其中,所述失陷匹配规则表用于确定每一个规则中的所述预设威胁分类的发生概率和所述每一个规则对应的失陷信任度;以及基于所述失陷匹配规则表和预设计算模型获得所述第二分析模型。
[0172]
进一步地,所述分析单元12,具体用于获取所述初始失陷结果中的行为特征;根据所述行为特征与所述第二分析模型进行匹配处理,获得所述目标失陷结果。
[0173]
进一步地,所述分析单元12,还具体用于若所述行为特征符合所述失陷匹配规则表中的至少两个规则,则根据所述行为特征和所述失陷匹配规则表确定所述行为特征对应的规则匹配结果;以及基于所述预设计算模型对所述规则匹配结果进行计算处理,获得所述目标失陷结果。
[0174]
进一步地,所述分析单元12,还具体用于若所述行为特征符合所述失陷匹配规则表中的一个规则,则根据所述行为特征和所述失陷匹配规则表获得所述目标失陷结果。
[0175]
进一步地,所述分析单元12,还具体用于根据所述威胁情报库和所述日志信息进行对比处理,获得第一失陷结果;以及利用所述第一分析模型对所述日志信息中的威胁信息进行识别,获得威胁识别结果,并根据所述威胁识别结果获得第二失陷结果;以及根据所述第一失陷结果和所述第二失陷结果确定所述初始失陷结果。
[0176]
图10为本技术实施例提出的检测系统的组成结构示意图二,如图10所示,本技术实施例提出的检测系统10还可以包括处理器14、存储有处理器14可执行指令的存储器15,
进一步地,检测系统10还可以包括通信接口16,和用于连接处理器14、存储器15以及通信接口16的总线17。
[0177]
在本技术的实施例中,上述处理器14可以为特定用途集成电路(application specific integrated circuit,asic)、数字信号处理器(digital signal processor,dsp)、数字信号处理装置(digital signal processing device,dspd)、可编程逻辑装置(programmable logic device,pld)、现场可编程门阵列(field programmable gate array,fpga)、中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本技术实施例不作具体限定。处理器14还可以包括存储器15,该存储器15可以与处理器14连接,其中,存储器15用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器15可能包含高速ram存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。
[0178]
在本技术的实施例中,总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。
[0179]
在本技术的实施例中,存储器15,用于存储指令和数据。
[0180]
进一步地,在本技术的实施例中,上述处理器14,用于获取主机的日志信息;
[0181]
基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;
[0182]
基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。
[0183]
在实际应用中,上述存储器15可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram);或者非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom),快闪存储器(flash memory),硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);或者上述种类的存储器的组合,并向处理器14提供指令和数据。
[0184]
另外,在本实施例中的各功能模块可以集成在一个分析单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
[0185]
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0186]
本技术实施例提供了一种检测系统,检测系统获取主机的日志信息;基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目
标失陷结果;其中,第二分析模型用于对失陷结果进行验证;由此可见,本技术除了利用威胁情报库获得已知风险以外,还可以利用第一分析模型对未知风险进行检测,由此利用威胁情报库和第一分析模型获得了主机的初始失陷结果;进而再利用第二分析模型对初始失陷结果进行分析处理,相当于对初始失陷结果进行了验证,并最终获得目标失陷结果,从而能够降低对失陷主机的漏报率和误报率,进而有效提升对失陷主机的处置效率。
[0187]
具体来讲,本实施例中的一种检测方法对应的程序指令可以被存储在光盘,硬盘,u盘等存储介质上,当存储介质中的与一种检测方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:
[0188]
获取主机的日志信息;
[0189]
基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;
[0190]
基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。
[0191]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0192]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0193]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0194]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0195]
以上所述,仅为本技术的较佳实施例而已,并非用于限定本技术的保护范围。
技术特征:
1.一种检测方法,其特征在于,所述方法包括:获取主机的日志信息;基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。2.根据权利要求1所述的方法,其特征在于,所述基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果之前,所述方法还包括:根据历史数据集获取失陷主机的行为特征数据;基于所述行为特征数据确定所述失陷主机的行为决策表;根据所述行为决策表获得所述第二分析模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述行为决策表获得所述第二分析模型,包括:对所述行为决策表进行约简处理,获得约简后的行为决策表;根据所述约简后的行为决策表和预设威胁分类确定失陷匹配规则表;其中,所述失陷匹配规则表用于确定每一个规则中的所述预设威胁分类的发生概率和所述每一个规则对应的失陷信任度;基于所述失陷匹配规则表和预设计算模型获得所述第二分析模型。4.根据权利要求3所述的方法,其特征在于,所述基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果,包括:获取所述初始失陷结果中的行为特征;根据所述行为特征与所述第二分析模型进行匹配处理,获得所述目标失陷结果。5.根据权利要求4所述的方法,其特征在于,若所述行为特征符合所述失陷匹配规则表中的至少两个规则,则所述根据所述行为特征与所述第二分析模型进行匹配处理,获得所述目标失陷结果,包括:根据所述行为特征和所述失陷匹配规则表确定所述行为特征对应的规则匹配结果;基于所述预设计算模型对所述规则匹配结果进行计算处理,获得所述目标失陷结果。6.根据权利要求4所述的方法,其特征在于,若所述行为特征符合所述失陷匹配规则表中的一个规则,则所述根据所述行为特征与所述第二分析模型进行匹配处理,获得所述目标失陷结果,包括:根据所述行为特征和所述失陷匹配规则表获得所述目标失陷结果。7.根据权利要求1所述的方法,其特征在于,所述基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果,包括:根据所述威胁情报库和所述日志信息进行对比处理,获得第一失陷结果;利用所述第一分析模型对所述日志信息中的威胁信息进行识别,获得威胁识别结果,并根据所述威胁识别结果获得第二失陷结果;根据所述第一失陷结果和所述第二失陷结果确定所述初始失陷结果。8.一种检测系统,其特征在于,所述检测系统包括获取单元和分析单元,所述获取单元,用于获取主机的日志信息;
所述分析单元,用于基于威胁情报库和第一分析模型对所述日志信息进行分析处理,获得所述主机的初始失陷结果;其中,所述第一分析模型用于对未知风险进行检测;以及基于第二分析模型对所述初始失陷结果进行分析处理,获得目标失陷结果;其中,所述第二分析模型用于对失陷结果进行验证。9.一种检测系统,其特征在于,所述检测系统还包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质,其上存储有程序,应用于检测系统中,所述程序被处理器执行时,实现如权利要求1-7任一项所述的方法。
技术总结
本申请实施例公开了一种检测方法和系统,及存储介质,检测系统获取主机的日志信息;基于威胁情报库和第一分析模型对日志信息进行分析处理,获得主机的初始失陷结果;其中,第一分析模型用于对未知风险进行检测;基于第二分析模型对初始失陷结果进行分析处理,获得目标失陷结果;其中,第二分析模型用于对失陷结果进行验证;能够降低对失陷主机的漏报率和误报率,并且有效提升对失陷主机的处置效率。并且有效提升对失陷主机的处置效率。并且有效提升对失陷主机的处置效率。
技术研发人员:
王伟杰 常嘉岳 袁勇 鲁银冰 周旭莹 钱成
受保护的技术使用者:
中国移动通信集团有限公司
技术研发日:
2021.08.27
技术公布日:
2023/3/2