网络安全分析的大数据技术实践解析?

  • A+
所属分类:
0引言

网络化、信息化时代背景下,人们对互联网的依赖程度越来越高,但是网络信息安全问题也变得更为严峻,近些年所发生的网络安全事件屡见不鲜,如2017年老牌信用机构Equifax遭黑客攻击,1.43亿用户信息被盗事件,全球爆发WannaCrypt勒索病毒等。面对愈发复杂的网络环境以及海量增长的数据信息,传统网络安全防护技术已经无法满足实际需求,将大数据技术加以充分应用,构建网络安全平台,能够显着增强网络安全等级,是当下研究的热点。

1大数据技术应用于网络安全分析中的重要性

大数据技术具有有数据量大、种类繁多、速度快、价值密度低等特点,在网络安全分析中有着较高的应用价值,其重要性具体体现在以下几方面。第一,大数据技术可以拓宽数据存储容量,满足海量数据安全分析需求,并且在对多源数据和多阶段组合进行分析时,在保证运算效率的同时,还能确保数据的完整性。第二,大数据技术能够对网络数据进行多层级、多精度分析,理清数据间的复杂关系,找出其中潜在的安全隐患和风险,网络安全分析精度大幅提升。第三,利用大数据分析技术,可以对异构数据进行存储和分析,显着提高了网络安全分析速率,能够在更短时间内发现并解决网络安全问题[1]。第四,传统网络安全平台为结构化数据库,而基于大数据技术的网络安全平台为分布式数据库,具有良好的经济效益,设备成本较低且性能良好,减少了系统维修费用,降低了网络安全平台构建成本。

2网络安全分析的大数据技术实践

将大数据技术应用于网络安全分析方面,可以实现对日志和流量的集中化存储与分析,深层挖掘数据之间的关系,增强了网络安全检测及防防护能力。

2.1数据采集

网络安全分析需要依托全面、完整的信息数据,在应用大数据技术时,应先完成数据采集。对于每秒数百兆的日志信息来讲,可以利用Chukwa等工具对其进行采集;对于全数量数据来讲,可以使用传统数镜向方式对其进行采集[2]。

2.2数据存储

完成数据采集后,需依托数据库对其进行集中存储,在大数据技术的帮助下,数据类型存在差异时,可以采用与其相匹配的方式完成存储,不仅能够保证数据之间的明确分类,又可以方便数据查询。数据类型为即时数据时,可采用列式存储方法,先运用流式计算方式进行分析,然后存储所得结果。数据类型为日志时,为提高数据查询效率,可选用列式存储方法完成存储。另外,当数据经过标准化处理后,需要先对其进行处理,所用方法为分布式计算方法,然后再采用列式存储方法进行存储。

2.3数据查询

将大数据技术应用于网络安全分析中去,就数据查询来讲,可依托MapReduce完成[3]。系统发出查询指令后,在对应的节点位置完成处理,并将多种结果加以整合,然后可以通过检索得到自己所需数据信息。相较于传统网络安全分析平台,这种数据查询方式的指令反应及处理更为迅速,大大提高了查询效率。

2.4数据分析

基于大数据技术的网络安全分析平台,当数据类型不同时,所用分析处理方法也是不一样的。首先,如果数据类型为实时数据时,在对其进行分析和处理时,主要用到了流式计算方式、CEP技术、关联分析算法等,可以及时发现潜在的安全隐患及威胁。其次,如果数据类型为历史数据、统计结果时,在实效性方面要求并不严格,可对其进行离线处理,完成更为深入、全面的分析,所用方法主要为分布式存储与计算,既能够发现其中的风险隐患,又可以找出攻击来源。

2.5复杂数据处理

面对越来越复杂以及关联性越来越强的数据,以大数据技术为依托的网络安全分析平台,也可以更加迅速、精准地对其进行处理,包括多源异构数据、系统安全隐患以及关联性攻击行为等。以网络安全问题中常见的僵尸网络为例,借助大数据技术,不但能够从流量和DNS访问特性出发,而且能进行发散性关联分析,同时结合多方面的数据信息,可对数据进行多维度、深层次、全方位分析,确保了数据处理的有效性。

3大数据技术背景下网络安全平台建设

基于大数据技术所体现出的多方面优势,已经在网络安全分析方面得到了越来越广泛的应用,在构建网络安全平台时,需要科学设计其基础构架,并严格把控关键技术环节,充分发挥其应用价值。

3.1平台构架

以大数据技术为依托,所搭建的网络安全平台分为四个层级,包括数据采集层、数据存储层、数据挖掘分析层、数据呈现层,四个层级功能各不相同,需要分别对其进行分析。首先,数据采集层主要负责采集各种类型数据,包括即时数据、用户身份信息、日志等,实现方式为分布式采集。其次,数据存储层的能够实现海量信息的长期保存,并采用结构化、半结构化、非结构化方式对其进行统一存储,使用均衡算法将现实数据均匀分布在分布式文件系统上[4]。另外,网络安全异常的发现及溯源,则是在数据挖掘分析层完成,具体方法包括特征提取、情境分析、关联分析等,可通过检索查询对异常网络行为进行准确定位。最后,数据呈现层则可以通过可视化形式将大数据分析结果呈现出来,通过多种维度展现网络安全状态。

3.2关键技术

构建网络安全平台时,所用到的关键技术主要有数据采集技术、数据存储技术、数据分析技术等。此次研究所用数据采集技术包括Flume、Kafka、Storm等,Flume能够采用分布式方式,对来源不同的数据进行收集和整理,经过处理后将其传输至定制方。Kafka中应用了Zookeeper平台,可实现数据的集群配置管理,能够作为一个高吞吐量的分布式发布订阅系统应用,平衡数据处理环节的系统负荷。完成数据采集后,采用HDFS分布式文件系统对其进行存储,其容错性和吞吐量都比较高,使用元数据管理节点文件系统对空间命名,数据文件保存至数据节点,基本存储单位为64兆字节的数据块。数据文件会随着元数据节点的增多而减少,两者之间呈反比关系,多个文件同时被访问时,会对系统性能造成影响,而HDFS分布式文件系统的应用可有效避免这种问题。在数据分析环节,该平台所用技术为Hivc,对于非结构化数据的检索,所用语言为HiveQL,与HDFS和HBase匹配性良好。API的封装则是采用Hive完成,使用定制的插件开发和实现各种数据的处理、分析与统计。

4结束语

将大数据技术应用于网络安全分析领域,不仅能够提高分析速率、分析精准度,而且还可以降低技术成本,有着多方面显着优势,是未来网络安全防护的必然发展方向。在实际应用时,应采用层级结构构建网络安全平台,就数据采集、数据存储、数据分析等关键技术环节进行重点把控,以此来改善当前网络安全分析中的缺陷与不足,提高网络安全等级。

参考文献:

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用,2017.

[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学,2015.

[3]贾卫.网络安全分析中的大数据技术应用探讨[J].网络安全技术与应用,2016.

[4]万明秀,宋秋莲.网络安全分析中的大数据技术应用探讨[J].无线互联科技,2017.