网络监测与监控

《网络监测与监控》由会员分享，可在线阅读，更多相关《网络监测与监控（14页珍藏版）》请在装配图网上搜索。

1、. .前言网络开展到今天，已经彻底改变了人类生活、工作的方式。信息化革命对人类生产、生活的影响远远大过前几次的传统的工业革命。现在，人们发现，没有了电脑，生活就像瘫痪；没有了网络，就像生活在古代社会，完全落后于现代文明。网络以其迅猛的开展，迅速占据了人们生活的方方面面，人们已经对网络产生了依赖，截止到2012年7月底，我国的网民数量已经超过了5.38亿。但是随着网络的普及以及网络技术的迅猛开展，技术漏洞的无可防止，广阔网络黑客们出于各种目的，利用遍布世界各地的网络迅速传播病毒并发起攻击，对现有的网络信息平安构成了巨大的威胁。病毒、木马、蠕虫等等泛滥成灾。网络入侵攻击事件与日俱增，无论网络信息系

2、统有多么平安巩固不易被入侵，最后都被成功入侵了，可见网络平安现实的严峻性。网络入侵，它所带来的威胁和影响已经远远超出了预期，它的威胁直指经济平安和国家平安。. v . .第一章 .计算机网络平安及其现状11. 网络平安及其现状11.1.1计算机网络平安11.1.2计算机网络平安现状21.2入侵检测现状2第二章 入侵检测系统综合研究22.1 入侵检测系统概述32.2 基于主机的入侵检测系统42.3 基于网络的入侵检测系统52.3.1 基于网络的入侵检测系统原理52.3.2 Snort网络入侵检测系统6第三章 告警融合关键技术研究143.1 入侵检测信息标准化143.1.1 CIDF模型143.1

3、.2 IDMEF模型143.1.3 IDMEF模型中数据存储问题研究163.2 聚类算法研究18第一章 .计算机网络平安及其现状1. 网络平安及其现状1.1.1计算机网络平安计算机平安特性可以归纳描述为：完整性，*性，可用性，可控性，不可否认性等。平安问题主要包括：计算机数据破坏，非授权擅自使用计算机系统，滥用计算机系统。计算机网络平安可以分为网络平安、计算机系统平安和数据库系统平安。（1） 网络平安问题主要表现为：网络协议的平安机制存在先天性缺陷，在设计之初，无法完全考虑到实际应用时的平安性问题。2计算机系统平安问题是指：由于在设计计算机操作系统之时，系统本身存在的诸多漏洞，入侵者可以利用漏

4、洞进入系统，取得系统控制权限，肆意对系统内的数据进展修改、伪造、拷贝、删除、损毁，并留下后门。这就为入侵攻击者提供了另外一个突破口。3数据库平安问题是建立在操作系统根底上的，操作系统被攻破之后，操作系统上的数据库就得赤裸裸的直面入侵者。数据库，作为所有组织单位信息化的核心，它是大多数关键数据记录的载体，一旦被人攻击将会造成的后果是不可估计的。1.1.2计算机网络平安现状自从世界上第一个在电脑上大面积流行病毒C-Brain诞生以来，平安技术就在制造病毒、防御病毒，制造攻击、防御攻击的博弈中不断开展，网络平安已经成为了一个永恒的话题。2011年1月，中国互联网络信息中心NIC在京发布了?第27次中

5、国互联网络开展状况统计报告?，对整个中国的互联网络开展和现状做了总结归纳。据该报告调查，2010年度，有过病毒或木马攻击经历的网民比例为45.8%，同比下降了10.8个百分点，总人数约为2.09亿人。许多网民都遇到过攻击，只是，许多攻击入侵是非常隐秘的，主要是一些修改用户浏览器首页、广告点击器等低影响性攻击，往往只在后台运行，恶意引导诱骗广阔网民浏览该，用户可能毫无发觉。因此，网络平安的现状呈现出外表攻击下降，实际攻击行为更加隐秘的状况。网络平安问题正呈现此消彼长，把戏繁多，新问题不断涌现的态势。1.2入侵检测现状入侵一般可以分为三个阶段：预攻击阶段，攻击阶段，后攻击阶段23。现在流行入侵检测

6、的检查方法主要有：特征检测，完整性检验，异常检测。特征检测主要是建立各类攻击的特征库，用该特征来准确地描述某一特殊攻击的特点，为了防止引起其他误报，该特征的描述最好是唯一的。它主要是对那些试图越权操控系统的平安事件进展监控完整性检验为系统的每个文件生成一个校验和，然后定期地将该校验和与源文件比拟，这样就可以检查出文件是否被修改正，这类似于视频监控中的图像变化产生的报警。完整性检验适用于检测篡改网页等的活动，当出现篡改时，通过计算校验和来发现异常。异常检测主要是通过制定一个正常行为模式来衡量网络行为的合法性。实际流量中的模式如果在正常行为模式库中找不到匹配的原型，就会被判断为异常行为而触发报警。

7、分析讨论。各种方法都不是十全十美的，因此，光用一种方法来进展入侵检测是不明智的。多种方法综合使用，才能减少误报和漏报率。现今各大厂商主要倾向于采用特征检验，因为该方法逻辑思路清晰，实现方法简单，而且规那么添加也十分方便，易于维护和增改。特征检验确实是一种高效的检测方法。第二章 入侵检测系统综合研究入侵检测系统Intrusion Detection System，IDS的作用是监控网络和计算机系统是否被入侵或滥用。通常入侵检测系统都有三个功能：数据采集功能，数据分析功能和响应功能。IDS系统已经成为安防体系的重要组成局部。IDS收集源自计算机操作系统和计算机网络中的各种数据流，经过系统内部一系列

8、的规那么分析匹配，从而判断出是否已经有入侵行为发生。入侵检测系统可以同时检测来自内部用户未授权的非法活动和外部的攻击行为。对内部攻击的检测主要是基于主机的，主要检测内部用户的越权行为；对外部的入侵检测主要是基于网络的，主要检测网络上的攻击行为。这两步都是网络安防的重点。2.1 入侵检测系统概述现在市场上的IDS产品种类繁多，无论是在数据的采集，系统的布局，信息的分析方法，响应的模式上都有很大的差异。通常，入侵检测分为异常检测和误用检测两大类。异常检测是试图建立一个正常的运行模式和规那么，对在网络中捕获的数据信息进展分析，如果符合正常规那么模式那么系统默认其为一个合法的操作，反之，如果捕获的数据

9、信息不在正常规那么模式库之列，那么触发异常报警。两种方法各有短长，只有综合使用以上两种方法的入侵检测系统，才能真正适应现在和未来网络安防。文献还提出了一种基于扩X矩阵和GA的入侵检测方法。入侵检测系统的检测性能评价，是评定一个IDS系统优劣的首要参数。这也就意味着，一个IDS系统的规那么库越多越完善，那么这个IDS系统能检测出更多的入侵攻击行为，即拥有更高的正确报警率，反之那么漏报率更高。另外一个参数就是灵敏度，这是对入侵检测系统报警分类的结果，入侵检测系统按照优先级别不同分为不同的报警种类，各类报警都有自己的优先级，灵敏度越高的入侵检测系统拥有更精细的报警类别和更丰富的报警优先级。2.2 基

10、于主机的入侵检测系统基于主机的入侵检测系统HIDS，主要是检查系统日志以获取被入侵的信息。它主要是监控操作系统、内核、应用程序上的威胁。它有权检测被监控主机的系统的日志、效劳、错误消息、权限等等所有有用的可用的资源。HIDS分析的根底主要是系统日志，通过对日志的综合分析，HIDS能够清楚地区分正常的或异常的应用程序数据信息。HIDS能够并检查系统中的特殊组件，HIDS需要具备一些仅能为其所知的关于主机和其正常行为的特殊知识，才能保证HIDS与它所驻留的系统协调一致。当然，HIDS也存在一些大的缺陷。首先，攻击者可以入侵并控制一台未安装HIDS的主机来受保护的主机，这样的情况HIDS是无能为力的

11、。这也就是说，要想保护区域内的所有主机，就必须为每一台主机安装HIDS，并且，根据操作系统版本不同，所安装的HIDS版本也会不同。2.3 基于网络的入侵检测系统基于网络的入侵检测系统NIDS，其主要功能是实时分析网络数据包，并对其中的攻击数据进展监测识别。与基于主机的入侵检测系统HIDS相比，NIDS的好处就是本钱更低，由于它被部署在某一个网络的关键区域，并且只需部署在一台主机上，就可以监控该网络中所有主机的流量、数据包信息。NIDS的缺点也是明显的，网络流量的日益增加，NIDS要想实时地准确地处理这些数据包而不发生丢包，只有部署多个NIDS协同工作才能应付。接着，面对分段攻击，由于包过长，包

12、就会被分割成几个，数据同样被分割成几份，NIDS主机接收到这些分段数据之后还要进展顺序重装。最后，面对日渐成熟的通信加密、隧道技术，NIDS要想捕获并分析包内信息实际上变得非常困难，即使解密出来的明文能被NIDS读取，但是，这一中间步骤产生的时延有时是无法承受的。2.3.1 基于网络的入侵检测系统原理网络入侵检测系统的核心检测模块主要是对网络包的*及其负载内容进展检测。其对每一个包的处理流程大致如下：首先通过包分类，先检测数据包的*，判断是否与规那么库中的某个规那么所对应的头部相符，如果不相符，那么丢弃该包，系统不做任何报警动作；如果匹配成功，那么进入下一步，调用模式匹配算法，检测网络包的负载

13、。当然，为了提高报警效率，大局部的包检测只需针对*进展检查即可。对负载的检查可以使检测更加准确，误报率较低。检测规那么是NIDS检测的主要依据，为了实现攻击包的有效检测，NIDS系统都会构造复杂的规那么解析图来完成对网络包*和负载内容的检测。一条检测规那么包括规那么头和规那么选项两局部，规那么头分为五个常用字段：协议类型，源IP地址，源端口地址，目的IP地址，目的端口地址。而规那么选项那么指出攻击的特征字段以及响应字段和方法。常见的基于网络的入侵检测系统有Snort，BASE等。2.3.2 Snort网络入侵检测系统Snort作为一个开源的轻量级的网络入侵检测产品，由于其开源的性质，对Snor

14、t应用系统及其组件的不断完善和开发，已经使Snort在全球范围内得到了广泛的应用，并且拥有snort社区的强大技术支持和广阔的使用群体。保守估计，世界范围内部署的Snort传感器已超过了20万。(1)Snort网络入侵检测系统的构造框架Snort在整体部署时的通用层次构造可分为传感器层，Snort效劳器层，分析控制台三层，各层数据流程如图2.1。传感器层Snort效劳器层分析控制台图2.1 snort构造体系传感器层主要负责原始网络数据包的捕获，搜集，预处理等功能，对捕获的数据包进展解释。效劳器层主要是搜集从传感器上传过来的报警数据，然后将其转化为系统或用户可读的格式；分析控制台层主要是一台支

15、持SSL的浏览器，它的作用是对效劳器搜集的报警进展集中显示，与分析管理员进展沟通。从Snort入侵检测系统分析网络流量并形成报警的流程来看，不同的组件承当着不同的功能，snort包含的主要组件有包捕获程序Libpcap，包解码器，预处理程序，检测引擎和输出插件。各组件模块数据流程如图2.2所示。首先是应用程序Libpcap包捕获器，由于单独的Snort应用程序并不包含包捕获器，因此需要引入一种适宜的包捕获工具。Libpcap可以运行在几乎所有现行的操作系统之上，正是因为Libpcap的这种通用性和可移植性，使得Libpcap本身具有很大的优势，这为在不同操作系统上实现的Snort入侵检测系统提

16、供了一个统一的底层接口程序。Libpcap捕获数据包包解码器预处理程序检测引擎预处理程序输出插件图2.2 Snort内部组件工作流程图原始数据包被捕获后，就送入Libpcap的包解码器，它的作用和工作流程与操作系统的包解码过程如出一辙，即都是对具体协议单元进展解码，分析其有效荷载的一个处理过程。从较低层的协议开场，逐渐向上剖析各层协议单位。解码后的数据将送往内存中暂存下来，等待预处理程序和检测引擎的调用。预处理程序和检测引擎可以对Libpcap捕获并解码的数据进展检测匹配。其解码流程如图2.3所示。预处理程序对于snort检测体系来说非常重要，它的主要功能是进展数据规约和数据清洗。预处理匹配一

17、般分为两类。一类是检查和修改可疑行为的数据包。一类是负责对流量标准化以便检测引擎能准确匹配特征。前者可以发现非基于特征的攻击，后者可以处理流量的模式，从而使一些运用了躲避技术的攻击无法逃过Snort检测引擎的检查。Libpcap捕获数据数据链路层协议解码网络层协议解码传输层协议解码送往预处理程序和检测引擎图2.3 包解码流程统计包异常检测引擎SPADEStatistical Packet Anomaly Detection Engine是一种特殊的预处理程序。它所用到的方法是前面提到的异常检测，即首先建立一个描述正常流量的表，表中的数据记录是用如源或目的IP地址，端口地址，通信协议等特性唯一确

18、定的一类数据包，然后将实际流量与该表中的正常描述匹配。它为将要处理的每个数据包配置一个异常值，该异常值与该类数据包出现的频率相关，出现频率越低，那么所分配的异常值较高，如果该异常值超出了报警的极限值，那么引起该类异常对应的报警。检测引擎是Snort入侵检测系统中最重要的，它的主要职责是对从Libpcap解码出来的数据和经过预处理模块处理过的数据进展规那么分析和特征匹配检测。最后，Snort体系构造中重要的一个组件是输出插件。它是原始数据包经过处理后呈献给用户分析的平台。输出插件可以将检测引擎和预处理程序分析后的报警数据转存到不同的文件或存储系统中。2Snort规那么Snort之所以能像现在这样

19、流行，除了有大量专业人员对程序代码的不断补充完善和论坛的交流和技术共享之外，另一个让广阔用户非常欢送的就是它支持用户自定义规那么，甚至包括可以修改原有规那么库来定制一套适合于自身网络环境的入侵检测规那么。现在许多的非开源代码入侵检测系统厂商为了能兼容snort的规那么集，都在其自身开发的IDS系统上实现了Trons功能特性，Trons能够承受官方发布的规那么集合和用户自定义的规那么集，该功能模块能将snort规那么集转换为对应厂商支持的规那么集。规那么集存储着入侵攻击数据的特征描述，因此，规那么集的编写与装载也就成为了配置系统之前的关键步骤。规那么头的规那么类型关键字选项有三种：Alert，P

20、ass，Log。其中Alert是最常用的，它用于产生一个报警，接下来就记录下该报警所对应的数据包。被设置成Alert规那么类型的规那么是系统管理员认为最重要的规那么，与该规那么相匹配的数据包将被发送到报警输出模块。Pass关键字被用来建立忽略规那么集，即与该规那么集相匹配的数据包将不会被入侵检测系统处理。Log类型的规那么的重要程度没有Alert规那么高，与Log规那么匹配的数据包不会被报警输出，它只是被系统简单的记录下来而已。其中，数据包流向的可选方向关键字支持两种类型：-是单向的流量描述，要想描述双向流量，那么要使用双向操作符。源地址、目的地址，源端口，目的端口都可以用any来表示任意，如

21、果要特别指定，可以单独列出来。规那么头中的协议字段关键字支持三个常用的协议：TCP，UDP，ICMP。如果说规那么头代表的是事件发生在宏观方向上的描述的话，规那么选项那么是对事件发生在微观范围内的细化。规那么选项的关键字按其功能和作用对象不同，常见的可分为以下几类：关于snort的响应选项关键字。最常见的就是报警关键字Msg，它被用于生成一个简单的报警，同时触发该报警的数据包也同时被记录下来。而关键字Logto不只是产生报警，而且还将与规那么匹配的数据包记录到日志文件中。（3） Snort报警Snor报警作为一个人机交互的环节，是非常重要的。Snort产生报警的方式可以有很多种，并且报警平台也

22、很多，最常用的是在ACID即入侵分析控制台输出报警，它是基于Web和PHP的。ACID提供了丰富的查询功能。它可以按照逻辑功能对报警分组并且可以分别关联到internet上的CVE标准漏洞库对应的记录上，同时ACID还可以处理来自其他平安装置的数据，这样，就可以利用ACID来做关联分析10。用的最多的snort报警是fast格式，图2.4中就是两条完整的fast格式的输出报警，其格式如下:时间戳 * 事件产生器/预处理器/分析器编号：规那么号：版本号 打印信息 * 类别信息 报警等级 协议 源IP：源端口 - 目的IP：目的端口。在图2.4所显示的第一条报警记录中， 03/26-00:03:1

23、2.411064表示报警产生的时间；*是元素分隔符；规那么信息1:483:5显示,使用的预处理器或分析器的编号为1，规那么的签名编号sid为483,字段值rev=5表示此规那么时该类规那么修改的第五个版本；该条报警显示信息为ICMP Ping CyberKit 2.2 Windows；报警所属类别为Misc activity；优先级priority为3，优先级比拟低；该条报警的攻击源地址为24.91.123.110，目的地址是202.203.208.104。图2.4Snort的Fast报警格式第三章 告警融合关键技术研究3.1 入侵检测信息标准化现在市场上的入侵检测系统种类繁多，厂家标准也各有

24、不同，同时，针对主机和针对网络的入侵检测系统由于针对的对象不同，在构造上也大相径庭，对于研究者和用户来说，不同种类不同要想综合利用这些构造的入侵检测系统所提供的报警信息，这就牵涉到报警格式以及报警信息存储的问题。要想解决这一问题并非易事。3.1.1 CIDF模型美国国防部高级研究方案署DARPA的CIDF工作组针对上述问题提出了mon Intrusion Detection Framework， CIDF通用入侵检测框架，该框架针对的对象是事件Event，在该框架下定义了Event Generators事件产生器,Event Analyzers事件分析器，EventDatabases事件数据库

25、和Response Unit响应单元四个组件32。通用入侵检测对象是组件之间数据信息交换的统一格式。该框架下的四个组件工作流图如图3.1。事件产生器事件数据库事件分析器响应单元GIDOGIDOGIDOGIDO图3.1 CIDF模型流图3.1.2 IDMEF模型IDMEF数据模型能够很好的描述各种类型的报警特征，有效的实现报警分析器与控制台、系统管理程序之间的数据交流，其告警采用二进制的方式实现，而且，由于该模型采用的是一种描述语言的元语言XML，因此，各系统的报警都可以用这一模型进展描述。它能为不同系统产生的报警构建一个统一的描述标准，这样使得各个异构入侵检测系统分析引擎所产生的报警信息都能够

26、作为分析员进展关联分析的原始数据。设计IDMEF数据模型的目标是为警报提供确定的标准表达方式，并描述简单警报和复杂警报之间的关系36。IDMEF采用了面向对象的描述方法定义了入侵报警模型的各个元素、实体、属性等的数据构造模型32，其的主要类定义如图3.2所示。IDMEF-MessageAnalyzerCreatTimeDetectTimeAnalyzeTimeSourceTargetClassificationAdditionalDataNodeUserProcessServiceNodeUserProcessServiceAnalyzerCreatTimeAdditionalDataAler

27、tHeartBeatAssessmentFile图3.2IDMEF模型类库其中IDMEF-Message类，它是该模型中最顶层的类。在IDMEF模型的数据类型定义中，它包含了两个大类，即Alert报警类和HeartBeat心跳类。在XML格式的文档中，Alert用来描述报警的元素，主要是描述该报警的特征，它的属性值ident，作为报警产生先后的标识号；impact属性记录的是攻击成功与否；Alert元素包含了九类元素，其中Source和Target分别记录该攻击告警的源头与目的地的特征；Analyzer用于标识分析引擎；AnalyzeTime描述报警分析的时间；Classification包含

28、的是报警的类型信息，包括类型名和报警名；Assessment类是分析引擎对此次攻击报警事件的评估，包括它的影响、响应动作以及它的可信度；DetectTime描述入侵报警被检测到的时间；CreatTime描述报警产生的时间。在IDMEF的RFC文档中32，Alert类被细分为ToolAlert，CorrelationAlert，OverflowAlert三类。其中OverflowAlert用来记录缓冲区溢出攻击引擎的报警； CorrelationAlert含有一些报警的额外关联信息，它被用来标识多个攻击报警之间的关联性。与Alert类并列的一大类是心跳消息HeartBeat Message类，心

29、跳消息用于记录入侵分析引擎和报警管理系统之间实时通信的状态。心跳消息被周期性地发出，它被报警管理系统发出用来检测与入侵分析引擎的通信是否正常，缺少了连续的心跳信息的状态说明二者之间通信异常32。有了IDMEF所定义的标准数据类型，各个系统产生的报警信息可以统一存储到一个关系数据库，或者XML文档，或者文本文件，亦或者是一个XML栈。在此根底上，入侵报警分析员就可以利用这些数据进展关联分析和聚类合并。3.2 聚类算法研究现在入侵检测方面聚类算法的种类繁多，侧重点不同，性能也有差异。归纳起来可以分为以下几个大类。第一是基于报警事件属性相似度的聚类算法，这类算法基于这样一个理论思想，将两事件的属性簇

30、如IP，端口，协议等的相似度分别进展量化，由此得出一个广泛的事件间的相似度值，这个值超过预定义的门限即认为两事件极为相似，可判断为同一报警，这种方法的优点是原理和实现都很简单，缺点是只能附属性单方面考虑报警的特征；第二类方法是基于因果关系的，由于这类事件具有因果关系，他们的报警类别往往一样，因此可以整合为同一类型的报警，这种方法的逻辑性较强，对目标事件的聚类决策正确率很高，缺点是需要先验知识，如果不知道两个事件之间的因果关系，那么有可能影响到决策的判定；第三类方法是基于模式匹配的思想，即定义一系列的特征如时间、协议标准模型，然后用实际的事件或报警去匹配这些模型来决定事件或报警的类别，不同的报警在特征模式匹配后被归入不同的报警类别，从而实现聚类。这实际上是一种特征模式匹配的方法，有点类似于入侵检测中的异常模式检测。. v .