实验2——网络攻击的一般流程

Part 4 日志分析

一、实验目的
通过实验掌握系统日志分析基本概念和方法。
 
二、实验原理
♥本题中相关背景介绍来源于网络；部分实验内容来源网络，具体作者不详♥

俗话说，雁过必定留痕。计算机取证可以理解为从计算机上提取证据。要知道用户做了些什么，最好的方法就是去看看计算机的日志。

日志文件作为微软Windows系列操作系统中的一个特殊文件，在安全方面具有无可替代的价值。它每天为我们忠实地记录下系统所发生一切事件，利用它可以 使系统管理员快速对潜在的系统入侵作出记录和预测，但遗憾的是目前绝大多数的人都忽略了它的存在，反而是因为黑客们光临才会使我们想起这个重要的系统日志 文件，很有讽刺意味。

2.1 日志文件的特殊性
要了解日志文件，首先就要从它的特殊性讲起，说它特殊是因为这个文件由系统管理，并加以保护，一般情况下普通用户不能随意更改。我们不能用针对普通TXT 文件的编辑方法来编辑它。例如WPS系列、Word系列、写字板、Edit等等，都奈何它不得。我们甚至不能对它进行“重命名”或“删除”、“移动”操 作，否则系统就会很不客气告诉你:访问被拒绝。当然，在纯DOS的状态下，可以对它进行一些常规操作(例如Win98状态下)，但是你很快就会发现，你的 修改根本就无济于事，当重新启动Windows 98时，系统将会自动检查这个特殊的文本文件，若不存在就会自动产生一个；若存在的话，将向该文本追加日志记录。

2.2 黑客为什么会对日志文件感兴趣
黑客们在获得服务器的系统管理员权限之后就可以随意破坏系统上的文件了，包括日志文件。但是这一切都将被系统日志所记录下来，所以黑客们想要隐藏自己的入 侵踪迹，就必须对日志进行修改。最简单的方法就是删除系统日志文件，但这样做一般都是初级黑客所为，真正的高级黑客们总是用修改日志的方法来防止系统管理 员追踪到自己，网络上有很多专门进行此类功能的程序，例如Zap、Wipe等。

2.3 Windows系列日志系统简介
2.3.1 Windows 98的日志文件
Windows 98下的普通用户无需使用系统日志，除非有特殊用途，例如，利用Windows 98建立个人Web服务器时，就会需要启用系统日志来作为服务器安全方面的参考，当已利用Windows 98建立个人Web服务器的用户，可以进行下列操作来启用日志功能。

(1)在“控制面板”中双击“个人Web服务器”图标；(必须已经在配置好相关的网络协议，并添加“个人Web服务器”的情况下)。
(2)在“管理”选项卡中单击“管理”按钮；
(3)在“Internet服务管理员”页中单击“WWW管理”； 　　
(4)在“WWW管理”页中单击“日志”选项卡； 　
(5)选中“启用日志”复选框，并根据需要进行更改。 将日志文件命名为“Inetserver_event.log”。如果“日志”选项卡中没有指定日志文件的目录，则文件将被保存在Windows文件夹 中。

普通用户可以在Windows 98的系统文件夹中找到日志文件schedlog.txt。我们可以通过以下几种方法找到它。在“开始”/“查找”中查找到它，或是启动“任务计划程 序”，在“高级”菜单中单击“查看日志”来查看到它。Windows 98的普通用户的日志文件很简单，只是记录了一些预先设定的任务运行过程，相对于作为服务器的NT操作系统，真正的黑客们很少对Windows 98发生兴趣。所以Windows 98下的日志不为人们所重视。

2.3.2 Windows NT下的日志系统
Windows NT是目前受到攻击较多的操作系统，在Windows NT中，日志文件几乎对系统中的每一项事务都要做一定程度上的审计。Windows NT的日志文件一般分为三类：

系统日志 ：跟踪各种各样的系统事件，记录由 Windows NT 的系统组件产生的事件。例如，在启动过程加载驱动程序错误或其它系统组件的失败记录在系统日志中。

应用程序日志：记录由应用程序或系统程序产生的事件，比如应用程序产生的装载dll(动态链接库)失败的信息将出现在日志中。

安全日志 ：记录登录上网、下网、改变访问权限以及系统启动和关闭等事件以及与创建、打开或删除文件等资源使用相关联的事件。利用系统的“事件管理器”可以指定在安 全日志中记录需要记录的事件，安全日志的默认状态是关闭的。

Windows NT的日志系统通常放在下面的位置，根据操作系统的不同略有变化。
C:\systemroot\system32\config\sysevent.evt

C:\systemroot\system32\config\secevent.evt

C:\systemroot\system32\config\appevent.evt

Windows NT使用了一种特殊的格式存放它的日志文件，这种格式的文件可以被事件查看器读取，事件查看器可以在“控制面板”中找到，系统管理员可以使用事件查看器选 择要查看的日志条目，查看条件包括类别、用户和消息类型。

2.3.3 Windows 2000的日志系统
与Windows NT一样，Windows 2000中也一样使用“事件查看器”来管理日志系统，也同样需要用系统管理员身份进入系统后方可进行操作。
在Windows 2000中，日志文件的类型比较多，通常有应用程序日志，安全日志、系统日志、DNS服务器日志、FTP日志、WWW日志等等，可能会根据服务器所开启的 服务不同而略有变化。启动Windows 2000时，事件日志服务会自动启动，所有用户都可以查看“应用程序日志”，但是只有系统管理员才能访问“安全日志”和“系统日志”。系统默认的情况下会 关闭“安全日志”，但我们可以使用“组策略”来启用“安全日志”开始记录。安全日志一旦开启，就会无限制的记录下去，直到装满时停止运行。

Windows 2000日志文件默认位置：
应用程序日志、安全日志、系统日志、DNS日志默认位置：%systemroot%\sys tem32\config，默认文件大小512KB，但有经验的系统管理员往往都会改变这个默认大小。
安全日志文件：c:\sys temroot\sys tem32\config\SecEvent.EVT
系统日志文件：c:\sys temroot\sys tem32\config\SysEvent.EVT
应用程序日志文件：c:\sys temroot\sys tem32\config\AppEvent.EVT
Internet信息服务FTP日志默认位置：c:\systemroot\sys tem32\logfiles\msftpsvc1\。
Internet信息服务WWW日志默认位置：c:\systemroot\sys tem32\logfiles\w3svc1\。
Scheduler服务器日志默认位置：c:\systemroot\schedlgu.txt 。该日志记录了访问者的IP，访问的时间及请求访问的内容。

因Windows2000延续了NT的日志文件，并在其基础上又增加了FTP和WWW日志，故本节对FTP日志和WWW日志作一个简单的讲述。FTP日志 以文本形式的文件详细地记录了以FTP方式上传文件的文件、来源、文件名等等。不过由于该日志太明显，所以高级黑客们根本不会用这种方法来传文件，取而代 之的是使用RCP。FTP日志文件和WWW日志文件产生的日志一般在c:\sys temroot\system32\LogFiles\W3SVC1目录下，默认是每天一个日志文件，

FTP和WWW日志可以删除，但是FTP日志所记录的一切还是会在系统日志和安全日志里记录下来，如果用户需要尝试删除这些文件，通过一些并不算太复杂的 方法，例如首先停止某些服务，然后就可以将该日志文件删除。具体方法本节略。

Windows 2000中提供了一个叫做安全日志分析器(CyberSafe Log Analyst，CLA)的工具，有很强的日志管理功能，它可以使用户不必在让人眼花缭乱的日志中慢慢寻找某条记录，而是通过分类的方式将各种事件整理 好，让用户能迅速找到所需要的条目。它的另一个突出特点是能够对整个网络环境中多个系统的各种活动同时进行分析，避免了一个个单独去分析的麻烦。

2.3.4 Windows XP日志文件
说Windows XP的日志文件，就要先说说Internet连接防火墙(ICF)的日志，ICF的日志可以分为两类：一类是ICF审核通过的IP数据包，而一类是ICF 抛弃的IP数据包。日志一般存于Windows目录之下，文件名是pfirewall.log。其文件格式符合W3C扩展日志文件格式(W3C Extended Log File Format)，分为两部分，分别是文件头(Head Information)和文件主体(Body Information)。文件头主要是关于Pfirewall.log这个文件的说明，需要注意的主要是文件主体部分。文件主体部分记录有每一个成功通 过ICF审核或者被ICF所抛弃的IP数据包的信息，包括源地址、目的地址、端口、时间、协议以及其他一些信息。理解这些信息需要较多的TCP/IP协议 的知识。ICF生成安全日志时使用的格式是W3C扩展日志文件格式，这与在常用日志分析工具中使用的格式类似。 当我们在WindowsXP的“控制面板”中，打开事件查看器。

就可以看到WindowsXP中同样也有着系统日志、安全日志和应用日志三种常见的日志文件，当你单击其中任一文件时，就可以看见日志文件中的一些记录，
在高级设备中，我们还可以进行一些日志的文件存放地址、大小限制及一些相关操作。

若要启用对不成功的连接尝试的记录，请选中“记录丢弃的数据包”复选框，否则禁用。另外，我们还可以用金山网镖等工具软件将“安全日志”导出和被删除。

2.3.5 日志分析
当日志每天都忠实的为用户记录着系统所发生的一切的时候，用户同样也需要经常规范管理日志，但是庞大的日志记录却又令用户茫然失措，此时，我们就会需要使 用工具对日志进行分析、汇总，日志分析可以帮助用户从日志记录中获取有用的信息，以便用户可以针对不同的情况采取必要的措施。

3 系统日志的删除
因操作系统的不同，所以日志的删除方法也略有变化，本文从Windows 98和Windows 2000两种有明显区别的操作系统来讲述日志的删除。

3.1 Windows 98下的日志删除
在纯DOS下启动计算机，用一些常用的修改或删除命令就可以消除Windows 98日志记录。当重新启动Windows98后，系统会检查日志文件的存在，如果发现日志文件不存在，系统将自动重建一个，但原有的日志文件将全部被消 除。

3.2 Windows 2000的日志删除
Windows 2000的日志可就比Windows 98复杂得多了，我们知道，日志是由系统来管理、保护的，一般情况下是禁止删除或修改，而且它还与注册表密切相关。在Windows 2000中删除日志首先要取得系统管理员权限，因为安全日志和系统日志必须由系统管理员方可查看，然后才可以删除它们。

我们将针对应用程序日志，安全日志、系统日志、DNS服务器日志、FTP日志、WWW日志的删除做一个简单的讲解。要删除日志文件，就必须停止系统对日志 文件的保护功能。我们可以使用命令语句来删除除了安全日志和系统日志外的日志文件，但安全日志就必须要使用系统中的“事件查看器”来控制它，打开“控制面 板”的“管理工具”中的“事件查看器”。在菜单的“操作”项有一个名为“连接到另一台计算机”的菜单。

输入远程计算机的IP，然后需要等待，选择远程计算机的安全性日志，点击属性里的“清除日志”按钮即可。

4 发现入侵踪迹
如何当入侵者企图或已经进行系统的时候，及时有效的发现踪迹是目前防范入侵的热门话题之一。发现入侵踪迹的前题就是应该有一个入侵特征数据库，我们一般使用系统日志、防火墙、检查IP报头(IP header)的来源地址、检测Email的安全性以及使用入侵检测系统(IDS)等来判断是否有入侵迹象。

三、实验步骤
Internet的迅速发展给人们带来巨大方便的同时，也使我们面临着各种安全事件的威胁。随着各种攻击技术的不断发展，针对网络资源的攻击越来越多，如拒绝服务攻击和蠕虫等。因此如何在大规模网络环境下检测网络异常并为应急响应人员及时提供预警信息，是目前亟待解决的问题。入侵检测看似困难，但实际上就是对大规模网络数据流进行数据流挖掘算法，但目前尚没有利用数据流挖掘技术，以检测出频繁或异常模式。
以sougou搜索引擎日志为例:
名称：     用户查询日志(SogouQ)
版本：    2008
介绍：    搜索引擎查询日志库设计为包括约1个月Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。
格式说明：    
数据格式为
用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL
其中，用户ID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户ID。
以下为几个实际的范例：

请用附件所给迷你版(样例数据, 328KB)：SogouQ.mini，阅读《基于大规模日志分析的网络搜索引擎用户行为研究》编写程序发现：
1）用户点击的热点；
2）结果之间的关联关系

四、实验报告要求
1、详细记录实验步骤、现象、问题。
2、以sougou搜索引擎日志为例，编写程序自动或手动，对数据进行分析，检查出频繁或异常模式。要求至少给出一条分析结论，并给出分析的详细过程。