FTP服务器日志解析

转至:https://blog.csdn.net/weixin_34320724/article/details/92045244

FTP是老牌的文件传输协议,在网络中应用非常广泛。本节就Vsftp服务器的日志进行重点讨论,在本书的FTP多级跳案例中就会涉及到本节学到的知识。在Redhat Linux系统下Vsftp的配置文件在/etc/vsftp/vsftp.conf文件中。默认情况下,Vsftp不单独记录日志,也就是说不会输出到一个单独的文件中存储,而是统一存放到/var/log/messages文件中。Vsftp日志实例显示如图1所示。

153723_YtjR_71229.jpg

图1 Vsftp日志实例

通过在messages过滤得方法可以看到Vsftp的客户机连接日至,但这段日志里只反映了少量信息,如果需要查看更详细的信息如何操作?下面我们来编辑/etc/vsftp/vsftp.conf配置文件。

如何将Vsftp服务器的日志文件单独输出到某个文件下呢?这里需要三个步骤:

153735_tcCA_71229.jpg

下面对重要语句做一些解释:

标识A: 启用xferlog_enable=YES,它表示将客户机登录服务器后上传或下载的文件具体信息记录。

标识B:启用xferlog_file=/var/log/vsftpd.log,它表示将上传下载写到指定文件,也就是/var/log/xferlog文件。

标识C:启用dual_log_enable=YES,它表示启用双份日志,一份日志由xferlog记录,同时vsftpd.log也记录另一份日志,注意他们两儿可不是互为备份,其内容不同,但各有千秋。

   接下来还得解释一下/usr/bin/xferstats这个工具,它是日志统计工具,用于计算传输了多少文件并创建日志文件。

注意:在您的Linux系统中一定安装xferstats的包,才能对他进行操作,如果发现找不到xferstats没有命令就要安装这个包。

1.3.1 分析vsftpd.log和xferlog

Vsftpd.log和xferlog是Vsftp服务器记录日志的来源,下面重点对着两种日志文件的格式做一下分析。

(1)vsftpd.log实例分析首先打开vsftpd.log.1文件,看看它的日志结构。如图2示。

153748_RRZ7_71229.jpg

图2 ftpd分离后的日志结构

在图1-9中日志仅反映了部分Ftp登录情况:例如登录IP地址、用户名。但下载软件内容不会记录下来,有时网管恰好关心这一段日志信息,这时我们需要同时参考xferlog日志,还记得上面说过的xferstats工具吗?

(2)Xferlog日志实例分析

xferlog日志会记录FTP会话详细信息,它能够显示客户机向FTP Server上传/下载的文件路径及名称认证方式等信息,下面我们看看这个文件的具体内容, xferlog日志格式见表1-4所示。

153759_8Fcw_71229.jpg

Xferlog日志格式解析:

153821_dkS2_71229.jpg

 

   注意:这里指的认证是结合PAM(一种可插入的安全验证模块)的方式,主要是为了保证安全,在企业中常会用到Vsftp+Pam+Postgresql的架构,在这种架构中我们可以设置为用MD5工具来验证密码,这样客户机在远程要用MD5加密过密码的用户登录才能成功获取文件,有关PAM的应用在本书的第九章SSH加固中也会提到。

1.3.2 中文对Vsftp日志的影响

大家在使用RHEL5系统中的Vsftp(2.05版)时有时会遇到下面中文日志的显示问题,我们看看下面的例子。如果客户机上传的文件中含有中文名那么日志将显示乱码,例如新建一个带中文的文件夹,发现在其日志(/var/log/xferlog和/var/log/vsftpd.log)中就会产生如下日志(不能正常的显示中文):

Sat Jan 12 00:26:18 2013 [pid 6853][ftp] FAIL MKDIR: Client “192.168.150.1”, “/pub/???????????”

   当日志中出现乱码,怎么办呢?

Ø  将系统安装成为默认为中文;

Ø  调整字符集,将系统的字符集改成zh_CN.gb;或者将字符集修改为GB2312

Ø  修改vsftpd.conf,加入syslog_enable=yes参数,编辑vsftpd.conf,再重启vsftpd;

经过笔者尝试,以上三种方法都不能解决中文日志的输出问题。其实,并不是设置问题,是Vsftpd本生问题(当然修改源码然后编译安装是可以解决的),要解决就要将日志输出到/var/log/messages,可这样做和我们当初想法将他分离相违背, 有兴趣的读者也可采用Proftp,见图2示。它的主要优点是,不但可以完整的记录中文的文件名在日志汇总,还可以日志分离,查看起来比较方便。

153850_iFXg_71229.jpg

图2Proftp中文日志显示

1.3.2 用Logparser分析FTP日志

   在分析了Vsftp服务器日志后,在实际工作中Windows系统下的FTP服务器应用的也不少, 微软的IIS服务器常常会成为入侵的对象。微软LogParser工具是Windows系统下功能非常的强大的日志分析工具,它可以分析IIS日志这种基于文本的日志格式,操作系统事件日志还能分析CSV和XML这类的文件格式,尤其对于上百兆甚至是上GB的日志文件都可以快速分析,利用LoParser能轻松查出你需要的数据,而且还能以图表的形式输出结果。下面就用这款工具来筛选FTP日志中的异常连接。主要分为了收集Ftp日志、导入数据库、日志数据筛选和异常数据分离四个步骤:

步骤一: FTP日志的采集

微软IIS服务器的FTP日志文件默认位置为%systemroot%\system32\LogFiles\MSFTPSVC1\,对于绝大多数系统而言则是C:\WINDOWS\system32\LogFiles\MSFTPSVC1(如果安装系统时定义了系统存放目录则根据实际情况修改),系统默认每天自动生成一个日志文件。日志文件的名称格式是: ex + 年份的末两位数字+月份+日期,如2006 年3月19日的FTP日志文件是ex060319.log,这是个文本文件,可以用任何编辑器打开,例如记事本程序。

   为了详细地分析采集来的FTP日志,下面我们先来看看常见的命令有: USER 〈用户名〉、PASS〈密码〉、DELE <文件名>、QUIT 等,由于命令较多本节中就不一一列出了。对于常见的响应提示信息,如表2所示(与Apache的类似)。

表2 FTP 响应信息含义

状态代码

含 义

2XX开头

成功

3XX开头

权限问题

4XX开头

文件问题

5XX开头

服务器故障

    FTP 命令加上响应号才具有实际意义,例如:USER stu 331 表示用户试图登录, PASS - 230 表示登录成功。

步骤二:FTP日志导入MS SQL数据库

   把Ftp日志导入到SQL Server数据库,首先在需要安装好LogParser 2.2+SQL Server环境;然后在待分析机器上装好SQL  Server 环境,然后新建数据库名为iis;最后将IIS日志拷贝到本机。准备工作完成后输入如下命令:

logparser.exe "select * from C:\WINDOWS\system32\LogFiles\MSFTPSVC1\ex*.log to iisftplog_table" -o:sql -server:127.0.0.1 -driver:"sql server" -database:iis -username:sa -password:123456 -createtable:on

命令执行和输出效果见图3所示

153911_adGP_71229.jpg

图3   Logparser命令执行和输出效果

    在执行上面命令时,一定要指定日志文件的完整路径,否则将出现找不到日志的提示。 当Logparser程序正确输出后,就可以打开数据库检查了,如图4、图5所示。

153921_uUkj_71229.jpg

图4 在企业管理器中打开iislog_table 表

153935_8Rmi_71229.jpg

图5 查看iisftplog_table表

步骤三:FTP日志数据的筛选

IIS的FTP日志包括5 个域: time、c-ip、cs-method、cs-uri-stem 和sc-status。

下面选取了FTP服务器某日白天的日志, 一共1万多条条记录

#Software: Microsoft Internet Information Services 5.2

#Version: 1.0

#Date: 2010-05-08 08:30:23

#Fields: time c-ip cs-method es-uri-strem sc-status

08:30:23 192.168.3.62 [1]USER stu 331

08:30:23 192.168.3.62 [1]PASS -   530

08:30:28 192.168.3.62 [2]USER stu 331

08:30:29 192.168.3.62 [2]PASS -   530

... ...

09:10:23 192.168.3.135 [15]USER anonymous 331

09:10:23 192.168.3.135 [15]PASS IEUser@   230

09:10:37 10.10.1.200   [16]USER px        331

09:10:37 10.10.1.200   [16]PASS -         530

... ...

21:44:21 63.103.87.197  [1163]USER anonymous  331

21:44:21 63.103.87.197  [1163]PASS yourname@yourcompany.com  230

21:44:40 63.103.87.197  [1163]sent  /mp3.ape  550

将FTP日志文件导入MS SQL 数据库后,字段名保留日志文件中的名字,下面就可以通过脚本对FTP进行深度处理。

步骤四:分离正常与异常数据源

FTP日志文件导入至MS SQL服务器后,在数据库中用SQL命令将每一天的数据都按cs-method 字段进行升序排序。每天日志中cs-method 字段相同的记录表示该用户这次登录所做的一系列操作,数据库中记录是否出现异常响应,可以根据sc-status 字段的值来判断,例如如果出现登录错误, 即PASS-530,连续出现3 次以上,则认为异常。可以将异常的登录错误信息输出即可,进过这样对FTP日志文件进行的深度挖掘,能非常方便管理人员迅速判断故障,提高了工作效率和准确度。

转载于:https://my.oschina.net/chenguang/blog/375311

posted @ 2020-11-03 16:54  study_goup  阅读(5274)  评论(0编辑  收藏  举报