利用LogParser分析exchange日志

LogParser微软开发的一个强大的日志分析软件，他的大名还是在和微软合作项目的时候听说的，但当时只是为了分析iis日志使用，可以很方便的把iis日志导入数据库中。

最近做的一个exchange监控系统时候需要分析log日志又把他拎了出来详细研究了一下。

LogParser主用分为以下几块：

• Input Formats
• Output Formats
• Query Syntax

Input Formats 可根据分析log文件格式不同选用内置的一些解析器，其中最常用的CSV格式。

Output Formats 输出文件的格式，主用用在命令行模式下把处理的数据进行导出处理时使用。

Query Syntax 在用logparser分析日志文件时可把文件理解成数据库的表，可以执行一些基本的sql语句来对日志文件进行查询过滤等操作。

LogParser另一个强大之处是可以转换成COM+，使其他语言可以进行调用，例如exchange日志进行分析时，我就是用.net来对日志进行二次处理的。

本次Exchange日志分析思路：

由于exchange服务器是多台集群，所以日志会分散在多台服务器上，并且日志是不重复的，所以利用.net通过网络邻居访问多台服务器日志目录，然后对目录进行定时抓取日志，利用LogParser对日志进行简单过滤，然后倒入到数据库中。前台通过倒入的原始数据进行数据分析。

基本代码实现：

　　　　　　using (IdentityScope c = new IdentityScope("mossadmin", "inet", "password")) //通过网络邻居访问时提供域中号密码
            {
                var logs = System.IO.Directory.GetFiles(LogPath, "*.log") //遍历目录内所有文件，筛选出大于等于上次更新文件
                    .Where(f => int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8)) >= _config.fileDT)
                    .OrderBy(f => int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8)))
                    .ToList();

                if (logs.Count > 0)
                {
                    DelOldLog(_config);
                    logs.ForEach(f =>
                    {
                        bind(f,_config.MacName);
                        _config.fileDT = int.Parse(f.Substring(f.LastIndexOf('\\') + 7, 8));
                        _config.modifyDT = new FileInfo(f).LastWriteTime;
                    });
                }
            }

LogParser处理：

static void bind(string logPath,string macName)
        {
            LogQuery oLogQuery = new LogQuery();//调用LogPaser日志查询类库
            
            TsvInputFormat oTsvInputFormat = new TsvInputFormat();//声明日志格式类型
            LogRecordSet oRecordSet;
            string query = string.Empty;
             
            DataTable dt = new DataTable();
            #region 所有的条数--Log中包含“reccode=”的行数
            query = @"select * from '" + logPath + "' where [event-id]='RECEIVE'";

            oTsvInputFormat.nSkipLines = 4;
            oTsvInputFormat.iCodepage = 65001;

            oRecordSet = oLogQuery.Execute(query, oTsvInputFormat);
            for (int i = 0; i < oRecordSet.getColumnCount(); i++)
            {
                dt.Columns.Add(oRecordSet.getColumnName(i));
            }
            dt.Columns.Add("MacName");
            //取得所有的資料
            for (; !oRecordSet.atEnd(); oRecordSet.moveNext())
            {
                DataRow dr = dt.NewRow();
                for (int i = 0; i < oRecordSet.getColumnCount()-1; i++)
                {
                    dr[oRecordSet.getColumnName(i)] = oRecordSet.getRecord().getValue(oRecordSet.getColumnName(i));
                }
                dr["MacName"] = macName;
                dt.Rows.Add(dr);
            }

            oRecordSet.close();
            #endregion
            
            SqlBulkCopy sqlbulkcopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction);
            sqlbulkcopy.DestinationTableName = "LM_webLog";//数据库中的表名
            sqlbulkcopy.WriteToServer(dt);

            Console.WriteLine(dt.Rows.Count + ":" + logPath);
            

        }

Exchange日志格式：

#Software: Microsoft Exchange Server
#Version: 14.0.0.0
#Log-type: Message Tracking Log
#Date: 2012-12-19T00:02:50.276Z
#Fields: date-time,client-ip,client-hostname,server-ip,server-hostname,source-context,connector-id,source,event-id,internal-message-id,message-id,recipient-address,recipient-status,total-bytes,recipient-count,related-recipient-address,reference,message-subject,sender-address,return-path,message-info,directionality,tenant-id,original-client-ip,original-server-ip,custom-data

Exchange的日志格式和标准的csv稍有不同，可看到文件头部都有一些注释的文件，在利用LogParser处理时一直没办法读取出正确的列来，然后在研究自带的帮助文档时才发现原来它可以指定跳过多少行进行处理。在一切都google的年代越来越少认真的去看自带的帮助文档了，这个以后要改掉不能太依赖google了。

oTsvInputFormat.nSkipLines = 4; //跳过前四行进行处理
oTsvInputFormat.iCodepage = 65001;//文件编码格式

总结：

Logparser在文本类型日志处理时确实足够强大，基本上能识别任何格式的数据，结合.net一切使用在做数据分析，数据导入时是很强大的工具，并且速度飞快。