nxlog以syslog方式发送日志

1、nxlog简介

        nxlog是个跨平台日志传输插件，支持linux、windows平台，支持window及linux内置的大部分系统日志及常见的web日志，支持tcp、udp、http(s)等协议传输。

        安装包、指导手册及常用配置下载：http://pan.baidu.com/s/1qWTc2g0

2、配置目的

        通过nxlog将iis日志按syslog以udp的方式发送到linux服务器中作为linux服务器的syslog。

        特殊需求：is日志中日期和时间是两个字段，需要合并成一个字段。

3、系统及软件环境

        OS：window server2008 r2 Enterprise

        IIS：7.5

        Nxlog：2.9.1347

4、iis日志格式

5、nxlog配置步骤

    1)安装nxlog

    默认是安装在C:\Program Files (x86)\nxlog路径下。

    2)修改nxlog.conf配置信息

    位置：C:\Program Files (x86)\nxlog\conf\nxlog.conf

    修改方式：请看下面

    3)重启服务    

    4)验证

            验证去data目录下看nxlog.log是否是否有异常，正常应该无异常，仅含启动成功的日志信息

            通过资源监视器，看nxlog发送的网络流量是否存在，正常应该有

            通过日志平台来验证日志是否发送成功。

6、nxlog配置示例

    1)当日志文件都放在一个文件夹，nxlog.conf配置如下

define ROOT C:\Program Files (x86)\nxlog
define CERTDIR %ROOT%\cert
Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
LogFile %ROOT%\data\nxlog.log

<Extension w3c>
    Module xm_csv
    Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string
    Delimiter ' '
    QuoteChar '"'
    EscapeControl TRUE
    UndefValue -
</Extension>

<Extension syslog>
   Module xm_syslog
</Extension>

<Input in>
   Module   im_file
   #iis日志目录，文件名支持通配符，文件夹不支持
   File    "D:\iislog\W3SVC1\u_ex*.log"
   SavePos  TRUE
   #合并iis日志中的时间与日志字段为一个字段
   Exec if $raw_event =~ /^#/ drop(); 				\
       else 							\
       { 							\
	   $raw_event = replace($raw_event, ' ', '@',1);        \
           w3c->parse_csv(); 					\
	   $raw_event = replace($raw_event, ' ', "\t");         \
	   $raw_event = replace($raw_event, '@', ' ',1);        \
       }
</Input>
 
<Output out>
   Module om_udp
   Host 192.168.108.2
   Port 514
   Exec to_syslog_bsd();
</Output>
 
<Route 1>
   Path in => out
</Route>

    2)日志文件都放在多个文件夹，nxlog.conf配置如下

define ROOT C:\Program Files (x86)\nxlog
define CERTDIR %ROOT%\cert
Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
LogFile %ROOT%\data\nxlog.log

<Extension w3c>
    Module xm_csv
    Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string
    Delimiter ' '
    QuoteChar '"'
    EscapeControl TRUE
    UndefValue -
</Extension>

<Extension syslog>
   Module xm_syslog
</Extension>

<Input in_machine_a>
   Module   im_file
   #iis日志目录，文件名支持通配符，文件夹不支持
   File    'D:\iislog\W3SVC2\u_ex*.log'
   SavePos  TRUE
   #合并iis日志中的时间与日志字段为一个字段
   Exec if $raw_event =~ /^#/ drop(); 				\
       else 							\
       { 							\
	   $raw_event = replace($raw_event, ' ', '@',1);        \
           w3c->parse_csv(); 					\
	   $raw_event = replace($raw_event, ' ', "\t");         \
	   $raw_event = replace($raw_event, '@', ' ',1);        \
       }
</Input>

<Input in_machine_b>
   Module   im_file
   #iis日志目录，文件名支持通配符，文件夹不支持
   File    '\\192.168.108.3\d$\iislog\W3SVC2\u_ex*.log'
   SavePos  TRUE
   #合并iis日志中的时间与日志字段为一个字段
   Exec if $raw_event =~ /^#/ drop(); 				\
       else 							\
       { 							\
	   $raw_event = replace($raw_event, ' ', '@',1);        \
           w3c->parse_csv(); 					\
	   $raw_event = replace($raw_event, ' ', "\t");         \
	   $raw_event = replace($raw_event, '@', ' ',1);        \
       }
</Input>
 
<Output out>
   Module om_udp
   Host 192.168.108.2
   Port 514
   Exec to_syslog_bsd();
</Output>
 
<Route 1>
   Path in_machine_a,in_machine_b => out
</Route>

    3)支持多个数据源和多个输出

            配置多个in及out，可以共用一个path配置输出。

7、nxlog配置过程中出现过的问题

    1)nxlog2.8版本发送异常的问题

    问题现象

2015-03-11 21:27:31 ERROR if-else failed at line 50, character 246 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure 'parse_csv' failed at line 50, character 103 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; Not enough fields in CSV input, expected 14, got 0 in input ''

导致整个进程无法继续输出日志

    解决方法

替换使用2.9.1347版本的nxlog

    参考

http://nxlog.org/question/690/if-else-failed-not-enough-fields

8、性能分析

        从使用来看，单台服务器一天内大约会发送4到6G大小的日志到远程linux中，nxlog进程占用的资源如下：cpu占用率一般在0%到3%之间；占用带宽300k-600k/s之间；内存一般小于10M。

        总体而言对性能影响较小，注意对带宽的影响。

原文链接：http://www.alliedjeep.com/138487.htm