日志文件分析

在linux系统中查看分析应用日志，是日常工作中最常用的场景，下边记录整理下常用的命令和方法

　　#日志文件名：logfile　　

日志文件操作

一.日志文件传输

日志文件传输，是指将日志文件传输到其它介质，以方便进行下一步处理，一般都是从服务器传输到本地电脑。以下介绍几种常用方法

1.FTP文件传输：

命令：wget ftp://${HostName}/${RealPath}/logfile

HostName是服务器地址，由于ftp服务默认端口21，一般不用特意指定端口； RealPath是日志文件的真实路径，位于日志文件目录下执行pwd命令可以得到

注意事项：

1需要服务器上开启了FTP服务，检查FTP服务是否开启，ps -ef | grep vsftpd

2服务器上的ftp服务可能是禁止匿名访问的，需要用户名和密码，具体知识请参照网上ftp服务部署配置。

3.当然也可以通过ftp软件链接ftp服务器，不使用wget命令，windows系统的cmd默认不支持wget命令

2.rz/sz 命令

命令：sz -be logfile

sz是发送文件，rz是接收文件，-b是以二进制传输，-e是支持断点续传

注意事项：

1.通过Xshell或CRT等工具登陆服务器上执行命令

2.linux服务器上安装了lrzsz工具包，可以通过rpm -qa | grep lrzsz查看验证

3.SimpleHTTPServer简易http服务

命令：python -m SimpleHTTPServer 8080

wget http://${HostName}:${Port}/logfile

注意事项：

1.这种方式本质上是启动一个http服务，在日志文件的当前目录启动即可，这样做是不符合安全生产规范的非法操作，文件传输后，尽快关闭，使用ctrl + c 退出即可。

2.linux上必须有python环境，

3.最后端口是可以变更的,防止和服务器上端口冲突

 

二.日志文件查看处理

当我们将日志文件拿到本地后，有各种方式各种软件来查看处理日志文件，这些暂且不讲，这里主要将在服务器上处理日志文件

查看文件的几种方式：

cat lofile #从头查看文件，并将整个文件打印到控制台

more logfile #以分页的方式从头查看文件，按任意键跳转下一页

less logfile #以分页的方式从末尾查看文件，按任意键跳转下一页，注意控制台上显示的内容是按照行倒序的，有时间戳的日志文件能明显的提现这一点

head logfile #查看文件的头几行，head -n 可以指定查看n行

tail logfile #查看文件的末尾几行，tail -n 可以指定查看n行，tail -f 可以追加显示日志的新增行，对一个实时更新的文件使用tail -f ，控制台将实时打印日志文件的新增内容

grep #用于查找文件里符合条件的字符串。

split #split命令用于将一个文件分割成数个。split -l <行数> oldfile newfile前缀

awk #awk 是一种处理文本文件的语言，是一个强大的文本分析工具。使用方法可以参考教程：https://www.runoob.com/linux/linux-comm-awk.html

sed #sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。使用方法可以参考教程：https://www.runoob.com/linux/linux-comm-sed.html

备注：灵活使用以上命令，可以满足日常处理日志文件需求，上边命令可以单独使用也可以通过管道符 |来连接使用。