33、awk命令详解
33.1、命令介绍：
awk不仅仅是linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告。
awk的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令
行上直接编辑命令进行操作，也卡伊编写成awk程序进行更为复杂的运用。
33.2、 区域和记录:
1、区域：
$0(取整行数据) $1 $2 $3 $4 $5....$NF(代表最后一个字段)
2、记录：
33.3、数据切割：
默认情况下是以空字符串为分割符来分割列的；
-F：以特定条件分割
[ :]+：以“：”和“ ”分割多行连接
NR：行数
{print $1} :要打印的内容
$0:表示一行
NF:表示最后一行
[root@m01 ~]# awk -F "[ /]+" 'NR>1 && NR<5 {print $2}' /etc/passwd
bin:
sbin:
var
[root@m01 ~]# awk 'NR>1 && NR<5 {print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
33.4、awk数组：
1、awk数组介绍：
类似于shell中的数组
提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾工作；
任何在BEGIN之后列出的操作且在{}内，将在awk开始扫描输入之前执行，而END之后列出
的操作将在扫描完全部的输入之后执行；
因此，通常使用BEGIN来显示变量和初始化变量,所有的内容写在一起；使用END来输出最终结果，后面接文件；
两者最好不要同时使用；
2、awk数组脚本：
[root@backup scripts]# vim awk.sh
#!/bin/awk
BEGIN{
array[1]="lc"
array[2]="lc1"
for (key in array)
print key,array[key]
}
[root@backup scripts]# awk -f awk.awk
1 lc
2 lc1
3、awk命令行模式：
（1）BEGIN模式：
[root@backup scripts]# awk 'BEGIN {array[1]="lc";array[2]="lc1";for (key in array) print key,array[key]}'
1 lc
2 lc1
（2）END模式：
1）测试参数：
[root@backup scripts]# cat awk1.txt
1 beijing
2 shanghai
2）使用命令：
[root@backup scripts]# awk '{array[$1]=$2}END{for(key in array) print key,array[key]}' awk1.txt
1 beijing
2 shanghai
#参数解释：
array[$1]=$2 #$1代表第一列内容作为下标，$2代表第二列的内容作为值，然后放入数组array后进行输出；
33.5、awk的企业案例题：
1、对网站地址进行统计：
（1）实验数据：
[root@backup scripts]# vim www.txt
http://mp3.lc.com/index.html
http://post.lc.com/index.html
http://post.lc.com/index.html
http://www.lc.com/index.html
http://www.lc.com/index.html
http://www.lc.com/index.html
（2）命令代码：
[root@backup scripts]# awk -F '/' '{array[$3]++}END{for (key in array) print key,array[key]}' www.txt | sort -rn -k 2 | head -10
www.lc.com 3
post.lc.com 2
mp3.lc.com 1
array[$3]=array[$3]+1等价于array[$3]++
1）代码的读取方式：
读取第一行：array[mp3.lc.com]=1
读取第二行：array[post.lc.com]=1 #被覆盖
读取第三行：array[post.lc.com]=2
读取第四行：array[www.lc.com]=1 #被覆盖
读取第五行：array[www.lc.com]=2 #被覆盖
读取第六行：array[www.lc.com]=3
2、对web日志分析，列出访问最多的ip地址，并按照降序排列：
（1）方法一：
[root@backup scripts]# awk '{s[$1]++} END {for (k in s) print k,s[k]}' access_log | sort -k 2 -nr | head -10
172.16.1.41 42
::1 6
172.16.1.254 5
（2）方法二：
[root@backup scripts]# awk '{print $1}' access_log | sort | uniq -c | sort -rn | head -10
42 172.16.1.41
6 ::1
5 172.16.1.254
3、统计企业工作中高并发web服务器不同网络连接状态对应的数量：
（1）方法一：
[root@backup scripts]# awk '/^tcp/ {S[$NF]++} END {for (k in S) print S[k],k}' netstat.log | sort -nr | head -10
7 LISTEN
1 ESTABLISHED
（2）方法二：
[root@backup scripts]# awk '/^tcp/ {print $NF}' netstat.log | sort | uniq -c | sort -rn | head -10
7 LISTEN
1 ESTABLISHED
4、解决机房流量暴涨案例问题：
（1）案例
拔掉上连口网线；
过几分钟将网线口接上；
查看流量服务器，看哪台服务器流量大：
如果所有服务器流量都很大，是dos攻击；
如果是就1到2台有问题就是服务器中毒，需要将网线拔掉，
然后重装服务器或迁移到其它服务器上；
（2）解决代码：
输出格式：[访问次数*单个文件大小] [访问次数] [文件名(需要带url)]
方法一：
使用纯awk命令，比较难理解舍弃；
方法二：
[root@backup scripts]# awk '{print $7"\t"$10}' access_log | sort | uniq -c | awk '{print $1*$3"\t"$1"\t"$2}' | sort -rn | head -10
4961 1 /
3956 1 /icons/poweredby.png
2326 1 /icons/apache_pb.gif
572 2 /favicon.ico
36 6 /
0 42 /
