awk理论详解、实战
答疑解惑:
为什么用awk取IP的时候用$4?
ifconfig eth0 | awk -F '[ :]+' 'NR==2{print $4}'
IP第二行内容如下:
inet addr:10.0.0.41 Bcast:10.0.0.255 Mask:255.255.255.0
# 因为分隔符-F的'+',表示将多个空格或冒号当成一个对待,此时大多数人都会认为$1是inet,
你不是说把多个空格当成一个,那就把前面的空格都去掉就ok么.实际情况是:
# 分隔符前后必须有内容,你把前面这么多空格当成一个,那它后面有字段,前面没字段,它去分割谁?
所以:以空格开头的(不管是一个还是多个)行,空格将是第一个字段.
echo " 1 2 3 4" | awk -F '[: ]+' '{print $1,$2}'
1
1.基本结构
awk BEGIN{coms}/pattern/{coms}END{coms}
开始模块 /找谁/{干什么} 结束模块
a.BEGIN和END模块最多各出现一次
b./找谁/{干什么},可以是多个,比如:
NR==2{print $1}NR==5{print $2}
2.常用内置变量
$0:当前记录,一整行;
$1,$2,$3...$n:第n个字段,字段由FS分隔;
FS(filed separator):输入字段分隔符,默认是空格;
OFS:输出字段分隔符,默认为空白字符;
cat test.txt
ABC:123:Jack
DEF:456:Alice
GHI:789:Amy
# 使用内置变量时，要使用-v选项来指定对应的变量
awk -v FS=":" -v OFS="=" '{print $1,$2}' test.txt
NF(number of filed):字段数,有多少字段,$NF代表最后一个字段;
NR(Number of Record):行号,从1开始;
FNR:当前输入文件的记录数目.
# 将/etc/passwd中第一行的第一个元素和第七个元素调换位置
awk -F ":" 'NR==1{print $7":"$2":"$3":"$4":"$5":"$6":"$1}' /etc/passwd
# 取出输出内容的第三行的倒数第二列
df -hT | awk 'NR==3{print $(NF-1)}'
#取/etc/passwd第10行到20行的第三列，写入到test.txt中
awk -F ":" 'NR>9 && NR<21{print $3}' /etc/passwd | cat -n
awk -F ":" 'NR>9 && NR<21{print $3}' /etc/passwd > test.txt # 用双引号不行
3.不常用内置变量
RS(Record Separator):输入记录分隔符(输入换行符),默认为换行符;
ORS(Out Record Separator):输出记录分隔符(输出换行符),指定输出时的换行符;
FILENAME:当前文件名;
ARGV:数组,保存的是命令行所给定的各参数;
ARGC:ARGC数组的个数.
# 遇见了RS指定的分隔符就换行
awk -v RS=":" '{print NR,$0}' test.txt
# 遇见了换行符就把\n替换成ORS指定的分隔符
awk -v ORS="---" '{print $0}' test.txt
ABC:123:Jack---DEF:456:Alice---GHI:789:Amy---[root@nfs01 ~]#
awk 'BEGIN{print ARGV[0],ARGV[1],ARGV[2],ARGC}' a.txt b.txt
awk a.txt b.txt 3
# 自定义变量:
# 使用-v来自定义变量,-v varname=value
awk -v myVar="testvar" 'BEGIN{print myVar}'
# 在program中直接定义,定义变量和action之间需要用;隔开
awk 'BEGIN{myVar="testvar";print myVar}'
4.awk格式化:
# 先介绍一下printf
printf "%s\n" abc def ghi jkl
abc
def
ghi
jkl
printf "( %s )" 1 18 66;echo""
( 1 )( 18 )( 66 )
a.默认不会换行,如果需要,可以在"格式替换符"后加"\n"进行转义;
b."替换符"和"被格式化的文本"之间需要用"逗号"隔开;
c."替换符"和"被格式化的文本"得一一对应.
awk -v FS=":" 'BEGIN{printf "%-20s\t %s\n" , "User","UID"} {printf "%-20s\t %s\n" , $1,$3}' /etc/passwd
# "-"表示左对齐,不加默认右对齐
netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'
5.模式:也就是条件,要找谁
# 关系运算符模式:
awk 'NR>3 && NR<6 {print $0}' /etc/passwd
# 正则模式:awk '/正则表达式/{print xx}' filename
awk '/\/bin\/bash$/{print $0}' /etc/passwd
# 当使用{x,y}类型次数匹配的正则表达式时,需要使用--posix选项或--re-interval选项
awk --posix '/hel{2,3}o/{print $0}' test3
hello
helllo
# 行范围模式:
# awk '/正则1/,/正则2/{动作}' filename
# 从被正则1匹配到的行开始,到被正则2匹配到的行结束,之间所有行都会执行对应的动作,
# 这种模式被称为行范围模式
# 想要从如下文本中找出,网卡1的地址在192.168.0.0、16网段的主机
cat test5
主机名 网卡1的IP 网卡2的IP
主机A 192.168.1.123 192.168.1.124
主机B 192.168.2.222 172.16.100.2
主机C 10.1.0.1 172.16.100.3
主机D 10.1.5.1 192.168.1.60
awk '$2~/192\.168\.[0-9]{1,3}\.[0-9]{1,3}/{print $1,$2}' test5
6.控制语句
# 必须用在{}中,且比较内容用()括起来
awk -F: '{if($1~/mail/) print $1}' /etc/passwd # 简写
awk -F: '{if($1~/mail/) {print $1}}' /etc/passwd # 全写
awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd
awk -F: 'NR!=1{if($3<500) {print $1,"Suser"} else {print $1,"Nuser"}}' /etc/passwd
awk 'BEGIN{for(i=1;i<=6;i++){print i}}'
# while循环是只有满足条件时才执行对应语句;
awk 'BEGIN{i=1;while(i<=6){print i;i++}}'
# do...while循环是无论是否满足条件,先执行一遍do对应的代码,
# 然后再判断是否满足while对应的条件,满足则执行do对应的代码;不满足则不执行.
awk 'BEGIN{i=1;do{print "hehe";i++}while(i<=5)}'
a.continue和break
# 注意这条命令中的括号,当i的值为3时,跳过当前循环:
awk 'BEGIN{for(i=1;i<=5;i++) {if (i==3){continue};print i}}'
#当i的值为3时,跳出整个循环:
awk 'BEGIN{for(i=1;i<=5;i++) {if (i==3){break};print i}}'
b.exit、next
# 如果没有在END模式使用exit,则直接跳出awk命令:
awk 'BEGIN{print 1;exit;print 2}'
# 如果在END模式中使用了exit,则直接执行END,跳过其它动作:
awk 'BEGIN{print "start";exit}{print $0}END{print "over"}' test5
# next让awk不对匹配到的行进行操作,直接处理下一行:
awk '{if (NR==2){next} print $0}' test5
c.条件、逻辑、数值
# 条件表达式
awk -F: '$1=="mysql"{print $3}' /etc/passwd
# 逻辑运算符
awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd # 逻辑与
awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd # 逻辑或
# 数值运算
awk -F: '/root|mail/{print $3+10}' /etc/passwd
10
18
21
# 这条命令为什么打印了三行,因为下面这条命令会匹配到三行
awk -F: '/root|mail/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
7.实际应用
应用1:
# 计算/etc目录下,普通文件的大小,使用KB作为单位
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}'
应用2:
# 统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少?
netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'
应用3:
# 统计/etc目录下不同用户的普通文件的总数是多少?
ls -l|awk 'NR!=1 && !/^d/{sum[$3]++}END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'
# 统计/etc目录下不同用户的普通文件的大小总size是多少?
ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5}END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'
应用4:
# ftp|http|mysql的端口号是多少
awk -F "[ /]+" '$1~/^(ftp|http|mysql)$/{print $1,$2}' /etc/services | uniq
# ^http$:前后都加上,表示只查找指定内容,其实不加也行
# 计算/etc/services文件中的空行
grep -c "^$" /etc/services
awk '/^$/{a=a+1;print a}END{print a}' /etc/services
awk '/^$/{a=a+1}END{print a}' /etc/services
应用5:
cat test0
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
awk 'BEGIN{math=0;eng=0;com=0;printf "Lineno. Name No. Math English Computer Total\n";
printf "------------------------------------------------------------\n"}{math+=$3; eng+=$4; com+=$5;
printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",NR,$1,$2,$3,$4,$5,$3+$4+$5}
END{printf "------------------------------------------------------------\n";
printf "%-24s %-7s %-9s %-20s \n","Total:",math,eng,com;
printf "%-24s %-7s %-9s %-20s \n","Avg:",math/NR,eng/NR,com/NR}' test0
Lineno. Name No. Math English Computer Total
------------------------------------------------------------
1 Marry 2143 78 84 77 239
2 Jack 2321 66 78 45 189
3 Tom 2122 48 77 71 196
4 Mike 2537 87 97 95 279
5 Bob 2415 40 57 62 159
------------------------------------------------------------
Total: 319 393 350
Avg: 63.8 78.6 70
参考linux awk详解:https://www.cnblogs.com/xudong-bupt/p/3721210.html
