awk
awk数据处理引擎
•awk编程语言/数据处理引擎
•基于模式匹配检测输入文本，逐行处理并输出，获取指定的数据
•awk过滤数据时支持仅打印某一列，如：第2列、第4列...
•awk命令格式1：awk [选项] '条件1{指令} 条件2{指令}' 文件名（注意：'条件 {指令}'必须用单引号包起来）
•awk命令格式2：前置命令 | awk [选项] '条件{指令}'
•常用指令：print （是最常用的打印指令）
•常用选项：-F （指定分隔符，如果不指定，默认以空格或tab键作为分隔符，可以通过[]集合匹配多种单个分隔符）
•awk 内置变量：$1第一列，$2第二列，$3第三列...依次类推。NR文件当前行号，NF文件当前列数。.
•命令格式1演示：
#随意编辑一个文档
[root@localhost131 shcode]# cat testawk.sh
hello the woman
welcome to chinal #默认分隔符打印第一列和第三列
[root@localhost131 shcode]# awk '{print $1,$3}' testawk.sh
hello woman
welcome china
#指定分割符 -F
#手动指定：为分隔符，打印/etc/passwd
[root@localhost131 shcode]# awk -F: '{print $1,$3}' /etc/passwd
...
apache 48
harry 1014
dhcpd 177
mysql 27
zabbix 987
#指定不同的分隔符
[root@localhost131 shcode]# head -1 /etc/passwd
#注意:/之间也算是一列
root:x:0:0:root:/root:/bin/bash
[root@localhost131 shcode]# awk -F[:/] 'NR==1 {print $1,$10}' /etc/passwd
root bash
#条件可以为正则表达式，需要用//包起来
#正则过滤以tom开头的行
[root@localhost131 shcode]# awk -F: '/^tom/ {print}' /etc/passwd
tom:x:1000:1003:tom:/home/tom:/bin/bash
#打印文件每一行与每一行的列数
[root@localhost131 shcode]# awk -F: '{print NR,NF}' /etc/passwd
#打印文件的每一行与每一行的列数
[root@localhost131 shcode]# awk -F: '{print NR,NF,$NF}' /etc/passwd
#定义用户自定义的常量：
[root@localhost131 shcode]# awk -F: '/^tom/ {print $1,"用户的解释器为：",$7}' /etc/passwd
tom 用户的解释器为： /bin/bash
#打印第一列为root的行
[root@localhost131 shcode]# awk -F: '$1~/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
#排除第7列nologin的行，打印第一列和第七列
[root@localhost131 shcode]# awk -F: '$7!~/nologin/ {print $1,$7}' /etc/passwd
#扩展正则
[root@localhost131 shcode]# awk -F: '/^(root/adm)/ {print $1,$7}' /etc/passwd
root /bin/bash
adm /sbin/nologin
•awk使用数值/字符串比较设置条件
•等于： ==
•不等于： ！=
•大于： >
•大于于等于： >=
•小于：<
•小于等于：<=
#打印第三行 第七列 [root@localhost131 shcode]# awk -F: 'NR==3 {print $7}' /etc/passwd /sbin/nologin #awk做数值对比,打印文件中第三3列大于等于1000的第1列，第3列，第7列 [root@localhost131 shcode]# awk -F: '$3>=1000 {print $1,$3,$7}' /etc/passwd #打印文件中第3列大于500 小于1000的 [root@localhost131 shcode]# awk -F: '$3>500 && $3<1000 {print $1,$3,$7}' /etc/passwd #排除第一列为root的行 [root@localhost131 shcode]# awk -F: '&1!="root" {print $1,$3,$7}' /etc/passwd
•awk过滤时机：awk 'BEGIN{指令}{指令}END{指令}' 文件名
·BEGIN{指令} #读取文件内容之前执行指令，指令执行一次。
·{指令} #读取文件过程中执行，逐行执行。
·END{指令} #读取文件结束后执行指令，指令执行一次。
#加BEGIN行前处理
[root@localhost131 shcode]# awk 'BEGIN{print"正在处理中"}'
正在处理中
#定义变量 ；号作为分隔的，执行完前面的执行后面的
[root@localhost131 shcode]# awk 'BEGIN{x=10;print x}'
10
#四则运算
[root@localhost131 shcode]# awk 'BEGIN{x=10;print x+5}'
15
[root@localhost131 shcode]# awk 'BEGIN{x=10;print x*5}'
50
[root@localhost131 shcode]# awk 'BEGIN{x=10;print x-5}'
5
[root@localhost131 shcode]# awk 'BEGIN{x=10;print x/5}'
2
[root@localhost131 shcode]# awk 'BEGIN{print 10+5}'
15
#通过awk统计系统使用bash解释器的用户有多少个
[root@localhost131 shcode]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
13
•awk分支结构
•if单分支格式：{if(条件){指令}}
•if双分支格式：{if(条件){指令}else{指令}}
#if单分支统计passwd文件中UID大于或等于1000的用户个数
[root@localhost131 shcode]# awk -F: '{if($3>=1000){i++}}END{print i}' /etc/passwd
13
#if双分支统计passwd中UID大于等于1000的用户，和小于1000的用户个数
[root@localhost131 shcode]# awk -F: '{if($3>=1000){i++} else{x++}}END{print i,x}' /etc/passwd
13 46
•awk数组
•定义数组格式1：数组名[下标]=值
•定义数组格式2：数组名[下标]
•数组的用法：for(变量名 in 数组名){print 数组名[变量]}
#awk定义数组方式1
[root@localhost131 ~]# awk 'BEGIN{x[0]=10;x[1]=20;print x[0],x[1]}'
10 20
#awk定义数组方式2
[root@localhost131 ~]# awk 'BEGIN{x[0]++;print x[0]}'
1
•awk循环结构
•命令格式：for(变量名 in 数组名){print 数组名[变量]}
#当用awk对数组进行取值的时候i in a，取得并不是组数对应的值，而取的是数组的下标。
[root@localhost131 ~]# awk 'BEGIN{a[0]=00;a[1]=11;a[2]=22;for(i in a){print i,a[i]}}'
0 00
1 11
2 22
•awk命令格式2：前置命令 | awk [选项] ‘条件[指令]’
#查看剩余内存free -h
[root@localhost131 ~]# free -h | grep 'Mem' | awk '{print $4}'
830M
[root@localhost131 ~]# free -h | awk '/Mem/{print $4}'
830M
#写一个监控脚本，监控网口进出口流量
#!/bin/bash
while :
do
clear
ifconfig ens33 | awk '/inet / {print "IP:",$6}'
ifconfig ens33 | awk '/RX p/{print "入口流量：",$5,$6,$7}'
ifconfig ens33 | awk '/TX p/{print "出口流量：",$5,$6,$7}'
sleep 0.2
done
#写一个脚本监控/分区可用容量
#df -h / 查看根分区容量，awk'NR==2'得到7.3G，后面的awk以G为分隔符打印第一列为7.3
[root@localhost131 ~]df -h / | awk 'NR==2 {print $4}'|awk -FG '{print $1}'
7.3
查询根分区剩余空间和内存剩余
#!/bin/bash df -h | grep '/$' | awk '{print"根分区剩余空间：",$4}' free -h | grep Mem | awk '{print "物理内存剩余空间：",$4}'
·通过awk统计用户登录系统的次数
#定义一个数组ip，把$1列的值赋给数组，最后循环打印
[root@localhost131 ~]# who | awk '{ip[$1]++} END{for(i in ip)print i,ip[i]}'
root 2
