linux之awk
awk命令
- 取行
- 取列
- 模糊匹配
- 判断比较
- 字符串比对
- 数字比对
- 支持
- 格式化输出
1.语法结构
sed -n '3p' file
awk 'NR==3' file
NR awk的内置变量 存储着每行的行号
符号
== 等于第几行
> 大于第几行
>= 大于等于第几行
< 小于第几行
<= 小于等于第几行
!= 不等
&& 并且 类似sed的 1,3
|| 或者
awk默认就是输出的动作 如果只输出则不需要加print
[root@m01 ~]# awk 'NR==2' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
[root@m01 ~]# awk 'NR==2{print}' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
# awk取出文件大于7的行
# NR>7 NR<7 NR==7 NR!=7
[root@m01 ~]# awk 'NR>7' passwd
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
2.模糊过滤
语法结构: 支持正则
sed -n '//p' file
awk '//' file # 模糊查找文件中的字符串
awk '//,//' file # 区间范围
# 过滤包含root的行
[root@m01 ~]# awk '/root/' passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# 找出以a开头的行
[root@m01 ~]# awk '/^a/' passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
# 找出文件中包含root或者adm的行
[root@m01 ~]# awk '/root|adm/' passwd
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
# 查找出以s或者b开头的行
[root@m01 ~]# awk '/^[sb]/' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
# 按照区间过滤 过滤日志中的时间范围
[root@m01 ~]# awk '/adm/,/ftp/' passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
# 查找以h结尾的行号
[root@m01 ~]# awk '/h$/' passwd
root:x:0:0:root:/root:/bin/bash
usera:x:1000:1000::/home/usera:/bin/bash
user1:x:1001:1001::/home/user1:/bin/bash
user2:x:1002:1002::/home/user2:/bin/bash
user3:x:1003:1003::/home/user3:/bin/bash
userb:x:1004:1004::/home/userb:/bin/bash
userc:x:1005:1005::/home/userc:/bin/bash
3.awk取列
语法结构:
awk '{print $1}' file # 取出文件中的第1列
默认按照空格或者tab键分隔成列
如果没有空格或者tab键，awk会将整行看成一列
在awk中一切在动作中的字符串都被看做是变量,加上双引号则视为普通的字符串
awk内置变量
$0 # 表示整行
$1 # 表示文件的第1列
$2 # 表示文件的第2列
, # 逗号表示空格
NF # 表示每一行最后一列的列号
# 取出文件中的第一列
[root@m01 ~]# awk -F ":" '{print $1}' passwd
root
bin
daemon
adm
lp
# 取出文件的第1列和第3列
[root@m01 ~]# awk -F ":" '{print $1,$3}' passwd |column -t
root 0
bin 1
daemon 2
adm 3
lp 4
4.awk数值运算
# 取出文件中倒数第一列，和第二列
[root@m01 ~]# awk -F ":" '{print $NF,$(NF-1)}' passwd
/bin/bash /root
/sbin/nologin /bin
/sbin/nologin /sbin
/sbin/nologin /var/adm
5.awk指定分隔符
语法结构:
awk -F: '{print $1}' # 第一种指定分隔符方法
awk -F ":" '{print $1}' # 第二种指定分隔符方法
awk -F "[:/]"
awk -F ":|/"
6.awk模式+动作
模式: 通过NR找出指定的行 awk 'NR==5'
通过模糊过滤的方式找出行 awk '/root/'
awk 'NR==5{print $1}'
# 输出文件中第2行的第2列
[root@m01 ~]# awk -F ":" 'NR==2{print $2}' passwd
x
# 输出文件中的大于第2行的最后一列内容
[root@m01 ~]# awk -F ":" 'NR>2{print $2}' passwd
x
x
x
x
# 输出包含adm的行的 第3列
[root@m01 ~]# awk -F ":" '/adm/{print $3}' passwd
3
7.awk比较表达式
- 按照字符比对查找行
# 查找文件中第1列等于root的行
[root@m01 ~]# awk -F ":" '$1=="root"' passwd
root:x:0:0:root:/root:/bin/bash
# 使用正则匹配字符串 提取第1列包含a的行
[root@m01 ~]# awk -F ":" '$1 ~ "a"' passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
usera:x:1000:1000::/home/usera:/bin/bash
# 匹配最后一列以n结尾的行
[root@m01 ~]# awk -F ":" '$NF ~ "h$"' passwd
root:x:0:0:root:/root:/bin/bash
usera:x:1000:1000::/home/usera:/bin/bash
# 对root的行进行取反 第1列不包含root的行
[root@m01 ~]# awk -F ":" '$1 != "root"' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 提取第1列不是以r开头的行
[root@m01 ~]# awk -F ":" '$1 !~ "^r"' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
8.awk数字比对
# 第3列等于0的行
[root@m01 ~]# awk -F ":" '$3==0' passwd
root:x:0:0:root:/root:/bin/bash
# 第3列小于5的行
[root@m01 ~]# awk -F ":" '$3<5' passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
# 提取第3列 大于5小于10的行
[root@m01 ~]# awk -F ":" '$3>5&&$3<10' passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
# 提取第3列的第二行 在开始加上uid 结束加上 over
[root@m01 ~]# awk -F ":" 'BEGIN{print "==uid=="}NR==2{print $3}END{print "==over=="}' passwd
==uid==
1
==over==
9.总结
1.awk取行 *****
awk 'NR==3' file
df -h|awk 'NR==5'
NR==3
NR!=3
NR>3
NR>=3
NR<3
NR<=3
&&
awk 'NR>3&&NR<6' file
||
awk 'NR==5||NR>8' file
2.awk模糊过滤 *****
awk '//' file
awk '//,//' file # 区间范围
awk '/^/' file # 支持正则 ^ $ | []
3.awk取列 *****
默认空格tab键为分隔符
$1 $2
awk '{print $1}' file
awk '{print $1,$2}' file
awk '{print $NF}' file # 取出文件中最后一列
awk '{print $(NF-1)}' file # 取出文件中倒数第2列
4.awk指定分隔符 *****
awk -F
awk -F:
awk -F ":" '{print $1}' file
awk -F "[:/]" 指定任意单个
awk -F "[:/]+" 前字符出现连续1一次及以上作为1个字符串
awk -Fa # 指定a为分隔符
5.awk模式+动作 *****
awk 'NR==3{print $1}' # 第3行的第1列
awk 'NR>3&&NR<6{print $NF}' # 取出文件中大于3小于6行的最后一列
awk '/root/{print $1,$NF}' # 将包含root行的第1列和最后一列
awk '$3>3{print $3}' # 大于3的行的第3列
6.awk数值比对 字符串比对 *****
awk '$3==0'
awk '$3>0'
awk '$3>80'
awk '$3<60' #统计不及格的
awk -F: '$1=="root"'
awk -F: '$1 ~ /^r/'
awk -F: '$NF ~ /n$/'
Never try,never know
