重温LINX常用命令
1.首先上场的是大名鼎鼎的三剑客之老大---awk
awk、sed、grep更适合的方向：
grep 更适合单纯的查找或匹配文本
sed 更适合编辑匹配到的文本
awk 更适合格式化文本，对文本进行较复杂格式处理
内置变量表：
命令示例：
#统计apache日志单ip访问请求数排名
[root@mynet ~]# awk '{print $1}' /var/log/messages|sort|uniq -c |sort -rn -k1 122556 Sep 46859 Oct 44904 Aug 16957 Nov 1
#统计服务器当前单IP连接数最大的IP地址前十
[root@mynet ~]# netstat -an|grep EST|awk -F '[ :]+' '{++S[$6]} END {for (key in S) print "ip:"key"----->",S[key]}'|sort -rn -k2 ip:219.151.40.88-----> 1 ip:169.254.0.55-----> 1
#统计/etc下的conf配置文件容量之和
[root@mynet etc]# ls -alrt *.conf | awk '{sum+=$5} END {print sum}' 39346 #统计/etc下的cfg文件数量
[root@mynet etc]# ls -alrt *.cfg | awk '{sum+=$5} END {print sum}' 22
#过滤行首或行尾
[root@mynet ~]# awk -F: '/nologin$/ {print $1,$NF}' /etc/passwd
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologi
...
[root@mynet ~]# awk -F: '!/nologin$/ {print $1,$NF}' /etc/passwd
root /bin/bash
sync /bin/sync
shutdown /sbin/shutdown
... #UID包含3 [root@mynet ~]# awk -F: '$3~3 {print $1,$3,$NF}' /etc/passwd
adm 3 /sbin/nologin
rpc 32 /sbin/nologin
ntp 38 /sbin/nologin
abrt 173 /sbin/nologin
#匹配root开头的用户
[root@mynet ~]# awk '/^root/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
/^root/ 为选择表达式，$0代表是逐行。
后面的输出部分可以省略，可以按下面的写法用：
[root@mynet ~]# awk '/^root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
#UID=0
[root@mynet ~]# awk -F: '$3==0' /etc/passwd
root:x:0:0:root:/root:/bin/bash
#包含systemd-n或systemd-b的行
[root@mynet ~]# awk '/systemd-[nb]/' /etc/passwd
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
#包含mail和sshd的行
[root@mynet ~]# awk -F: '/mail|sshd/' /etc/passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
#只对第七列进行过滤
[root@mynet ~]# awk -F: '$7 ~ /\/bin\/bash/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
grassrouter:x:1001:1002::/home/grassrouter:/bin/bash
#只对第七列进行过滤，显示结果的第5行
[root@mynet ~]# awk -F: '$7 ~ /\bin\/bash/ || NR==5' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#字段分隔符号（内建变量FS）
[root@mynet ~]# awk 'BEGIN{FS=":"}/^root/{print $1,$NF}' /etc/passwd
root /bin/bash
FS为字段分隔符，可以自己设置，默认是空格，因为passwd里面是”:”分隔，所以需要修改默认分隔符。
NF是字段总数，$0代表当前行记录，$1-$n是当前行，各个字段对应值。
上面的输出可以简写成我们常用的写法：
[root@mynet ~]# awk -F: '/^root/{print $1,$NF}' /etc/passwd
root /bin/bash
#记录条数(内建变量NR,FNR)
[root@mynet ~]# awk 'BEGIN{FS=":"}{print NR,$1,$NF}' /etc/passwd
1 root /bin/bash
2 bin /sbin/nologin
3 daemon /sbin/nologin
………………
#输出字段分隔符（内建变量OFS)
[root@mynet ~]# awk 'BEGIN{FS=":";OFS="||"}/^root/{print FNR,$1,$NF}' /etc/passwd
1||root||/bin/bash
#输出行记录分隔符(内建变量ORS）
ORS默认是换行符，这里修改为：”#”，所有行之间用”#”分隔。
[root@361way ~]# [root@mynet ~]# awk 'BEGIN{FS=":";ORS="#"}{print FNR,$1,$NF}' /etc/passwd
1 root /bin/bash#2 bin /sbin/nologin#3 daemon /sbin/nologin#4 adm /sbin/nologin ......
#输入参数获取(内建变量ARGC ,ARGV）
ARGC得到所有输入参数个数，ARGV获得输入参数内容，是一个数组。
#[root@mynet ~]# awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="GV[k]; }}' /etc/passwd
ARGC=2
0=awk
1=/etc/passwd
#获得传入的文件名(内建变量FILENAME)
[root@mynet ~]#awk 'BEGIN{FS=":";print FILENAME}{print FILENAME}' /etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
…………省略
FILENAME,$0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量。
所以上面的语句等价于下面的语句：
[root@mynet ~]# awk -F: '{print FILENAME}' /etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
…………省略
#获得linux环境变量（内建变量ENVIRON）
使用该参数时，后面不接文件也可以直接输出。
[root@mynet ~]# awk 'BEGIN{print ENVIRON["PATH"];}'
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#输出数据格式设置：(内建变量OFMT）
[root@mynet ~]# awk 'BEGIN{OFMT="%.3f";print 2/3,123.11111111;}'
0.667 123.111
注意：awk下printf默认输出是不换行的，print输出会在行尾加换行符，而使用OFMT在进行数学运算时很好的使用。
#按宽度指定分隔符（内建变量FIELDWIDTHS）
[root@mynet ~]# echo 20100117054932 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 3"}{print $1"-"$2"-"$3,$4":"$5":"$6}'
2010-01-17 05:49:32
FIELDWIDTHS其格式为空格分隔的一串数字，用以对记录进行域的分隔，FIELDWIDTHS="4 2 2 2 2 2"就表示$1宽度是4，$2是2，$3是2 .... 。
这个时候会忽略：FS分隔符。
#RSTART RLENGTH
[root@mynet ~]# awk 'BEGIN{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
11 11 4
[root@mynet ~]# awk 'BEGIN{start=match("this is a test",/^[a-z]+$/); print start, RSTART, RLENGTH }'
0 0 -1
RSTART 被匹配正则表达式首位置，RLENGTH 匹配字符长度，没有找到为-1.
# 输出从n行到m行 [root@mynet ~]# awk -F: 'NR>=3 && NR<=10 {print NR, $0}' /etc/passwd 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 8 halt:x:7:0:halt:/sbin:/sbin/halt 9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 10 operator:x:11:0:operator:/root:/sbin/nologin
"#获取IP地址 [root@mynet ~]# ifconfig -a | awk '/inet/{print $2}' |awk 'NR==1' 172.21.0.17" "#查看机器的每个远程链接机器的连接数 [root@mynet ~]# netstat -antu | awk '$5 ~ /[0-9]:/{split($5, a, "":""); ips[a[1]]++} END {for (ip in ips) print ips[ip], ip | ""sort -k1 -nr""}' 7 0.0.0.0 2 219.151.40.88 1 69.16.175.42 1 37.187.100.50 1 169.254.0.55 1 161.117.7.172" "打印当前的ssh 客户端 [root@mynet ~]# netstat -tn | awk '($4 ~ /:22\s*/) && ($6 ~ /^EST/) {print substr($5, 0, index($5,"":""))}' 219.151.40.88: 219.151.40.88:" "#查看系统所有分区 [root@mynet ~]# awk '{if ($NF ~ ""^[a-zA-Z].*[0-9]$"" && $NF !~ ""c[0-9]+d[0-9]+$"" && $NF !~ ""^loop.*"") print ""/dev/""$NF}' /proc/partitions /dev/vda1 /dev/sr0
