Linux系统文本处理之awk数组实践
以上命令的核心思想是，先过滤没有用的信息然后取出ip地址，接着利用awk数组来统计每个ip连接的次数，再利用sort来排序。awk用-F指定了多个字符为分隔符，这里需要注意的是通过多个分割符分割后，最后面有一个字段内容为空格，所以我们在统计的时候要用NF-2才是客户端连接本机的ip地址，而不是NF-1，统计的方法也是利用awk数组来实现的，排序是用sort命令，指定第二字段来排序。ss -nt 表示列出已经建立连接的tcp连接信息,其中-n表示不名称解析，-t表示tcp.
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来
[root@test ~]#awk -F: '{shells[$NF]++;if($NF == "/sbin/nologin"){print $1,$NF}}END{for(i in shells){print i,shells[i]}}' /etc/passwd
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
mail /sbin/nologin
uucp /sbin/nologin
operator /sbin/nologin
games /sbin/nologin
gopher /sbin/nologin
ftp /sbin/nologin
nobody /sbin/nologin
dbus /sbin/nologin
vcsa /sbin/nologin
abrt /sbin/nologin
haldaemon /sbin/nologin
ntp /sbin/nologin
saslauth /sbin/nologin
postfix /sbin/nologin
sshd /sbin/nologin
tcpdump /sbin/nologin
redis /sbin/nologin
mailnull /sbin/nologin
smmsp /sbin/nologin
rpc /sbin/nologin
rpcuser /sbin/nologin
nfsnobody /sbin/nologin
apache /sbin/nologin
/sbin/shutdown 1
/bin/bash 5
/sbin/nologin 27
/sbin/halt 1
/bin/sync 1
[root@test ~]#
说明：上述命令用到了awk的数组，用"："作为分割符。它处理的流程是这样的，最开始是先声明一个数组名字为shells，用最后一个字段作为数组的索引，第一次shells[$NF]=shells[/bin/bash] ，因为没有定义shells[/bin/bash]的值，所以第一次shells[/bin/bash]的值为空，空就是假，就是0，然后再++ ，++的意思是加1，所以就变成了1，同理第二次是shells[$NF]=shells[/sbin/nologin] 然后++,shells[/sbin/nologin]=1 。因为最开始是没有shells[/bin/bash]和shells[/sbin/nologin]，所以++后就都变成了1，处理第三行的时候，shells[$NF]=shells[/sbin/nologin] ,因为第二行处理后，shells[/sbin/nologin]的值就变成了1，所以++后这里就变成了2，以此类推，只要出现shells[/sbin/nologin] 它在处理完后都会加1。我们正是利用了awk数组的这一特性，就统计出“/sbin/nologin” 出现的次数，也就统计出了/etc/passwd下，以冒号作为分隔符，最后一个字段为“/sbin/nologin” 的次数，也就是统计出了系统有这么多用户的默认shell是“/sbin/nologin”。这是统计的流程，其次每处理一行，就判断用冒号分割后的字段，如果最后一个字段为“/sbin/nologin” 就打印出这一行的第一个字段，也就是用户名称。最后我们用for循环去遍历我们之前定义的数组下标，shells表示的是整个数组，这里的i就代表数组中的元素的索引（下标），比如："/bin/bash","/sbin/nologin"等，再来看看shells[i]=shells[/bin/bash]，在上面已经阐述了shells[/bin/bash]是元素出现的次数，所以我们就分别打印了shells里的元素下标和对应出现的次数。NF是awk里的一个变量，它表示以某个分隔符分割后，总共有多少个字段。$NF表示最后一个字段。以上是shell类型为/sbin/nologin的用户，要看非/sbin/nologin的用户在上面的命令上改下判断条件即可。
[qiuhom@test ~]$ echo "Users whose shell type is not /sbin/nologin are:`awk -F: '{shells[$NF]++;if($NF != "/sbin/nologin"){print $1}}' /etc/passwd`"
Users whose shell type is not /sbin/nologin are:root
sync
shutdown
halt
qiuhom
mysql
tom
jerry
[qiuhom@test ~]$
说明：以上命令显示了shell类型为非“/sbin/nologin” 的用户
[qiuhom@test ~]$ awk -F: '{shells[$NF]++}END{for(i in shells){print i,shells[i]}}' /etc/passwd|grep -v "/sbin/nologin"|awk -v total=0 '{total+=$2}END{print "The number of users whose shell type is not /sbin/nologin is:"total}'
The number of users whose shell type is not /sbin/nologin is:8
[qiuhom@test ~]$
说明：以上命令显示了shell类型为非“/sbin/nologin”的用户有8个，当然我个人觉得编写个脚本更容易理解，写成命令太长，可读性太差，建议把命令写进脚本里。
[qiuhom@test ~]$ cat checking_users.sh
#!/bin/bash
user=`awk -F: '
{
shells[$NF]++
}
{
if($NF != "/sbin/nologin")
{
print $1
}
}' /etc/passwd`
echo "Users whose shell type is not /sbin/nologin are:$user"
user_total=`awk -F: '
{
shells[$NF]++
}
END{
for(i in shells)
{
print i,shells[i]
}
}' /etc/passwd|grep -v "/sbin/nologin"|awk 'BEGIN{total=0}{total+=$2}END{print total}'`
echo "The number of users whose shell type is not /sbin/nologin is:$user_total"
[qiuhom@test ~]$ sh checking_users.sh
Users whose shell type is not /sbin/nologin are:root
sync
shutdown
halt
qiuhom
mysql
tom
jerry
The number of users whose shell type is not /sbin/nologin is:8
[qiuhom@test ~]$
说明：以上脚本也是利用了上面说到的命令
2、查出用户UID最大值的用户名、UID及shell类型
[root@test ~]#awk -F: 'BEGIN{max=0;user="";shell="";UID=0}{if($3>max){max=$3;user=$1;UID=$3;shell=$NF}}END{print user,UID,shell,max}' /etc/passwd
nfsnobody 65534 /sbin/nologin 65534
说明：上面命令的中心思想是这样的，先定义几个初始值，我们把/etc/passwd文件内容，用“：”分割，然后去判断第三个字段，和我们定义的max比较，如果第三个字段的值大于我们的初始化值，那么就把当前第三个字段的值赋给我们定义的变量max，同样，把当前对应的其他值赋给我们定义的变量，这样每处理一行我们定义的变量的值都会相应的发生变化。这样一来max变量最终记录的是处理后最大的值，处理完所有数据，max就是/etc/passwd里面第三个字段最大的值，也就是用户UID最大的那个值，user就是最大uid对应的用户名称，shell就是最大uid对应用户的默认shell类型。
3、统计当前连接本机的每个远程主机IP的连接数，并按从大到小排序
[qiuhom@docker ~]$ss -nt
State Recv-Q Send-Q Local Address:Port Peer Address:Port
ESTAB 0 0 192.168.0.99:41319 192.168.0.212:54223
ESTAB 0 0 192.168.0.99:41319 192.168.0.232:2187
ESTAB 0 0 192.168.0.99:41319 192.168.0.232:2192
ESTAB 0 0 192.168.0.99:41319 192.168.0.151:42271
ESTAB 0 0 192.168.0.99:41319 192.168.0.212:54224
ESTAB 0 264 192.168.0.99:41319 192.168.0.232:2186
ESTAB 0 0 192.168.0.99:41319 192.168.0.212:54222
ESTAB 0 0 192.168.0.99:41319 192.168.0.232:2190
ESTAB 0 0 192.168.0.99:41319 192.168.0.232:2193
ESTAB 0 0 192.168.0.99:41319 192.168.0.232:2191
[qiuhom@docker ~]$ss -nt|awk -F'[: ]+' '/ESTAB/{ip[$(NF-2)]++}END{for(i in ip){print i,ip[i]}}'|sort -k2 -nr
192.168.0.232 6
192.168.0.212 3
192.168.0.151 1
[qiuhom@docker ~]$
说明：以上命令的核心思想是，先过滤没有用的信息然后取出ip地址，接着利用awk数组来统计每个ip连接的次数，再利用sort来排序。awk用-F指定了多个字符为分隔符，这里需要注意的是通过多个分割符分割后，最后面有一个字段内容为空格，所以我们在统计的时候要用NF-2才是客户端连接本机的ip地址，而不是NF-1，统计的方法也是利用awk数组来实现的，排序是用sort命令，指定第二字段来排序。ss -nt 表示列出已经建立连接的tcp连接信息,其中-n表示不名称解析，-t表示tcp.
4、编写脚本 createuser.sh，实现如下功能:使用一个用户名做为参数，如果 指定参数的用户存在，就显示其存在，否则添加之;显示添加的用户的id号等 信息
[root@docker qiuhom]#cat createuser.sh
#!/bin/bash
[ $# -ne 1 ] && echo "Usage: $0 USERNAME " && exit
[ $UID -ne 0 ] && echo "Run this script with root" && exit
if grep -o "^$1" /etc/passwd &>/dev/null;then
echo "$1 User Exists"
exit
else
useradd $1
[ $? -eq 0 ] && echo "$1 add succeeful"
id $1
fi
[root@docker qiuhom]#sh createuser.sh
Usage: createuser.sh USERNAME
[root@docker qiuhom]#sh createuser.sh a b c
Usage: createuser.sh USERNAME
[root@docker qiuhom]#su qiuhom
[qiuhom@docker ~]$sh createuser.sh f1
Run this script with root
[qiuhom@docker ~]$su root
密码：
[root@docker qiuhom]#sh createuser.sh root
root User Exists
[root@docker qiuhom]#sh createuser.sh abc
abc add succeeful
uid=1003(abc) gid=1003(abc) 组=1003(abc)
[root@docker qiuhom]#
5、编写生成脚本基本格式的脚本，包括作者，联系方式，版本，时间，描述等
[qiuhom@docker ~]$ls createuser.sh creatscript.sh f1 tmp.txt xx.sh [qiuhom@docker ~]$cat creatscript.sh #!/bin/bash [ $# -gt 1 ] && echo "Usage:sh $0 FileName" && exit [ $# -eq 0 ] && read -p "please input file name: " filename [ $# -eq 1 ] && filename=$1 -e "$filename" ] && echo "$filename is exists !!!" && exit cat >> $filename << EOF #!/bin/bash ################################################################# #Author: qiuhom #QQ: 467697313 #mail: qiuhom467697313@qq.com #Date: `date +"%F %T"` #FileName： `basename $filename` #URL: https://www.cnblogs.com/qiuhom-1874 #Copyright (C): `date +%Y` All rights #Description： #Version v1.0 ################################################################# EOF vim + $filename [qiuhom@docker ~]$sh creatscript.sh f1 f1 is exists !!! [qiuhom@docker ~]$sh creatscript.sh /etc/fstab /etc/fstab is exists !!! [qiuhom@docker ~]$sh creatscript.sh f2 #!/bin/bash ################################################################# #Author: qiuhom #QQ: 467697313 #mail: qiuhom467697313@qq.com #Date: 2019-10-31 23:24:48 #FileName： f2 #URL: https://www.cnblogs.com/qiuhom-1874 #Copyright (C): 2019 All rights #Description： #Version v1.0 ################################################################# ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ "f2" 13L, 460C
