文件处理命令：awk
awk擅长于对数据进行分析并生成报告，简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
使用方法：
awk '{pattern +action}' {filenames}
[root@limt01 ~]# cat /etc/passwd|awk -F: '{ print $1 }' root bin daemon adm lp sync 。。。
其中 -F：为指定分隔符为：
awk的内建变量：
$0 当前记录（这个变量中存放着整个行的内容）
$1~$n 当前记录的第n个字段，字段间由FS分隔
FS 输入字段分隔符默认是空格或Tab
NF 当前记录中的字段个数，就是有多少列
NR 已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。
FNR 当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS 输入的记录分隔符，默认为换行符
OFS 输出字段分隔符，默认也是空格
ORS 输出的记录分隔符，默认为换行符
FILENAME 当前输入文件的名字
1 指定分隔符
[root@limt01 tmp]# awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd root 0 /root bin 1 /bin daemon 2 /sbin adm 3 /var/adm lp 4 /var/spool/lpd sync 5 /sbin shutdown 6 /sbin halt 7 /sbin mail 8 /var/spool/mail operator 11 /root games 12 /usr/games ftp 14 /var/ftp 。。。
2 指定输出分隔符（OFS="\t"）
[root@limt01 tmp]# awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd root 0 /root bin 1 /bin daemon 2 /sbin adm 3 /var/adm lp 4 /var/spool/lpd sync 5 /sbin shutdown 6 /sbin halt 7 /sbin mail 8 /var/spool/mail operator 11 /root games 12 /usr/games ftp 14 /var/ftp 。。。
3 条件过滤输出
[root@limt01 tmp]# awk -F: '{ if( $1 ~ /root/ || $1 ~ /limt/) { print $1,$3,$6 } }' OFS="\t" /etc/passwd root 0 /root limt 1000 /home/limt
[root@limt01 tmp]# awk -F: '$1 ~ /root/ || $1 ~ /limt/ { print $1,$3,$6 }' OFS="\t" /etc/passwd root 0 /root limt 1000 /home/limt
4 重定向输出到指定文件
[root@limt01 tmp]# awk 'NR!=1{print $0 > "/tmp/passwd" }' /etc/passwd [root@limt01 tmp]# [root@limt01 tmp]# ls -lrt /tmp|tail 总用量 12 -rw-------. 1 root root 0 5月 20 21:36 yum.log drwxr-xr-x. 2 root root 17 5月 20 21:43 hsperfdata_root -rwx------. 1 root root 663 5月 20 21:48 ks-script-1AQjlc drwx------. 3 root root 16 5月 22 08:44 systemd-private-HQgvzl drwx------. 2 root root 23 5月 22 11:40 ssh-Hon4d3o0kn -rw-r--r--. 1 root root 1184 5月 22 12:06 0 -rw-r--r--. 1 root root 1184 5月 22 13:24 passwd
5 -v带入外部变量到awk
[root@limt01 tmp]# x=6 [root@limt01 tmp]# awk -v val=$x '{print val}' /etc/passwd|less 6 6 6 6
6 printf函数
命令格式：
printf format,item1,item2……
使用要点：
1.format格式符必须使用
2.不会自动换行，需要手动添加行分隔符
3.format格式符中需要分别为后面的每个item指定一个格式符
格式符：都以%开头，后跟一个字符
%c：显示字符的ASCII码；
%i,%d：显示十进制整数；
%e,%E：科学计数法显示数值；
%f：显示浮点数；
%g,%G：以科学计数法格式或浮点数格式显示数值；
%s：字符串；
%u：无符号整数；
%%：显示%自身
[root@limt01 tmp]# netstat -an|awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN tcp 0 52 192.168.1.105:22 192.168.1.103:62831 ESTABLISHED tcp6 0 0 ::1:25 :::* LISTEN tcp6 0 0 :::22 :::* LISTEN udp 0 0 0.0.0.0:68 0.0.0.0:* udp 0 0 192.168.1.105:123 0.0.0.0:* udp 0 0 127.0.0.1:123 0.0.0.0:* udp 0 0 0.0.0.0:123 0.0.0.0:* udp 0 0 0.0.0.0:5353 0.0.0.0:* udp 0 0 0.0.0.0:6480 0.0.0.0:* udp 0 0 0.0.0.0:37782 0.0.0.0:*
awk中常见的模式类型：
1 /regular expression/：仅处理能被正则表达式匹配的
[root@limt01 tmp]# awk -F: '/^\<root\>/{print $1,$3}' /etc/passwd root 0
2 relational expression：关系表达式，结果有真假之分，其结果为非0或非空字符串时为真，否则为假
[root@limt01 tmp]# awk -F: '$3>=500{print $1,$3}' /etc/passwd polkitd 999 libstoragemgmt 998 chrony 997 limt 1000
awk中常用的控制语句：
1 if else语句
if (condition) statement [ else statement ]
if (condition) {statements;} [ else {statements;} ]
[root@limt01 tmp]# awk -F: '{if ($3>=500) {print $1," is a common user"}else{print $1,"is a systemuser"}}' /etc/passwd root is a systemuser bin is a systemuser daemon is a systemuser adm is a systemuser lp is a systemuser sync is a systemuser shutdown is a systemuser 。。。
2 while循环语句
语法格式：
while (condition) statement
while (condition) {statements}
[root@limt01 tmp]# awk -F: '$1~/root/{i=1;while(i<=NF){print $i;i+=2}}' /etc/passwd root 0 root /bin/bash
3 for循环语句
for (expr1;expr2;expr3) {statements}
for ( variable assignment（条件赋值）;condition（循环执行）; iteration process（变量修正）) { statement1, statement2, ...}
[root@limt01 tmp]# awk '{for(i=1;i<=NF;i+=2){if (length($i)>=6)print $i }}' /etc/issue Kernel
4 switch语句
5 break and continue
break[n]：退出当前循环
continue[n]:提前结束本轮循环，直接进入下轮循环
6 next
提前结束对本行的处理而进入下一行的处理
数组：因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。
数组，关联数组：array[index-expression]
要遍历数组中的每一个元素，需要使用如下特殊结构：
for (var in array) {for body}
其var会遍历array的索引；而非元素值
[root@limt01 tmp]# ss -tan |awk '!/State/{state[$1]++}END{for (i in state) {print i,state[i]}}' LISTEN 4 ESTAB 1
使用脚本进行文本、数据处理：
#!/bin/awk -f #运行前 BEGIN { math= 0 english= 0 computer= 0 printf"NAME NO. MATH ENGLISH COMPUTER TOTAL\n" printf"---------------------------------------------\n" } #运行中 { math+=$3 english+=$4 computer+=$5 printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5 } #运行后 END{ printf"---------------------------------------------\n" printf "TOTAL:%10d %8d %8d \n", math, english, computer printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR }
