awk工具详解
目录
awk概述
awk工作原理
awk命令格式
awk概述
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件
工作原理（1）:
当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次
工作原理（2）:
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个""字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"
&&"表示"与"、"| |"表示"或"、"!."表示非" ;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。
awk命令格式
awk选项 '模式或条件{操作}' 文件1文件2 ...
awk -f 脚本文件文件1文件2 ..
格式: awk关键字选项命令部分'{xxxx}'文件名
awk包含几个特殊的内建变量（可直接用)如下所示:
FS:指定每行文本的字段分隔符，默认为空格或制表位（就是tab）。
NF:当前处理的行的字段个数。
NR:当前处理的行的行号(序数) 。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录，而awk一次仅读入一条记录,以进行处理。预设值是' \n'
简说:数据记录分隔，默认为\n，即每行为一条记录
案例
awk常用内置变量:$1、$2、NF、NR、$0
$1:代表第一列
$2:代表第二列以此类推
$0:代表整行
NF:一行的列数
NR:行数
案例：
awk -F: NR==10'{print $1}' zz ##打印第10行第一列
awk -F : '{print $NF}' zz ##打印最后一列
awk 'END{print NR}' zz ##打印总行数
awk 'END{print $0}' zz ##打印最后一整行内容
生产案例：
逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END
BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次
END一般用来做汇总操作，仅在读取完数据记录之后执行一次
awk 的运算：
模糊匹配，用~表示包含，!～表示不包含
awk -F: '$1~/root/' zz ##包含root 的所有行
awk -F: '$7!~/nologin$/{print $1 $7}' zz ##打印除了以nologin结尾的 第一列和第七列
关于数值与字符串的比较
比较符号： == ！= <= >= < >
案例：
awk -F: '$3==0' zz ##打印第三列等于0 的行
awk 'NR==5{print}' zz ##打印第五行
awk 'NR<=5{print}' zz ##打印小于5行包含第五行
awk -F: '$1=="root"' zz ##打印第一列有root的行
awk -F: '$3>=1000' /etc/passwd ##打印第三列大于等于1000的行
awk -F: '$3<10 || $3>=1000' /etc/passwd ##打印第三列小于10 或者大于等于1000的所有行
awk -F: '$3>10 && $3<=100' /etc/passwd ##打印第三列大于10小于等于100所有行
awk 'NR>2 && NR<8' zz ##打印3到7行
seq 200 | awk '$1%7==0 && $1~/7/' ##打印200内 被7整除并且 包含7的所有数字
其他内置变量的用法FS、OFS、NR、FNR、RS、ORS
案例：
awk 'BEGIN{FS=":"}{print $1}' zz ##打印之前定义字段分隔符为冒号
awk 'BEGIN{FS=":";OFS="---"}{print $1,$2}' zz ##OFS 定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格
awk '{print FNR,$0}' /etc/hosts /etc/passwd ##可以看出FNR的行号在追加当有多个文件时
awk 'BEGIN{RS=":"}{print $0}' zz ##打印出以冒号换行输出
awk 'BEGIN{ORS=" "}{print $0}' zz ##把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键
awk高级用法
定义引用变量
a=100
awk -v b="$a" 'BEGIN{print b}' ##将系统的变量a，在awk里赋值为变量b，然后调用变量b
awk 'BEGIN{print "'$a'"}' ##直接调用的话需要先用双引号再用单引号
awk -v c=50 'BEGIN{print c}' ##awk直接定义变量引用
调用函数getline，读取一行数据的时候并不是得到当前行而是当前行下一行
案例：
df -h | awk 'BEGIN{getline}/dev\/sda3/{print $0}'
[root@localhost ky17]# seq 12 | awk '{getline;print $0}'
2
4
6
8
10
12
[root@localhost ky17]# seq 12 | awk '{print $0;getline}'
1
3
5
7
9
11
if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if（）{}
双分支为if（）{}else{}
多分支为if（）{}else if（）{}else{}
案例:
awk 还支持for循环、while循环、函数、数组等
案例：
awk 'BEGIN{x=0};/\/bin\/bash$/ {x++;print x,$0};END {print x}' /etc/passwd
#统计以/ bin/ bash结尾的行数，等同于
grep -c "/ bin/ bash$ " /etc/passwd
BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;
awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句
awk -F ":" '! ($3<200){print}' /etc/passwd ##输出第3个字段的值不小于200的行
awk 'BEGIN {FS=":"}; {if($3>=1000){print}}' /etc/passwd ##先处理完BEGIN的内容，再打印文本里面内容
awk -F ":" '{max=($3>=$4) ？$3:$4; {print max}} ' /etc/passwd (了解)
#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
awk -F ":" '$7~"bash"{print $1}' zz ##输出以冒号分隔且第7个字段中包含/bash行的第一字段
awk -F ":" '($1~"root") && (NF==7) {print $1,$2,$NF}' /etc/passwd ##第1个字段中包含root且有7个字段的行的第1/2个字段
awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin/"){print}' /etc/passwd ##/etc/passwd输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行
awk -F ":" '($NF !="/bin/bash")&&($NF!="/sbin/nologin"){print NR,$0}' /etc/passwd ##跟上面一样效果
通过管道、双引号调用shell 命令:
echo $PATH | awk 'BEGIN{RS=":"};END {print NR}'
#统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句
echo $PATH | awk 'BEGIN{RS=": " }; iprint NR,$0 }; ENDfprint NR}'
awk -F: '/bash$/{print \ "wc-l"}'/etc/passwd #调用wc -l命令统计使用bash 的用户个数，
等同于grep -c "bash$" etc/passwd
awk -F: '/bash$/ {print } 'passwd l wc -l
