shell_Day09
awk 【单独的编程语言解释器】
awk介绍
全称：Aho Weinberger Kernaighan 三个人的首字母缩写； 1970年第一次出现在Unix机器上，后来在开源领域使用它；
所以，我们在Linux中使用，改名为GNU awk；所以，在Linux上实际上叫做gawk；
所以，我们在Linux中使用，改名为GNU awk；所以，在Linux上实际上叫做gawk；
grep 行过滤器
-o -i -v -E grep egrep fgrep【写什么就匹配什么】sed 行编辑器
-n p 1、地址定界 3,5,/pat/【e】 2、命令 p a \ i \ w c \ s/pat/str/g|1|2..|&${var/pat/str} ${var//pat/str}
${test}、${#test}、${test:offset:length}、${test#*word}、${test##*word}、${test%word}、${test%%*word}、${test/pattern/string}、${test//pattern/string}、${test:-word}
awk 报告生成器
通过模式匹配以及自己本身的语言格式，来获取、并输出客户所需要的内容；【默认情况下，三个工具都不去编辑源文件】
示例：获取系统上面用户id大于等于1小于等于500的用户的用户名和用户ID
for i in $(cut -d: -f3 /etc/passwd);do if [ $i -ge 1 -a $i -le 500 ];then echo grep $i | cut -d: -f1,3 fi done
awk -F: '{if($3>=1&&$3<=500){print $3}}' /etc/passwd # awk最后实现这个功能的时候只需要一句话就可以！
格式化输出的意义
awk -F: -v OFS=":" 'BEGIN{printf " username uid \n========================\n"}{if($3>=1&&$3<=500){printf "用户名:%-10s UID:%-10d\n",$1,$3}}END{printf "---------------------------\nend\n"}' /etc/passwd
awk的用法
awk [option] ... 'program' FILE ...
program 必须使用 ！单引号！
多条program语句使用大括号包含起来，可以并列，可以嵌套
program 必须使用 ！单引号！
多条program语句使用大括号包含起来，可以并列，可以嵌套
awk '{print}' /etc/passwd
awk的常见option
-F 指定分隔符awk -F[/:] '{print $1,$3}' a.txt
其中 [ ] 内表示多个字符中的任意一个
-v 因为awk是一种语言编译器，能自己定义变量，同时也有内置变量（与环境变量类似）
手动指定变量参数
awk -v a="a/b" '{print a}' a.txt
给a赋值，打印a这个变量
a是自定义变量 -v FS=":"
在awk中调用调用变量 不用加 $ 符号
awk '{a="a/b";print a}' a.txt
awk的语法格式 -- program
print默认输出（在屏幕上）
在awk中没有保存命令，可以关联别的命令来保存awk的结果；
awk '{a="a/b";print a}' a.txt | tee a.bak
printf -- 实现格式化输出
printf "%s是%d班学的最好的学生",变量1，变量2
仅仅只有顺序关系
格式符
%s 字符串
%d %i 数值
%e %E 科学计算数值
%c ACSii码值
%f 浮点数
%u 无符号整数
%% 逃逸符 只显示 % 自己
修饰符
默认为右对齐
- 代表左对齐
%5.4f
5 所占位数
4 所取小数位
awk '/^UUID/{printf "被挂载文件：%-50s 挂载点：%-10s 文件系统格式：%-10s\n",$1,$2,$3}' /etc/fstab
变量（内置变量、自定义变量）
内置变量 -- 环境变量（bash）(env、set -C +C)awk语言所默认支持的变量
FS 定义输入分隔符的变量
OFS 定义输出分隔符的变量
NF 定义行分隔以后的参数个数 ($NF 分隔以后最后的一列变量)
*变量引用的时候，不用加$，$0,$1...$n
awk -v FS=":" '/\/bash$/{print $1,$NF}' /etc/passwd
NR 定义文件的行数，定义多个文件的文件的，行号叠加
FNR 文件只计算自己的行号
awk '{print NR}' /etc/fstab /etc/passwd awk '{print FNR}' /etc/fstab /etc/passwd
FILENAME 存储文件的名字
awk '{print FILENAME}' /etc/passwd //把文件名打印N次，N文件的行数 awk 'BEGIN{print FILENAME}' /etc/passwd //BEGIN{语句} 只在行循环开始时，执行一次;
ARGC 整个命令的 段数 【注意：不包含 'program' 本身】
ARGV 数组，用来调取命令中，指定的段 ARGV[2] 【注意：数组中也不包含 'program' 】
awk 'BEGIN{print ARGC}' /etc/passwd /etc/fstab /etc/shadow awk 'BEGIN{print ARGV[3]}' /etc/passwd /etc/fstab /etc/shadow
RS 指定换行符 \n 可以指定新的换行符，不影响本身的换行
ORS 输出的时候指定的换行符，将默认换行符替换为指定字符
awk -v RS=" " '{print}' /etc/passwd awk -v ORS=" " '{print}' /etc/passwd //可以用来取消换行
自定义变量
-v 变量=值在后面'program'中去调用自定义变量时，直接使用即可
或者将 “变量=值”语句直接写在'program'亦可；
awk -v a="a/b" '{print a}' a.txt awk '{a="a/b";print a}' a.txt
模式匹配（地址定界）
空值，没有定义，默认就将文件中所有的行，放入awk进行循环对固定的 1,3 行进行操作
sed -n '1,3p' /etc/passwd awk '1,3{print}' /etc/passwd //awk默认不支持使用 1-3 1,3 等等，这样数值的直接写法； awk 'NR>=1&&NR<=3{print}' /etc/passwd //通过NR变量来指定
/pat1/
sed -n /pat1/p /etc/passwd awk '/r..ter/{print}' /etc/passwd
/pat1/,/pat2/ 第一次匹配pat1到第一次匹配pat2，之间的行
模式匹配可以直接使用判断语句
awk -F: '$NF=="/bin/bash"{print $1,$3}' /etc/passwd
BIGEIN|END语句
BIGEIN定义在默认循环进行操作前所要执行的语句；awk -F: 'BEGIN{printf "shell程序为bash的用户为：\n"}$NF=="/bin/bash"{print $1,$3}' /etc/passwd awk -F: 'BEGIN{printf "shell程序为bash的用户为：\n"}$NF=="/bin/bash"{print $1,$3}END{printf "end\n"}' /etc/passwd
一般在格式化输出的时候，打印表头和表未；
操作符
运算操作符：+ - * / %(取余、取模) ^ //(取整)
比较运算符：
== != > < >= <=
~ !~
awk -F: '$NF~"/bin/bash"{print $1,$3}' /etc/passwd awk -F: '$NF!~"/bin/bash"{print $1,$3}' /etc/passwd
逻辑操作符：
&&
||
!
赋值操作符：
= += -= /= *= %= ^= //=
条件表达式：
条件语句？条件成立语句：条件不成立的语句
awk '/^title/{FN<=2? print: printf "参数过\n"}' /boot/grub/grub.conf //有点问题
常见action
print printf 以及 它任何命令的操作都是 action；
expressions 常见表达式
control statement 控制语句 例如： if while等
逻辑关系语句判断来进行结合
input statements 输入语句
output statements 输出语句
expressions 常见表达式
control statement 控制语句 例如： if while等
逻辑关系语句判断来进行结合
组合语句 compound statements
/pat1/{{ }{ ; }}input statements 输入语句
output statements 输出语句
常见语言（if while do for break continue delete switch）
if语句语法格式：
if(条件表达式) {执行语句}
if(条件表达式) {执行语句} else {执行语句}
while语句
只有对行参数进行遍历的时候才会使用循环；
语法格式：while(条件表达式) {循环体}
for语句
语法格式：for(初始值;条件判断;初始值控制语句){循环体}
if(条件表达式) {执行语句} else {执行语句}
awk '/^title/{if(NF<=2) {print}else {print "参数过少"}}' /boot/grub/grub.conf awk '/^title/{if(NF>=2) print $4}' /boot/grub/grub.conf
while语句
只有对行参数进行遍历的时候才会使用循环；
语法格式：while(条件表达式) {循环体}
awk '/^[[:space:]]*kernel\>/{i=1;while(i<=NF){printf $i"\t";print length($i);i++}}' grub.conf
for语句
语法格式：for(初始值;条件判断;初始值控制语句){循环体}
awk '/^[[:space:]]*kernel\>/{for(i=1; i<=NF; i++){printf $i"\t"; print length($i)}}' grub.conf
循环建议使用for语句
在awk中，for也可以使用和 shell 中一样的格式： do-while 循环
语法：do {循环体} while (循环条件)
和while的却别：while语句只有在满足条件的时候，才会进入循环，而do while会先执行循环体（一次），在进行条件判断；
语法：do {循环体} while (循环条件)
和while的却别：while语句只有在满足条件的时候，才会进入循环，而do while会先执行循环体（一次），在进行条件判断；
循环跳出语句
awk '{if(NR%2==1) {next} else {print}}' /etc/passwd
break [n] 跳出n次循环；
continue 跳出本次循环；
next 跳出默认的当前循环；
next 跳出默认的当前循环；
switch 类似于case
语法格式：switch(expression){case VALUE1 or /REGXP/: statement; case VALUE2 or /REGEXP2/:statement; … ,default: statement}
switch(表达式){case 模式匹配值:执行语句；case 模式匹配值:执行语句,...,default:执行语句} 文件
语法格式：switch(expression){case VALUE1 or /REGXP/: statement; case VALUE2 or /REGEXP2/:statement; … ,default: statement}
switch(表达式){case 模式匹配值:执行语句；case 模式匹配值:执行语句,...,default:执行语句} 文件
shell：
case 变量 in
pat1)
执行语句
;;
*)
执行语句
;;
esac
case 变量 in
pat1)
执行语句
;;
*)
执行语句
;;
esac
数组
在awk中，数组和shell中的数组特性相同：注意：awk中数组不用定义，只要使用了，就有值为空的默认数组；这在做数据统计的时候非常常见！！！！！
行遍历 --> 实际上就是整个文件的遍历
列遍历 --> 取对象固定某列的中的，相同数据的统计
列遍历 --> 取对象固定某列的中的，相同数据的统计
注意：数组通过for语句，再给其他变量进行赋值的时候，赋值的是index索引信息；
统计一下某个文件中指定行中单词出现的次数；
awk -v RS=" " {print} a.txt | awk '{ls[$1]++}END{for(i in ls){print i,ls[i]}}'
统计一下某个文件中指定行中单词出现的次数；
awk -v RS=" " {print} a.txt | awk '{ls[$1]++}END{for(i in ls){print i,ls[i]}}'
统计一下一个文件中每个单词（以空格隔开的字符串）出现的次数；
awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/fstab awk '{for(i=1;i<=NF;i++){ls[$i]++}}END{for(j in ls){print j,ls[j]}}' /var/log/httpd/access_log | sort -t" " -k2 -nr
函数
内置函数函数的调用：funcation(参数)
length() 统计字符串长度
数学运算上使用的行数 sin() cos() ...
sub(x,x,x) 替换第一个匹配到的值
awk '{print sub(o,O,$1)}' /etc/fstab //将o 替换为 O 文件中的 第一列（第一个匹配值）
gsub(x,x,x) 替换该行所匹配到的所有值
awk '{print gsub(o,O,$1)}' /etc/fstab //将 o 替换为 O 文件中的 第一列（全部匹配值）
split(x,x,x) 指定分隔符去切割文件
netstat -tan | awk '/^tcp\>/{split($5,ip,":");print ip[1]}' netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'
作者： 千纪
出处： https://www.cnblogs.com/diyudewudao/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出, https://www.cnblogs.com/diyudewudao/ 如有问题， 可邮件（diyudewudao@qq.com）.
注：不要在意标题，在某些情况下名字都只是个代号不是。
