awk常用用法
1. 提取某一列的字段
为了便于举例子说明，准备了一个小的数据文件（ip_cluster.txt），如下
ip core_num model_name 11.20.51.204 16 example_gbdt 11.20.51.205 16 example_gbdt 11.20.51.203 16 example_gbdt 11.20.246.134 16 example_gbdt 11.20.246.133 16 example_gbdt 11.20.246.131 8 example_dnn 11.20.246.130 8 example_dnn 11.20.246.129 8 example_dnn 11.20.246.128 8 example_dnn 11.20.244.121 8 example_dnn
- 提取example_gbdt模型对应的机器
awk '{if ($3=="example_gbdt") {print $1}}' ip_cluster.txt # 如果模型名字放到了 model_name 变量里，注意引号的区别 model_name=example_gbdt awk '{if ($3=="'$model_name'") {print $1}}' ip_cluster.txt
上面的命令也可以省略 if()，而直接写判断条件。但我个人觉得，从程序更容易被人理解的角度，应该加上 if 字样。
2. 交互式输入
如果不加后面的文件（ip_cluster.txt），awk会停在那里，等待用户交互式输入，没输入一行（在awk里叫一条record），进行一次处理。
也可以通过管道进行输入，如
cat ip_cluster.txt | awk ...
3. 定义变量
# 定义内建变量
awk 'BEGIN{OFS=","}{print $1,$2,$3}' ip_cluster.txt
# 定义普通变量
awk 'BEGIN{a=1;b=2} {print a+b}'
4. 内建变量
常用的变量有
- NR：Number of Record，可以理解为行数
- NF：Number of Field，可以理解为列数
- FS：Field Separator，输入分隔符
- OFS：Out Field Separator，输出分隔符
5. 输入多个文件
awk后面可以直接追加多个文件，处理时的效果仿佛将多个文件拼接到一起一样。
6. 列赋值，人工打码
awk '{$3="xxxx";print $0}' ip_cluster.txt # 输出效果 ip core_num xxxx 11.20.51.204 16 xxxx 11.20.51.205 16 xxxx 11.20.51.203 16 xxxx 11.20.246.134 16 xxxx 11.20.246.133 16 xxxx 11.20.246.131 8 xxxx 11.20.246.130 8 xxxx 11.20.246.129 8 xxxx 11.20.246.128 8 xxxx 11.20.244.121 8 xxxx
7. 与正则表达式的配合
# 正则表达式写在两个斜杠之间 awk '/example_.*/{print $0}' ip_cluster.txt
简要回顾下基础的正则表达式
- ^开始，$结尾
- [] 一个字符，取或的关系，如 [xyz], [a-zA-Z], [^a-z] 说明：中括号里的 “^” 表示取反
- * 出现零次或多次
- + 出现一次或多次
- ？可以有也可以没有
- {} ab{3}c，可以匹配 abbbc；{}里还可以是范围，如{3,4}，{3,}
- ()一段东西看成一个整体，如(ab)+c，可以匹配 ababc
8. 总结
awk非常的强大，尤其是在行列式的数据集合上面，展现出了很强的表达能力。配合一个数据文件，堪比小型数据库。
