一：说明
1.说明
Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk
awk的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。awk和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。
基本格式：
awk [选项] '匹配规则与处理规则' 文件名或路径
2.选项
默认是使用空格进行分割
| 选项 | 含义 |
| -F fs | 指定以 fs 作为输入行的分隔符，awk 命令默认分隔符为空格或制表符 |
| -f file | 从脚本文件中读取 awk 脚本指令，以取代直接在命令行中输入指令 |
| -v var=val | 在执行处理过程之前，设置一个变量 var，并设置初始值为 val |
3.匹配规则
字符串匹配
正则表达式匹配
4.处理规则
设置变量
设置数组
定义函数 (用的比较少）
数组循环
加减乘除运算
字符串拼接
5.小试
如果有空白行，则打印black line
awk '/^$/ {print "Blank line"}' tt.txt
二：基本知识说明
1.字段变量
awk的主要特性之一是处理文本文件中数据的能力，它会自动给每一行中的每个数据元素分配一个变量。
默认情况下，awk 会将如下变量分配给它在文本行中发现的数据字段(或者叫做域)：
- $0 代表整个文本行；
- $1 代表文本行中的第 1 个数据字段(域)；
- $2 代表文本行中的第 2 个数据字段(域)；
- $n 代表文本行中的第 n 个数据字段(域)。
前面说过，在 awk 中，默认的字段分隔符是任意的空白字符（例如空格或制表符）。 在文本行中，每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时，会用预定义的字段分隔符划分每个数据字段。
所以在下面的例子中，awk 程序读取文本文件，只显示第 1 个数据字段的值：
awk '{print $1}' tt.txt
2.可以使用多个命令
awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令，只要在命令之间放个分号即可
echo 'my name is tom' | awk '{$4="xiaoming"; print $0}'
3.从文件中读取命令
可以
awk -F: -f awk.sh /etc/passwd
效果：
其中，awk.sh是：
{print $1 "'s directory is " $6}
4.BEGIN与END关键字
BEGIN：对于每个输入行， awk 都会执行脚本代码块一次。然而，在许多编程情况中，可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字。BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令(BEGIN后面的命令只执行一次)
END：和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们
awk 'BEGIN{print "start file"} {print $0} END {print "end file"}' tt.txt
5.条件操作符
条件操作符有：<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式 匹配:awk '{if ($4~/ASIMA/) print $0}' temp.txt 表示如果第四个数据字段包含ASIMA，就打印整行数据 精确匹配:awk '$3=="48" {print $0}' temp.txt 表示只打印第3个数据字段等于"48"的记录 不匹配: awk '$0 !~ /ASIMA/' temp.txt 表示打印整条不包含ASIMA的记录 不等于: awk '$1 != "asima"' temp.txt 表示打印第1个数据字段不等于"asima"的记录 小于: awk '{if ($1<$2) print $1 "is smaller"}' temp.txt 表示如果第一个数据字段小于第二个数据字段，则打印第一个数据字段+"is smaller" 设置大小写: awk '/[Gg]reen/' temp.txt 表示打印整条包含Green，或者green的记录 任意字符: awk '$1 ~/^...a/' temp.txt 表示打印第1个数据字段中第四个字符是a的记录，符号’^’代表行首，符合’.’代表任意字符 或关系匹配: awk '$0~/(abc)|(efg)/' temp.txt 表示打印整行数据匹配“abc”或“efg”的记录，使用|时，语句需要括起来 AND与关系: awk '{if ( $1=="a" && $2=="b" ) print $0}' temp.txt 表示如果第一个数据字段等于“a”并且第二个数据字段等于“b”，则打印该行数据 OR或关系: awk '{if ($1=="a" || $1=="b") print $0}' temp.txt 表示如果第一个数据字段等于“a”或者第二个数据字段等于“b”，则打印该行数据
6.内置变量
| ARGC | 命令行参数个数 | NF | 当前行的数据字段个数 |
| AGRV | 命令行参数排列 | NR | 已读的记录数，即行号，从1开始(一行就是一个记录，一个记录有若干个字段/域) |
| ENVIRON | 支持队列中系统环境变量的使用 | OFS | 输出数据字段分隔符(默认为空格) |
| FILENAME | awk浏览的文件名 | ORS | 输出记录分隔符(默认为换行符) |
| FNR | 浏览文件的记录数 | RS | 记录分隔符(默认是换行符) |
| FS | 设置输入域分隔符，同- F选项 |
打印行数与最后打印行数
awk '{print NR}' tt.txt awk 'END {print NR}' tt.txt
先打印行号，然后打印后面内容
awk '{print NR,$0}' tt.txt
大于某行，然后某个字段符合打印
awk '{if(NR > 1 && $2~/was/) print NR,$0}' tt.txt
显示当前目录名
echo $PWD | awk -F / '{print $NF}'
7.内置字符串函数
- gsub(r，s) 含义：在整个$0中用s替代r
awk 'gsub(/name/, "tom") {print $0}' t2.txt
- gsub(r，s，t) 含义：在整个t中用s替代r
和上面的类型
- index(s，t) 含义：返回s中字符串t的第一位置(下标从1开始计算)
- split(s，a，fs) 含义：用fs把s分割成序列a
8.正则
| 元字符 | 功能 | 示例 | 解释 |
| ^ | 行首定位符 | /^root/ | 匹配所有以root开头的行 |
| $ | 行尾定位符 | /root$/ | 匹配所有以root结尾的行 |
| . | 匹配任意单个字符 | /r..t/ | 匹配字母r，然后两个任意字符，再以t结尾的单词，比如：root、raat、rabt |
| * | 匹配0个或多个前导字符 | /a*ool/ | 匹配0个或多个a之后紧跟着ool的单词，比如：ool、aool、aaaool |
| + | 匹配1个或多个前导字符 | /a+b/ | 匹配1个或多个a加b的单词，比如：ab、aab、aaaab |
| ？ | 匹配0个或1个前导字符 | /a?b/ | 匹配b 或 ab |
| [] | 匹配指定字符组内的任意一个字符 | /^[abc]/ | 匹配以字母a或b或c开头的单词 |
| [^] | 匹配不在指定字符组内的任意一个字符 | /^[^abc]/ | 匹配不以字母a或b或c开头的单词 |
| () | 子表达式组合 | /(root)+/ | 匹配1个或多个root |
| | | 或者的意思 | /(root)|B/ | 匹配root或者B |
| \ | 转义字符 | /a\/\// | 匹配a// |
| ~和!~ | 匹配和不匹配的条件语句 | $1~/root/ | 匹配第一个数据字段包含root的行 |
|
x{m} x{m,} x{m,n} |
x重复m次 x重复至少m次 x重复至少m次，但不超过n次 |
/(root){3}/ /(root){3,}/ /(root){5,6}/ |
匹配root正好出现3次的情况 匹配root出现至少3次的情况 匹配root出现5到6次的情况 |
三：一些其他用法
1.给变量赋值
awk '{if($6 < NUM) print $0}' NUM=4 data2.txt
2.if表达式
if(表达式) {语句1} else if(表达式) {语句2} else {语句3}
3.for循环
for(变量 in 数组) {语句}
awk 'BEGIN{record="12#345#24681";split(record, arr, "#")} END {for(i in arr){print "i="i " " arr[i]}}' tt.txt
还是需要加个begin与end
posted on
