Linux学习笔记1（awk命令）

       awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk使用方式

（一）命令行方式

        awk [-F field-separator] 'commands' input-file(s)

        其中，commands 是真正awk命令，[-F字段分隔符]是可选的参数设置， input-file(s) 是待处理的文件。

        在awk中，文件的每一行中，由字段分隔符分开的每一项称为一个字段。通常，在不指明-F字段分隔符的情况下，默认的字段分隔符是空格

（二）shell脚本方式

        将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

        相当于shell脚本首行的：#!/bin/sh

        可以换成：#!/bin/awk

（三）将所有的awk命令插入一个单独文件，然后调用：

        awk -f awk-script-file input-file(s)

        其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

命令行方式的使用

awk  [options]  '/pattern/ + {action}'  {filenames}

【options】中最常用的是设置-F：指明字段分隔符，可以任意设置‘：’，‘、’，‘！’等各种符号来分割一行文本，默认的字段分隔符是空格

尽管操作可能会很复杂，但语法总是这样，其中 pattern是正则表达式，用斜杠括起来。而 action 是在找到匹配内容时所执行的一系列命令。

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为‘：’

awk内置变量

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

例如上面的代码可以用printf代替

awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd