shell文本处理工具总结
shell文本处理工具总结
为了效率,应该熟练的掌握自动化处理相关的知识和技能,能力就表现在做同样的一件事情,可以做的很好的同时,耗时还很短。
再次总结shell文本处理的相关规则,对提高软件调试效率,加快数据处理分析都很有帮助。
Shell常用的文本处理工具,主要是4种:sed,grep,gawk,正则表达式。
1. sed
这是一种流式编辑器,区别于普通的交互式编辑器的地方是在处理文本前,需要提前设定好一组规则,它会每次读取一行,按照规则匹配输出,循环往复,直到处理完毕为止;
命令格式为: sed options script file,
具体如下: sed [-Ealn] command [file ...] sed [-Ealn] [-e command] [-f command_file] [-i extension] [file ...]
常用的处理命令有:
sed -e 'cmd1; cmd2; cmd3 ... ;cmdn' file , 连续执行多个命令;
sed -n, 不要自动为每个命令生成输出;
sed 's/a/b/' file, 将file里面的a换成b;
sed '/pattern/d' file, 将file里面匹配pattern的行删除;
sed '/pattern/{n;d}' file,将file里面匹配pattern的行找到,将其下一行删除;
sed '/pattern/{N; s/a/b/}' file, N选项会使得文本行仍然用换行符处理,但是会合并当成一行处理,所以这里的意思是将file里面匹配pattern的行找到,将下一行和在一起,将里面的a替换成b;
sed 'N; /pattern/D' file, 将file里面两行一起的处理,匹配到pattern后,将前面的一行删除,D也是一个多行处理选项;
sed 在shell脚本中使用多个命令,{ 和 }都单独各占一行; sed ‘1a \xxx’第一行后追加1行 sed ‘1i \xxx’第一行后插入1行 sed -n '^$/!p' 打印全部文件内容 sed -n '1,10p' 打印1-10行内容
2. grep
命令格式为:grep options pattern file
grep -r 递归目录查找
grep -n 打印行数
grep -i 忽略大小写
grep -v 反向匹配查找
grep -F -f 可以用来处理获得两个文件的交集,或者差集;
3. gawk
gawk是awk的gnu版本,该工具让流编辑器上了一层台阶,可以提供一个类编程的环境,而不再仅仅是一个命令行工具。
命令格式为: gawk options program file,
gawk会从标准输入等待数据的输入,program用一对花括号来定义; 数据字段变量,$0表示整个文本行,$n表示第n个数据段 一些重要的内建变量:FILEDWIDTH, FS,RS,OFS,ORS; BEGIN表示处理前运行的操作, END表示处理结束后运行的操作; 支持if,while,do-while等函数定义;
4. sort
sort -k 指定排序的栏;
sort -r 反转排序,数字默认的是由小到大;
sort -n 指定按照数字排序;
5. 正则表达式
在shell中熟练使用sed和awk的关键在于对正则表达式的运用,正则表达式,就是一套有用户定义的,用来过滤数据流的规则。
正则表达式的难点在于,linux环境下不同的应用程序可能有不同的正则表达式规则。
再次总结通用的两种类型: BRE(basic regular expression),基本上都支持这种规则, ERE(extend regular expression),扩展类型,部分应用程序支持(gawk可以,sed不行);
BRE的规则主要有:
^ 行首
$ 行尾
. 任意字符,除了换行符
* 任意字符出现一次或者多次
[] 区间匹配
[^abc] 排除字符组
[[:alpha:]] 匹配字母,不区分大小写
[[:alnum:]] 匹配数字和字母,不区分大小写
[[:digit:]] 匹配数字
[[:blank:]] 匹配空格或者tab
[[:print:]] 匹配可打印字符
[[:punct:]] 匹配标点符号
[[:space:]] 匹配任意空白字符
[[:lower:]] 匹配小写
[[:upper:]] 匹配大写
ERE的规则主要有:
?前面的字符出现0次或者1次
+ 前面的字符出现1次或者多次
| 可以将两个过滤表达式按照或的关系连起来
{m} 前面的字符出现m次
{n,m} 前面的字符出现n-m次
() 将括号内部的匹配聚合成一个整体,当成一次标准字符使用;