docker随笔7--常用的shell命令sed与awk

1.sed命令:

  sed是一种流编辑器,它是文本处理中非常有用的工具,能够完美的配合正则表达式使用,功能不同凡响。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

  利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。

  用法:sed 【options】  ‘【command】’ 【filename】 (注意引号)  

选项:

-n:使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行或动作才会被列出来

-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是扩展型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到屏幕

动作说明: [n1[,n2]] function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 

Function一般有以下参数:

a:新增,后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)

c: 替换,后面可以接字符串,这些字符串可以替换 n1,n2 之间的行

d:删除

i:插入,后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)

p:打印,将某个选择的数据打印出来。通常跟参数-n 一起运行

s:替换,用一个字符串替换另一个,注意与c参数的区别

实例:

新增一行:

vim demo.txt:

first
second 
third

在第二行下一行插入一个“tmp”行:

sed -i "2a temp" demo.txt

解释 -i 表示输入到源文件中不直接输出到屏幕上, 2a表示 的是动作 ,表示在第二行下面新增一条记录

替换/修改操作:

sed -i "s/second/second_replace/g " demo.txt

单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义。

sed '2,5s/原字符串/替换字符串/g' #替换2到5行

删除操作:

sed是对行进行操作的,删除也是指的是删除一行。

#删除空白行:
sed '/^$/d' file

#删除文件的第2行:
sed '2d' file

#删除文件的第2行到末尾所有行:
sed '2,$d' file

#删除文件最后一行:
sed '$d' file

#删除文件中所有开头是test的行:
sed '/^abc/'d file

 

2.awk命令:

awk是一个linux的一个文本处理应用

1.基本用法:

awk 动作 文件名

实例:

vim demo.txt

first1 first2 first3
second1 second2 
third3

 

$ awk '{print $0}' demo.txt

前面单引号内部有一个大括号,里面就是每一行的处理动作print $0,注意是单引号,$0 表示打印一行 $1 表示打印第一个字符,比如first1 second1 

指定分隔符来划分字段

修改demo.txt

first?first2?first3
second?second2

根据?分隔符来进行拆分每一行:

awk -F '?' '{ print $1 }' demo.txt

 

2.变量:

除了$ + 数字表示某个字段,awk还提供其他一些变量。变量NF表示当前行有多少个字段,因此$NF就代表最后一个字段。$(NF-1)代表倒数第二个字段。

显示每行有多少个字段(默认是以空格作为分隔符)

awk '{NF}' demo.txt

 

3.函数:

awk还提供了一些内置函数,方便对原始数据的处理。

toupper()用于将字符转为大写。

awk '{print toupper($1)} demo.txt'

length():返回字段串长度:

awk '{print length($1)}' demo.txt

substr():返回子字符串。

awk '{pirnt substr($i)}' demo.txt

sin():正弦:

cos():余弦:

sqrt():平方根:

内置函数手册

 

posted @ 2019-06-19 17:57  callmelx  阅读(1279)  评论(0编辑  收藏  举报