docker随笔7--常用的shell命令sed与awk
1.sed命令:
sed是一种流编辑器,它是文本处理中非常有用的工具,能够完美的配合正则表达式使用,功能不同凡响。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。
利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。
用法:sed 【options】 ‘【command】’ 【filename】 (注意引号)
选项:
-n:使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行或动作才会被列出来
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是扩展型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到屏幕
动作说明: [n1[,n2]] function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为]
Function一般有以下参数:
a:新增,后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)
c: 替换,后面可以接字符串,这些字符串可以替换 n1,n2 之间的行
d:删除
i:插入,后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)
p:打印,将某个选择的数据打印出来。通常跟参数-n 一起运行
s:替换,用一个字符串替换另一个,注意与c参数的区别
实例:
新增一行:
vim demo.txt:
first
second
third
在第二行下一行插入一个“tmp”行:
sed -i "2a temp" demo.txt
解释 -i 表示输入到源文件中不直接输出到屏幕上, 2a表示 的是动作 ,表示在第二行下面新增一条记录
替换/修改操作:
sed -i "s/second/second_replace/g " demo.txt
单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义。
sed '2,5s/原字符串/替换字符串/g' #替换2到5行
删除操作:
sed是对行进行操作的,删除也是指的是删除一行。
#删除空白行: sed '/^$/d' file #删除文件的第2行: sed '2d' file #删除文件的第2行到末尾所有行: sed '2,$d' file #删除文件最后一行: sed '$d' file #删除文件中所有开头是test的行: sed '/^abc/'d file
2.awk命令:
awk是一个linux的一个文本处理应用
1.基本用法:
awk 动作 文件名
实例:
vim demo.txt
first1 first2 first3
second1 second2
third3
$ awk '{print $0}' demo.txt
前面单引号内部有一个大括号,里面就是每一行的处理动作print $0,注意是单引号,$0 表示打印一行 $1 表示打印第一个字符,比如first1 second1
指定分隔符来划分字段
修改demo.txt
first?first2?first3
second?second2
根据?分隔符来进行拆分每一行:
awk -F '?' '{ print $1 }' demo.txt
2.变量:
除了$ + 数字
表示某个字段,awk
还提供其他一些变量。变量NF
表示当前行有多少个字段,因此$NF
就代表最后一个字段。$(NF-1)
代表倒数第二个字段。
显示每行有多少个字段(默认是以空格作为分隔符)
awk '{NF}' demo.txt
3.函数:
awk
还提供了一些内置函数,方便对原始数据的处理。
toupper()
用于将字符转为大写。
awk '{print toupper($1)} demo.txt'
length()
:返回字段串长度:
awk '{print length($1)}' demo.txt
substr()
:返回子字符串。
awk '{pirnt substr($i)}' demo.txt
sin()
:正弦:
cos()
:余弦:
sqrt()
:平方根: