linux 命令 — sed
sed
stream editor,流编辑器
查找替换
sed 's/pattern/replace_string/' file
替换每一行第一次出现的pattern,将替换后的文本输出到stdout,'/'是定界符,可以使用任意的定界符,如果在pattern或者replace_stirng中出现定界符的话,使用''进行转义
sed 's/http:\/\//https:\/\/' url.txt
把每一行第一次出现的http替换为https
sed 's/pattern/replace_string/g' file
替换所有的pattern,将替换后的文本输出到stdout,g表示替换每一行中的出现的所有pattern
sed 's/pattern/replace_string/2g' file
替换第三次开始出现的的pattern,将替换后的文本输出到stdout,ng表示替换每一行中从第(n+1)次出现的pattern
sed -n 's/pattern/str/g'
输出所有替换后的行
cat file | sed -n '/pattern/p'
输出搜索到的行,-n表示只输出匹配到的行(默认输出所有行)
sed -i 's/pattern/str/g' file
直接将替换后的内容写入到源文件中
sed -e 's/pattern1l/str1/g' -e 's/pattern2/str2/g' file
进行多处编辑
移除空白行
sed '/^$/d'
^$: 匹配空白行
d: 删除匹配到的行
已匹配字符串标记&
echo this is an example | sed 's/\w\+/[&]/g'
输出:[this] [is] [an] [example]
\w: 正则表达式元字符,表示匹配单个单词(数字、字母,下划线)
+: 正则表达式,匹配一次或者多次,"+"对"+" 进行转义
&: 表示前面pattern匹配到的字符串
echo BIG small | sed 's/\([A-Z]\+\) \([a-z]\+\)/\2 \1/'
输出:small BIG
\1: 表示pattern中第一个 (pattern) 匹配到的子串,\2表示第二个,以此类推
组合多个表达式
sed 'exp1' | sed 'exp2'
等价于
sed 'exp1'; 'exp2'
等价于
sed 'exp1 exp2'
等价于
sed -e exp1 -e exp2
双引号,引用
sed一般使用单引号包围表达式,如果要使用shell变量,则使用双引号,因为在shell中shell不会对单引号内的内容进行解析,对双引号中的部分符号会进行解析,比如"$"
test=hello; echo hello WORLD | sed "s/$test/HELLO/"
输出:HELLO WORLD
模式空间
pattern space: 模式空间,处理文件一行的临时缓冲区,处理完一行之后把模式空间的内容打印到stdout,然后自动会清空缓存
hold space: 保持空间,不糊自动清空的缓冲区,使用gGhHd等命令操作
d: 删除pattern space的内容,开始下一个循环
h、H: 复制/追加pattern space到hold space
g、G: 复制/追加hold space 到pattern space
x: 交换pattern space 和 hold space`的内容
$ cat num.txt
one
two
three
$ sed '1!G;h;$!d' num.txt
three
two
one
对每一行执行命令 '1!G;h;$!d'
第一行:
1!G: 不执行G,
h: 复制pattern space内容——one到hold space
$!d: 删除pattern space
执行完之后:
pattern space: 空
hold space:
one
第二行:
1!G: 追加hold space 内容到pattern space
h: 复制pattern space内容到hold space
$!d: 删除pattern space
执行完之后:
pattern space: 空
hold space:
two
one
第三行:
1!G: 追加hold space到pattern space
h: 复制pattern space到hold space
$!d: 不删除pattern space
执行完之后:
pattern space:
three
two
one
hold space:
three
two
one
转换大小写
这个功能是gnu sed的extension
\L: 转换replacement为小写,直到遇到\E、\U
\l: 转换下一个char为小写
\U: 转换replacement为大写,直到遇到\L、\E
\u: 转换下一个char为大写
\E: 转换大小写的终止符,终止以\L、\U开始的转换
echo 'a-b-' | sed 's/\(b\?\)-/x\u\1/g'
输出:axxB
echo 'a-b-' | sed 's/\(b\?\)-/\u\1x/g'
输出:aXBx
s命令的一般形式
s/regex/replacement/flag
可用的flag
g: 将替换应用到所有地方,而不是搜索到的第一个地方
number: 替换第number个地方
i、I: 不区分大小写