linux 命令 — sed

sed

stream editor，流编辑器

查找替换

sed 's/pattern/replace_string/' file
替换每一行第一次出现的pattern，将替换后的文本输出到stdout，'/'是定界符，可以使用任意的定界符，如果在pattern或者replace_stirng中出现定界符的话，使用''进行转义

sed 's/http:\/\//https:\/\/' url.txt
把每一行第一次出现的http替换为https

sed 's/pattern/replace_string/g' file
替换所有的pattern，将替换后的文本输出到stdout，g表示替换每一行中的出现的所有pattern

sed 's/pattern/replace_string/2g' file
替换第三次开始出现的的pattern，将替换后的文本输出到stdout，ng表示替换每一行中从第（n+1）次出现的pattern

sed -n 's/pattern/str/g'
输出所有替换后的行

cat file | sed -n '/pattern/p'
输出搜索到的行，-n表示只输出匹配到的行（默认输出所有行）

sed -i 's/pattern/str/g' file
直接将替换后的内容写入到源文件中

sed -e 's/pattern1l/str1/g' -e 's/pattern2/str2/g' file
进行多处编辑

移除空白行

sed '/^$/d'
^$: 匹配空白行
d: 删除匹配到的行

已匹配字符串标记&

echo this is an example | sed 's/\w\+/[&]/g'
输出：[this] [is] [an] [example]
\w: 正则表达式元字符，表示匹配单个单词（数字、字母，下划线）
+: 正则表达式，匹配一次或者多次，"+"对"+" 进行转义
&: 表示前面pattern匹配到的字符串

echo BIG small | sed 's/\([A-Z]\+\) \([a-z]\+\)/\2 \1/'
输出：small BIG
\1: 表示pattern中第一个 (pattern) 匹配到的子串，\2表示第二个，以此类推

组合多个表达式

sed 'exp1' | sed 'exp2'
等价于
sed 'exp1'; 'exp2'
等价于
sed 'exp1 exp2'
等价于
sed -e exp1 -e exp2

双引号，引用

sed一般使用单引号包围表达式，如果要使用shell变量，则使用双引号，因为在shell中shell不会对单引号内的内容进行解析，对双引号中的部分符号会进行解析，比如"$"
test=hello; echo hello WORLD | sed "s/$test/HELLO/"
输出：HELLO WORLD

模式空间

pattern space: 模式空间，处理文件一行的临时缓冲区，处理完一行之后把模式空间的内容打印到stdout，然后自动会清空缓存
hold space: 保持空间，不糊自动清空的缓冲区，使用gGhHd等命令操作

d: 删除pattern space的内容，开始下一个循环
h、H: 复制/追加pattern space到hold space
g、G: 复制/追加hold space 到pattern space
x: 交换pattern space 和 hold space`的内容

$ cat num.txt
one
two
three

$ sed '1!G;h;$!d' num.txt
three
two
one

对每一行执行命令 '1!G;h;$!d'
第一行:
1!G: 不执行G，
h: 复制pattern space内容——one到hold space
$!d: 删除pattern space

执行完之后：
pattern space： 空
hold space：
one

第二行：
1!G: 追加hold space 内容到pattern space
h: 复制pattern space内容到hold space
$!d: 删除pattern space

执行完之后：
pattern space： 空
hold space：
two
one

第三行：
1!G: 追加hold space到pattern space
h: 复制pattern space到hold space
$!d: 不删除pattern space

执行完之后：
pattern space：
three
two
one
hold space：
three
two
one

转换大小写

这个功能是gnu sed的extension
\L: 转换replacement为小写，直到遇到\E、\U
\l: 转换下一个char为小写
\U: 转换replacement为大写，直到遇到\L、\E
\u: 转换下一个char为大写
\E: 转换大小写的终止符，终止以\L、\U开始的转换

echo 'a-b-' | sed 's/\(b\?\)-/x\u\1/g'
输出：axxB

echo 'a-b-' | sed 's/\(b\?\)-/\u\1x/g'
输出：aXBx

s命令的一般形式
s/regex/replacement/flag
可用的flag
g: 将替换应用到所有地方，而不是搜索到的第一个地方
number: 替换第number个地方
i、I: 不区分大小写