linux 命令 — sed

sed

stream editor,流编辑器

查找替换

sed 's/pattern/replace_string/' file
替换每一行第一次出现的pattern,将替换后的文本输出到stdout,'/'是定界符,可以使用任意的定界符,如果在pattern或者replace_stirng中出现定界符的话,使用''进行转义

sed 's/http:\/\//https:\/\/' url.txt
把每一行第一次出现的http替换为https

sed 's/pattern/replace_string/g' file
替换所有的pattern,将替换后的文本输出到stdout,g表示替换每一行中的出现的所有pattern

sed 's/pattern/replace_string/2g' file
替换第三次开始出现的的pattern,将替换后的文本输出到stdout,ng表示替换每一行中从第(n+1)次出现的pattern

sed -n 's/pattern/str/g'
输出所有替换后的行

cat file | sed -n '/pattern/p'
输出搜索到的行,-n表示只输出匹配到的行(默认输出所有行)

sed -i 's/pattern/str/g' file
直接将替换后的内容写入到源文件中

sed -e 's/pattern1l/str1/g' -e 's/pattern2/str2/g' file
进行多处编辑

移除空白行

sed '/^$/d'
^$: 匹配空白行
d: 删除匹配到的行

已匹配字符串标记&

echo this is an example | sed 's/\w\+/[&]/g'
输出:[this] [is] [an] [example]
\w: 正则表达式元字符,表示匹配单个单词(数字、字母,下划线)
+: 正则表达式,匹配一次或者多次,"+"对"+" 进行转义
&: 表示前面pattern匹配到的字符串

echo BIG small | sed 's/\([A-Z]\+\) \([a-z]\+\)/\2 \1/'
输出:small BIG
\1: 表示pattern中第一个 (pattern) 匹配到的子串,\2表示第二个,以此类推

组合多个表达式

sed 'exp1' | sed 'exp2'
等价于
sed 'exp1'; 'exp2'
等价于
sed 'exp1 exp2'
等价于
sed -e exp1 -e exp2

双引号,引用

sed一般使用单引号包围表达式,如果要使用shell变量,则使用双引号,因为在shell中shell不会对单引号内的内容进行解析,对双引号中的部分符号会进行解析,比如"$"
test=hello; echo hello WORLD | sed "s/$test/HELLO/"
输出:HELLO WORLD

模式空间

pattern space: 模式空间,处理文件一行的临时缓冲区,处理完一行之后把模式空间的内容打印到stdout,然后自动会清空缓存
hold space: 保持空间,不糊自动清空的缓冲区,使用gGhHd等命令操作

d: 删除pattern space的内容,开始下一个循环
h、H: 复制/追加pattern space到hold space
g、G: 复制/追加hold space 到pattern space
x: 交换pattern space 和 hold space`的内容

$ cat num.txt
one
two
three

$ sed '1!G;h;$!d' num.txt
three
two
one

对每一行执行命令 '1!G;h;$!d'
第一行:
1!G: 不执行G,
h: 复制pattern space内容——one到hold space
$!d: 删除pattern space

执行完之后:
pattern space: 空
hold space:
one

第二行:
1!G: 追加hold space 内容到pattern space
h: 复制pattern space内容到hold space
$!d: 删除pattern space

执行完之后:
pattern space: 空
hold space:
two
one

第三行:
1!G: 追加hold space到pattern space
h: 复制pattern space到hold space
$!d: 不删除pattern space

执行完之后:
pattern space:
three
two
one
hold space:
three
two
one

转换大小写

这个功能是gnu sed的extension
\L: 转换replacement为小写,直到遇到\E、\U
\l: 转换下一个char为小写
\U: 转换replacement为大写,直到遇到\L、\E
\u: 转换下一个char为大写
\E: 转换大小写的终止符,终止以\L、\U开始的转换

echo 'a-b-' | sed 's/\(b\?\)-/x\u\1/g'
输出:axxB

echo 'a-b-' | sed 's/\(b\?\)-/\u\1x/g'
输出:aXBx

s命令的一般形式
s/regex/replacement/flag
可用的flag
g: 将替换应用到所有地方,而不是搜索到的第一个地方
number: 替换第number个地方
i、I: 不区分大小写

posted @ 2017-07-10 23:10  lacker  阅读(249)  评论(0编辑  收藏  举报