shell命令三剑客之sed命令详解
shell中最核心的三个命令grep、sed、awk。
其中，
grep：文本搜索。
sed：文本处理。
awk：文本分析工具、语言。
本文主要讲述sed命令的用法。
1.初识sed命令
1.1 sed命令是什么
sed是一种支持正则表达式的非交互式流编辑器。是脚本中修改文本或者文本替换的最佳工具。
1.2 sed工作原理
sed工作在内存，有两个空间：
- pattern space（模式空间）：缓存空间，较多使用（模式空间里处理一行内容后，会将这一行内容删除。加载第2行内容）；
- hold space（保留空间）：临时仓库，很少使用。
工作原理：
sed编辑器逐行处理文件，并将输出结果打印到屏幕上。sed命令将当前处理的行读入模式空间（pattern space）进行处理。sed在该行上执行完所有的命令后就将处理好的行打印到屏幕上（除非之前的命令删除了该行），sed处理完一行就将其从模式空间里删除，然后将下一行读入模式空间进行处理、显示。处理完文件的最后一行，sed便会结束运行。sed在临时缓冲区（模式空间）对文件进行处理，所以不会修改原文件，除非显示指明 -i 选项。
1.3 sed 命令怎么用
sed的常用语法命令格式：
sed [选项] sed编辑命令 输入文件
其他shell命令 | sed [选项] sed编辑命令
sed [选项] 输入文件
sed的常用选项：
- n：只显示匹配处理的行（否则会输出所有）
- e：执行多个编辑命令时（一般用；代替）
- i：直接在文件中进行修改，而不是输出到屏幕（此时不要接-n或-p命令，会导致源文件出问题）
- r：支持扩展正则表达式
- f：从脚本文件中读取内容并执行（文件中的编辑命令每行一个,不用；隔开）
sed的常用编辑命令：
- p：打印匹配行 print
- d：删除指定行 delete
- a：在匹配行后面追加 append
- i：在匹配行前面插入 insert
- c：整行替换
- r：将文件的内容读入 read
- w：将文本写入文件 write
- s：字符串替换（匹配正则表达式）substitution
sed里单引号和双引号的作用区别：
- 双引号里可以使用shell里的变量；单引号不能。
- 单引号和双引号里都可以存放模式。
1.4 示例
1.4.1 sed的n选项和编辑命令p的示例
PS：文件sed.txt只有17行数据，每行内容分别为1,2,3,4......17。
显示文件的第1、2行：
[root@liupeng lp]# sed -n '1,2p' sed.txt
1
2
[root@liupeng lp]#
或：
[root@liupeng lp]# sed -n '3,$!p' sed.txt -->即不显示从第3行到最后一行
1
2
[root@liupeng lp]#
显示文件的第2至5行：
[root@liupeng lp]# sed -n '2,5p' sed.txt
2
3
4
5
[root@liupeng lp]#
或：
[root@liupeng lp]# sed -n '2,+3p' sed.txt
2
3
4
5
[root@liupeng lp]#
显示文件的第10行：
[root@liupeng lp]# sed -n '10p' sed.txt
10
[root@liupeng lp]#
显示文件的最后一行：
[root@liupeng lp]# sed -n '$p' sed.txt
17
[root@liupeng lp]#
显示文件的1,3,5行：
[root@liupeng lp]# sed -n '1p;3p;5p' sed.txt -->注意此处变为了分号！
1
3
5
[root@liupeng lp]#
显示单数行：
[root@liupeng lp]# sed -n '1~2p' sed.txt --> ~表示步长
1
3
5
7
9
11
13
15
17
[root@liupeng lp]#
显示偶数行：
[root@liupeng lp]# sed -n '0~2p' sed.txt
2
4
6
8
10
12
14
16
[root@liupeng lp]#
加入模式：
这里的模式可以是正则表达式也可以是精确字符，
模式用/括起，扩展正则要加 -r选项。
sed -n '/模式/p’ 输入文件
显示包含2的行：
[root@liupeng lp]# sed -n '/2/p' sed.txt
2
12
[root@liupeng lp]#
不显示1开头的行：
[root@liupeng lp]# sed -rn '/^1/!p' sed.txt
2
3
4
5
6
7
8
9
[root@liupeng lp]#
显示以2为结尾的行：
[root@liupeng lp]# sed -n '/2$/p' sed.txt
2
12
[root@liupeng lp]#
显示以1和3开头的行：
[root@liupeng lp]# sed -n '/^[1,3]/p' sed.txt
1
3
10
11
12
13
14
15
16
17
[root@liupeng lp]#
1.4.2 sed的d编辑命令（不删除原文件内容）示例
删除操作可以根据行号和模式匹配进行操作。
删除1-15行：
[root@liupeng lp]# sed '1,15d' sed.txt
16
17
[root@liupeng lp]#
删除包含数字1的行：
[root@liupeng lp]# sed '/1/d' sed.txt
2
3
4
5
6
7
8
9
[root@liupeng lp]#
除了包含数字1的行都删除：
[root@liupeng lp]# sed '/1/!d' sed.txt
1
10
11
12
13
14
15
16
17
[root@liupeng lp]#
删除空行和注释：
[root@liupeng lp]# sed -r '/^$|^#/d' sed.txt -->^$指空行；^# 以#开头的行，即注释行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@liupeng lp]#
删除空行再删除注释行：
[root@liupeng lp]# sed -e '/^$/d' -e '/^#/d' sed.txt -->第二个-e用分号代替也可以
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@liupeng lp]#
1.4.3 sed的编辑命令之a追加命令示例
追加操作可以根据行号和模式匹配进行操作 （不更改原文件）。
新建一个sed2.txt文件，内容为数字1~7。
[root@liupeng lp]# cat sed2.txt
1
2
3
4
5
6
7
[root@liupeng lp]#
在第一行后面追加字符串abcabc：
[root@liupeng lp]# sed '1a abcabc' sed2.txt
1
abcabc
2
3
4
5
6
7
[root@liupeng lp]#
在包含数字2的行下面追加字符串bcbcbc：
[root@liupeng lp]# sed '/2/a bcbcbc' sed2.txt
1
2
bcbcbc
3
4
5
6
7
[root@liupeng lp]#
1.4.4 sed的编辑命令之i插入命令示例
插入操作可以根据行号和模式匹配进行操作 。
在最后一行的前面插入字符串bcbcbc：
[root@liupeng lp]# sed '$i bcbcbc' sed2.txt
1
2
3
4
5
6
bcbcbc
7
[root@liupeng lp]#
在包含数字3的行前面插入字符串bcbcbc：
[root@liupeng lp]# sed '/3/i bcbcbc' sed2.txt
1
2
bcbcbc
3
4
5
6
7
[root@liupeng lp]#
1.4.5 sed的编辑命令之c替换命令示例
更改整行操作可以根据行号和模式匹配进行操作。
将数字2所在的行替换成字符串bcbcbc：
[root@liupeng lp]# sed '/2/c bcbcbc' sed2.txt
1
bcbcbc
3
4
5
6
7
[root@liupeng lp]#
将第三行替换成字符串bcbcbc：
[root@liupeng lp]# sed '3c bcbcbc' sed2.txt
1
2
bcbcbc
4
5
6
7
[root@liupeng lp]#
1.4.6 sed的编辑命令之r读入命令示例
读入操作可以根据行号和模式匹配进行操作。
在sed2.txt文件的末尾后面读入/etc/passwd文件的所有内容：
[root@liupeng lp]# sed '$r /etc/passwd' sed2.txt
1
2
3
4
5
6
7
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
......
[root@liupeng lp]#
在/dev/sda1后面读入sed2.txt文件的内容：
[root@liupeng lp]# df -h | sed '/dev\/sda1/r sed2.txt'
文件系统 容量 已用 可用 已用%% 挂载点
/dev/mapper/vg_liupeng-lv_root
18G 13G 4.2G 75% /
tmpfs 491M 88K 491M 1% /dev/shm
/dev/sda1 485M 33M 427M 8% /boot
1
2
3
4
5
6
7
[root@liupeng lp]#
1.4.7 sed的编辑命令之w写入命令示例（w命令不加-i也是直接修改原文件！）
写入文件操作可以根据行号和模式匹配进行操作。
将文件/etc/passwd的第一行写到sed2.txt（和r读入命令顺序正好相反）：
[root@liupeng lp]# sed '1w sed2.txt' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
......
[root@liupeng lp]# cat sed2.txt
root:x:0:0:root:/root:/bin/bash
[root@liupeng lp]#
将文件/etc/inittab所有不是#开头的行都写入sed2.txt：
[root@liupeng lp]# sed '/^#/!w sed2.txt' /etc/inittab
# inittab is only used by upstart for the default runlevel.
#
# ADDING OTHER CONFIGURATION HERE WILL HAVE NO EFFECT ON YOUR SYSTEM.
#
# System initialization is started by /etc/init/rcS.conf
#
# Individual runlevels are started by /etc/init/rc.conf
#
# Ctrl-Alt-Delete is handled by /etc/init/control-alt-delete.conf
#
# Terminal gettys are handled by /etc/init/tty.conf and /etc/init/serial.conf,
# with configuration in /etc/sysconfig/init.
#
# For information on how to write upstart event handlers, or how
# upstart works, see init(5), init(8), and initctl(8).
#
# Default runlevel. The runlevels used are:
# 0 - halt (Do NOT set initdefault to this)
# 1 - Single user mode
# 2 - Multiuser, without NFS (The same as 3, if you do not have networking)
# 3 - Full multiuser mode
# 4 - unused
# 5 - X11
# 6 - reboot (Do NOT set initdefault to this)
#
id:5:initdefault:
[root@liupeng lp]# cat sed2.txt
id:5:initdefault:
[root@liupeng lp]#
1.4.8 sed的编辑命令之替换s命令示例
sed -n [行号或模式]s/查找内容/替换内容/[替换标记] 文件
替换操作可以根据行号和模式匹配进行操作。
新建一个sed2.txt文件，内容如下：
[root@liupeng lp]# cat sed2.txt
1 1 1
2 2 2
3 3 3
22 2 222
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]#
替换标记有四种：
数字：替换每行的第几个。
- g：全局替换，否则只替换第一个字符串。
- p：显示被执行替换操作的行，与-n合用。
- w：将执行替换操作的行输出到指定文件。
示例：
将sed2.txt中每行的第二个数字2替换成bb：
[root@liupeng lp]# sed -n 's/2/bb/2p' sed2.txt
2 bb 2
2bb 2 222
[root@liupeng lp]#
将文件中找到以id开头的行中的:3:替换成:5:(先用^id找出行)：
[root@liupeng lp]# sed '/^id/s/5/77/' /etc/inittab
# inittab is only used by upstart for the default runlevel.
#
.....
#
id:77:initdefault:
[root@liupeng lp]#
将sed2.txt文件中的空格全部替换为冒号：
[root@liupeng lp]# sed 's/ /:/g' sed2.txt
1:1:1
2:2:2
3:3:3
22:2:222
4:4:4
5:5:5
6:6:6
7:7:7
[root@liupeng lp]#
将sed2.txt文件中的空格全部替换成分号，同时将数字6全部替换成逗号：
[root@liupeng lp]# sed 's/ /;/g ; s/6/,/g' sed2.txt
1;1;1
2;2;2
3;3;3
22;2;222
4;4;4
5;5;5
,;,;,
7;7;7
[root@liupeng lp]#
在文件sed2.txt的2到3行前面加上注释：
[root@liupeng lp]# sed -n '2,3s/^/#/p' sed2.txt
#2 2 2
#3 3 3
[root@liupeng lp]# cat sed2.txt
1 1 1
2 2 2
3 3 3
22 2 222
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]#
在文件sed2.txt的每行末尾加上问号：
[root@liupeng lp]# sed -n 's/$/?/p' sed2.txt
1 1 1?
2 2 2?
3 3 3?
22 2 222?
4 4 4?
5 5 5?
6 6 6?
7 7 7?
[root@liupeng lp]#
或：
[root@liupeng lp]# sed 's/$/?/' sed2.txt
1 1 1?
2 2 2?
3 3 3?
22 2 222?
4 4 4?
5 5 5?
6 6 6?
7 7 7?
[root@liupeng lp]#
1.5 sed的s编辑命令可以使用任意分隔符作为定界符
例如：
把/etc/passwd文件中root开头的行的/bin/bash替换成hahaha（用|做定界符）：
[root@liupeng lp]# sed -n '/^root/s|/bin/bash|hahaha|p' /etc/passwd
root:x:0:0:root:/root:hahaha
[root@liupeng lp]#
以分号做定界符：
[root@liupeng lp]# sed -n '/^root/s;/bin/bash;hahaha;p' /etc/passwd
root:x:0:0:root:/root:hahaha
[root@liupeng lp]#
1.6 sed 命令的-i 选项
-i选项是直接修改文件，小心使用 ！！
用法格式：sed -i '/模式/s/源字符/替换成/g' 文件名
示例：用sed命令的-i选项，将sed2.txt文件中以数字22开头的行中的22全部替换成字符a：
[root@liupeng lp]# cat sed2.txt
1 1 1
2 2 2
3 3 3
22 2 222
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]# sed -i '/^22/s/22/a/g' sed2.txt
[root@liupeng lp]# cat sed2.txt
1 1 1
2 2 2
3 3 3
a 2 a2
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]#
1.7 sed的编辑命令补充之：G命令
G：把缓存空间里的东西追加到模式空间的行后。
例：在sed2.txt文件的每行后面加空行。
[root@liupeng lp]# sed 'G' sed2.txt
1 1 1
2 2 2
3 3 3
a 2 a2
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]# cat sed2.txt
1 1 1
2 2 2
3 3 3
a 2 a2
4 4 4
5 5 5
6 6 6
7 7 7
[root@liupeng lp]#
一个例子来理解2个模式：
在sed的工作原理中我们提到，sed工作在内存，有两个空间：
- pattern space（模式空间）：缓存空间，较多使用（模式空间里处理一行内容后，会将这一行内容删除。加载第2行内容）；
- hold space（保留空间）：临时仓库，很少使用。
下面我们举个例子来理解一下这两个空间。
首先新建一个test.txt文件，内容如下：
[root@liupeng lp]# cat test.txt
xiaomi
huawei
huawei
apple
huawei
samsung
huawei
[root@liupeng lp]#
接着我们执行命令“sed '/huawei/h;G' test.txt”，会发现输出的内容很值得思考：
[root@liupeng lp]# sed '/huawei/h;G' test.txt
xiaomi
huawei
huawei
huawei
huawei
apple
huawei
huawei
huawei
samsung
huawei
huawei
huawei
[root@liupeng lp]#
会如此显示的原因如下：
①先查找huawei，如果符合条件就将这行的内容写到hold space里，接着执行G命令，就会将hold space里的内容追加到pattern space后面，然后输出到屏幕。
②因为第一行是xiaomi，不符合/huawei/模式条件，所以不将xiaomi复制到hold space里，又因为hold space里开始时默认是空的，所以会在xiaomi后面添加一行空行。
③第2行的内容刚好就是huawei，符合模块的条件，就将huawei这行复制到hold space里，替换了原来里面的空的内容。接着执行G命令，又将huawei追加到pattern space空间的后面，所以有2个huawei，后面的行以此类推。
1.8 sed命令特殊用法
- &符号：&符号表示前面找到的模式匹配内容。
示例：找出/etc/passwd文件中uid100~999的，在后面都加个0
[root@liupeng lp]# cat -n /etc/passwd|sed -n -r 's/[0-9]{3}/&0/p'
12 games:x:12:1000:games:/usr/games:/sbin/nologin
17 usbmuxd:x:1130:113:usbmuxd user:/:/sbin/nologin
18 avahi-autoipd:x:1700:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
21 rtkit:x:4990:497:RealtimeKit:/proc:/sbin/nologin
22 abrt:x:1730:173::/etc/abrt:/sbin/nologin
26 saslauth:x:4980:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin
30 nfsnobody:x:655034:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
31 pulse:x:4970:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
35 mysql:x:4960:493::/home/mysql:/bin/bash
[root@liupeng lp]#
- 标签
标签：sed使用圆括号定义替换模式中的部分字符。
标签可以方便在后面引用，每行指令最多使用9个标签。
示例1：用sed取出passwd里面的第一列。
\1表示第一个标签，用第一个标签（^[0-Z]+）把前面符合第一个和第二个的全部取代：
[root@liupeng lp]# cat /etc/passwd|sed -r 's/(^[0-Z]+)(.*)/\1/'
root
bin
daemon
......
[root@liupeng lp]#
示例2：删除/etc/passwd第一个字段.
思路：用第2个标签（.*）把前面的符合第一个和第二个的全部取代。
[root@liupeng lp]# cat /etc/passwd | sed -r 's/(^[0-Z]+)(.*)/\2/'
:x:0:0:root:/root:/bin/bash
:x:1:1:bin:/bin:/sbin/nologin
:x:2:2:daemon:/sbin:/sbin/nologin
......
[root@liupeng lp]#
示例3：注意小括号之间有空格：
[root@liupeng lp]# echo aaa bbb ccc|sed -r 's/([a-z]+) ([a-z]+) ([a-z]+)/\3#\2#\1/'
ccc#bbb#aaa
[root@liupeng lp]#
1.9 sed的s命令中支持\t \n \s（正则里表示空白）
具体示例在上面的代码中有，用到\n换行时，前面不用加反斜杠来释义。
2 练习
1.sed取出/etc/passwd文件的第一列。
2.sed将PATH环境变量中的冒号换成换行。
3.sed将PATH环境变量斜杠/换成斜杠\。
4.sed修改SELINUX配置文件从开启变成禁用（/etc/sysconfig/selinux）。
5.去掉/etc/passwd文件中第二个地段的x。
6.修改/etc/inittab文件里的3或者5修改为6。
7.用sed命令删除"cat -n /etc/passwd"每行前面的空格和数字。
（答案放在本文最后）。
答案：
1.sed取出/etc/passwd文件的第一列。
[root@liupeng lp]# cat /etc/passwd|sed -r 's/(^[0-Z]+)(.*)/\1/'
root
bin
daemon
......
[root@liupeng lp]#
--》\1表示第一个标签
2.sed将PATH环境变量中的冒号换成换行。
[root@liupeng lp]# echo $PATH|sed 's/:/\n/g'
/usr/lib64/qt-3.3/bin
/usr/local/sbin
/usr/local/bin
/sbin
/bin
/usr/sbin
/usr/bin
/root/bin
/usr/local/python3.6.4/bin
[root@liupeng lp]# echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/python3.6.4/bin
[root@liupeng lp]#
3.sed将PATH环境变量斜杠/换成斜杠\。
[root@liupeng lp]# echo $PATH|sed -r 's/\//\\/g'
\usr\lib64\qt-3.3\bin:\usr\local\sbin:\usr\local\bin:\sbin:\bin:\usr\sbin:\usr\bin:\root\bin:\usr\local\python3.6.4\bin
[root@liupeng lp]#
或者用井号来做定界符：
[root@liupeng lp]# echo $PATH|sed -r 's#/#\\#g'
\usr\lib64\qt-3.3\bin:\usr\local\sbin:\usr\local\bin:\sbin:\bin:\usr\sbin:\usr\bin:\root\bin:\usr\local\python3.6.4\bin
[root@liupeng lp]#
4.sed修改SELINUX配置文件从开启变成禁用（/etc/sysconfig/selinux）。
[root@liupeng lp]# cat /etc/sysconfig/selinux|sed '/^SELINUX=/s/enforcing/disabled/g'
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
[root@liupeng lp]#
5.去掉/etc/passwd文件中第二个地段的x。
[root@liupeng lp]# cat /etc/passwd | sed 's/:x:/::/g'
root::0:0:root:/root:/bin/bash
bin::1:1:bin:/bin:/sbin/nologin
......
[root@liupeng lp]#
[root@liupeng lp]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
......
6.把/etc/inittab文件里的3或者5修改为6。
[root@liupeng lp]# cat /etc/inittab | sed -r '/^id/s/:[35]:/:6:/g'
......
id:6:initdefault:
[root@liupeng lp]# cat /etc/inittab
......
id:5:initdefault:
[root@liupeng lp]#
7.用sed命令删除"cat -n /etc/passwd"每行前面的空格和数字。
方法1，用标签来替换。
[root@liupeng lp]# cat -n /etc/passwd | sed -r 's/(\s+[0-9]+\s+)(.*)/\2/'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
......
[root@liupeng lp]#
方法2，使用正则去匹配，然后用空的内容去替换。
[root@liupeng lp]# cat -n /etc/passwd | sed -r 's/\s+[0-9]+\s+//'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
......
[root@liupeng lp]#
欢迎大家关注：
-----------END-------------
