Sed学习
sed命令-Linux实用命令-CSDNLinux技能树
Linux sed 命令
linux中最为常用的三大文本(grep,sed,awk)处理工具
Linux sed 命令
https://blog.csdn.net/lqy971966/article/details/107006904
Linux grep 命令
https://blog.csdn.net/lqy971966/article/details/106927370
Linux awk 命令
https://blog.csdn.net/lqy971966/article/details/107019195
1. 定义
Sed is a stream editor.
sed全称是:stream editor 流编辑器
对文件的操作无非就是”增删改查“,sed命令就是实现对文件的”增删改查“。
1.1 man sed //man 的解释
sed - stream editor for filtering and transforming text
用于过滤和转换文本的流编辑器
2. 功能
Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
sed 本身是一个非常复杂的工具,有专门的书籍讲解 sed 的具体用法
作为linux中最为常用的三大文本(awk,sed,grep)处理工具之一
2.1 注意-sed 不会直接修改源文件数据
sed 默认不会直接修改源文件数据,而是会将数据复制到缓冲区中,修改也仅限于缓冲区中的数据
3. sed 与 vi 的区别
vi 采用的是交互式文本编辑模式,你可以用键盘命令来交互性地插入、删除或替换数据中的文本。
sed 采用的是流编辑模式,最明显的特点是,在 sed 处理数据之前,需要预先提供一组规则,sed 会按照此规则来编辑数据。
sed 是一种非交互式编辑器(即用户不必参与编辑过程),它使用预先设定好的编辑指令对输入的文本进行编辑,完成之后再输出编辑结构
4. sed工作原理
- sed 会一次处理一行内容。
- 处理时,把当前处理的行存储在临时缓冲区中,成为"模式空间",接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。
- 文件内容并没有改变,除非你使用重定向存储输出。
5. 语法
sed [-hnV] [ -e<script>] [-f<script文件>] [文本文件]
sed [选项] [脚本命令] 文件名
选项部分,常见选项包括 -n,-e,-i,-f,-r选项。
脚本命令,常见包括: 增a 删d 改s(替换) 插入i 打印p 取代c
5.1 选项说明:
选项 含义
- -e 如果需要用sed对文本内容进行多种操作,则需要执行多条子命令来进行操作。
- -f 指定sed脚本的文件名
如果命令操作比较多的时候就会比较麻烦,这时候把多个子命令操作写入脚本文件,然后使用 -f 选项来指定该脚本 - -n 取消默认的输出
默认情况下,sed 会在所有的脚本指定执行完毕后,会自动输出处理后的内容,
而该选项会屏蔽启动输出,需使用 print 命令来完成输出。 - -i 此选项会直接修改源文件,要慎用。
5.2 动作/脚本命令说明:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~只输出被替换命令修改过的行
s :取代,可以直接进行取代的工作. s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!
6. 示例及说明
下面所有例子都以 test 文件为例子说明
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.1 sed s 字符串替换
6.1.1 sed s 格式
s/pattern/replacement/flags
flags 标记 功能
- n 1~512 之间的数字
表示指定要替换的字符串出现第几次时才进行替换,例如,一行中有 6 个 A,但用户只想替换第二个 A,这是就用到这个标记; - g 对数据中所有匹配到的内容进行替换
如果没有 g,则只会在第一次匹配成功时做替换操作。
sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new
例如,一行数据中有 3 个 A,则只会替换第一个 A;
6.1.2 sed ‘s/is/are/2’ test [局部替换]
sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new
sed 编辑器只替换每行中第 2 次出现的匹配模式
root@ubuntu-admin-a1:/home/sedTest# sed 's/hello/HELLO/2' test
hello world,HELLO hani.
hello world,HELLO hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.1.3 sed ‘s/hani/HANI/g’ test [g 全部替换]
替换所有匹配的字符串
root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/g' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,HANI is handsome.
this is the test script of sed test.
linux sed
133456789
/aaa/bbb/ccc
6.1.4 sed -n ‘s/hani/HANI/p’ test [-n p 只输出修改的行]
-n 选项会禁止 sed 输出,但 p 标记会输出修改过的行,
将二者匹配使用的效果就是只输出被替换命令修改过的行
root@ubuntu-admin-a1:/home/sedTest# sed -n 's/hani/HANI/p' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
6.1.5 其他常用
sed ‘s/old/new/’ test
匹配每一行的第一个old替换为new
sed ‘s/old/new/gi’ test
匹配所有old替换为new,g 代表一行多个,i 代表匹配忽略大小写
sed ‘3,9s/old/new/gi’ test
匹配第 3~9 行所有old替换为new
6.1.6 转换windows文件格式为unix,去除\r:sed -i ‘s/\r//’ test
sed -i 's/\r//' test
\r \n 回车换行符详解
https://blog.csdn.net/lqy971966/article/details/108355292
6.2 sed d 删除
格式为:
[#]d
6.2.1 sed ‘d’ test [d 删除全部]
root@ubuntu-admin-a1:/home/sedTest# sed 'd' test
6.2.2 sed ‘3d’ test [3d 删除指定行]
root@ubuntu-admin-a1:/home/sedTest# sed '3d' test
hello world,hello hani.
hello world,hello hani.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.2.3 sed ‘1,4d’ test [1,4d 删除区间]
root@ubuntu-admin-a1:/home/sedTest# sed '1,4d' test
linux sed
123456789
/aaa/bbb/ccc
6.3 sed a 和 i 添加和插入
a 命令表示在指定行的后面附加一行,i 命令表示在指定行的前面插入一行,
它们的基本格式完全相同
格式为:
[#]a(或 i)\新文本内容
6.3.1 sed ‘3i you are beautiful’ test [3i 指定行之前插入]
root@ubuntu-admin-a1:/home/sedTest# sed '3i you are beautiful' test
hello world,hello hani.
hello world,hello hani.
you are beautiful
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.3.2 sed ‘3a you are more beautiful’ test [3a 指定行之后添加]
root@ubuntu-admin-a1:/home/sedTest# sed '3a you are more beautiful' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
you are more beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.3.3 sed ‘4i hani\ ……’ test [……\ 添加/插入多行]
root@ubuntu-admin-a1:/home/sedTest# sed '4i hani\
hani hani\
hani hani hani' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
hani
hani hani
hani hani hani
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.4 sed c 取代
6.4.1 sed ‘3c you are beautiful’ test [3c 取代指定行]
root@ubuntu-admin-a1:/home/sedTest# sed '3c you are beautiful' test
hello world,hello hani.
hello world,hello hani.
you are beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
6.5 sed y 转换字符
y 转换命令是唯一可以处理单个字符的 sed 脚本命令
格式
[address]y/inchars/outchars/
6.5.1 sed ‘y/hani/HANI/’ test [每个字符进行映射替换]
-
转换命令会对 inchars 和 outchars 值进行一对一的映射,即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符,
第二个字符会被转换成 outchars 中的第二个字符…
这个映射过程会一直持续到处理完指定字符。
如果 inchars 和 outchars 的长度不同,则 sed 会产生一条错误消息。 -
转换命令是一个全局命令,也就是说,它会文本行中找到的所有指定字符自动进行转换,而不会考虑它们出现的位置
root@ubuntu-admin-a1:/home/sedTest# sed ‘y/hani/HANI/’ test
Hello world,Hello HANI.
Hello world,Hello HANI.
HANI Is A good mAN,HANI Is HANdsome.
tHIs Is tHe test scrIpt of sed test.
lINux sed
123456789
/AAA/bbb/ccc
6.6 sed p 打印脚本命令
p 命令表示搜索符号条件的行,并输出该行的内容
格式为:
[address]p
6.6.1 sed -n ‘/hani/p’ test [只打印包含匹配文本模式的行]
root@ubuntu-admin-a1:/home/sedTest# sed -n '/hani/p' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
6.6.2 sed p 其他常用
sed ‘2p’ test 重复打印第 2 行
sed ‘1,3p’ test 重复打印第1~3行
sed -n ‘2p’ test 只打印第 2 行
sed -n ‘1,3p’ test 只打印第 1~3 行
sed -n ‘/hani/p’ test 打印匹配到 hani 的行,类似grep
sed -n ‘/hani/!p’ test ! 反选,打印没有匹配到 hani 的行
sed -n ‘s/old/new/gp’ test 只打印匹配替换的行
6.7 sed w 将所选的行写入文件
w 命令用来将文本中指定行的内容写入文件中
格式如下:
[address]w filename
6.7.1 sed ‘s/hani/HANI/w another’ test [w 写到另外文件]
w 标记会将匹配后的结果保存到指定文件中
root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/w another' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
root@ubuntu-admin-a1:/home/sedTest# ls
another test
root@ubuntu-admin-a1:/home/sedTest# cat another
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
6.8 sed q 退出脚本命令
q 命令的作用是使 sed 命令在第一次匹配任务结束后,退出 sed 程序,不再进行对后续数据的处理。
2.8.1 sed ‘1q’ test [第一次匹配后退出]
root@ubuntu-admin-a1:/home/sedTest# sed '1q' test
hello world,hello hani.
8. sed 脚本命令的寻址方式/定址
定址用于决定对哪些行进行编辑。
地址的形式可以是数字、正则表达式、或二者的结合。
如果没有指定地址,sed将处理输入文件的所有行。
如果只想将命令作用于特定行或某些行,则必须写明 address 部分,表示的方法有以下 2 种:
以数字形式指定行区间;
用文本模式指定具体行区间。
8.1 以数字形式指定行区间
8.1.1 sed ‘1,4s/hani/HANI/’ test [多行替换]
root@ubuntu-admin-a1:/home/sedTest# sed '1,4s/hani/HANI/' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
其中,sed 's/hani/HANI/' test 默认所有都替换
8.2 用文本模式指定行区间
sed 允许指定文本模式来过滤出命令要作用的行
格式:
/pattern/command