文本处理命令--wc、sed
一、wc
wc命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。
测试文件内容：
(my_python_env)[root@hadoop26 ~]# cat test hnlinux peida.cnblogs.com ubuntu ubuntu linux redhat Redhat linuxmint
1.1最基本的用法
(my_python_env)[root@hadoop26 ~]# wc test 7 8 70 test
其中7代表行数
8是单词书，一个单词被定义为由空格、制表符或者换行符分割的字符串
70是字节数
1.2-l计算行数
(my_python_env)[root@hadoop26 ~]# wc -l test 7 test
1.3-w计算单词数
(my_python_env)[root@hadoop26 ~]# wc -w test 8 test
1.4-c计算字节数
(my_python_env)[root@hadoop26 ~]# wc -c test 70 test
1.5-L打印最长行的长度
(my_python_env)[root@hadoop26 ~]# wc -L test 17 test
1.6用wc命令怎么做到只打印统计数字不打印文件名？
使用管道可以做到，这在shell脚本中特别有用
(my_python_env)[root@hadoop26 ~]# cat test | wc -l 7
二、sed
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
2.1sed的使用参数
[root@www ~]# sed [-nefr] [动作] 选项与参数： -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 -e ：直接在命令列模式上进行 sed 的动作编辑； -f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作； -r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法) -i ：直接修改读取的文件内容，而不是输出到终端。 动作说明： [n1[,n2]]function n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』 function： a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚； i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)； p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～ s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
2.2d删除
将/etc/passwd的内容列出并且列出行号，同时，将2~5行删除
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5d' 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 8 halt:x:7:0:halt:/sbin:/sbin/halt 9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
注意sed后面接的动作需要使用单引号
只删除第2行
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2d' 1 root:x:0:0:root:/root:/bin/bash 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
删除第3行到最后一行
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3,$d' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin
2.3a和i选项的增加
在/etc/passwd第三行增加一行
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2a this is a extend row' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin this is a extend row 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin
上面的需求还可以使用-i选项来实现
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3i this is a extend row' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin this is a extend row 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin
2.4-c选项的替换
将2~5行的内容替换掉
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5c 2-5 rows' 1 root:x:0:0:root:/root:/bin/bash 2-5 rows 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
2.5-n和-p
仅列出文件的5-7行
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '5,7p' 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
2.6数据搜寻
搜索有root关键字的行
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/p' 1 root:x:0:0:root:/root:/bin/bash 11 operator:x:11:0:operator:/root:/sbin/nologin
搜索有root关键字的行，并删除
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '/root/d' 2 bin:x:1:1:bin:/bin:/sbin/nologin 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
数据搜寻+执行命令
搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}' 1 root:x:0:0:root:/root:/bin/blueshell 11 operator:x:11:0:operator:/root:/sbin/nologin
如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}' 1 root:x:0:0:root:/root:/bin/blueshell
最后的q是退出
2.7数据搜寻与替换
除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似！他有点像这样：
sed 's/要被取代的字串/新的字串/g'
(my_python_env)[root@hadoop26 ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' 192.168.223.129 Bcast:192.168.223.255 Mask:255.255.255.0
接下来则是删除后续的部分，亦即： 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0
(my_python_env)[root@hadoop26 ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g' 192.168.223.129
2.8多点编辑
一条sed命令，删除/etc/passwd第三行到末尾的数据，并把bash替换为blueshell
(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/' 1 root:x:0:0:root:/root:/bin/blueshell 2 bin:x:1:1:bin:/bin:/sbin/nologin
-e表示多点编辑，第一个编辑命令删除/etc/passwd第三行到末尾的数据，第二条命令搜索bash替换为blueshell。
