RHEL之（八）Red Hat Linux Shell编程基础 II ：使用命令对文本进行处理

　　主要内容：就是针对普通的文本文档进行处理操作（搜索 查找 替换）。

　　1：grep

　　参考资料：https://www.runoob.com/linux/linux-comm-grep.html

　　命令：grep 关键字 文件

　　 

　　例子：grep root /etc/passwd

 　　

　　

　　grep -i ROOT passwd  ##不区分大小写

 　　

 

 

 　　　　

　　grep -A 1 root passwd ##显示带关键字的结果及其后一行的内容

 　　

 

 

 

　　grep -B 1 root passwd ##显示带关键字的结果及其前一行的内容

 　　

 

 

 

　　grep -v root passwd ##除了关键字部分的行不输出，其它都显示（反向输出）

 　　

 

 

 

　　使用grep进行精细截取（迭代）

 　　

　　grep -e = egrep：同时截取多个关键字并显示结果（“或”）

 

 

　　2：cut

　　cut：以一个指定字符作为分隔符，将指定位置的值按格式输出。

　　语法：cut -d "分隔符" -f 指定位置 文件

 　　

　　对比原文件，可以发现其实是文件的每行以“：”作为分隔符，分割成多个字符，再取第1,3,5的位置显示到shell上。

 　　

　　Tips：局限性

　　cut仅能识别一个分隔符，且对标准格式的文档能够精确剪切并处理，但对于非标准格式的文档则无法完全进行处理。

 　　

 

 

 

 

　　3：awk

　　适用于更多场合，可以进行截取（将多个分隔符视为一个字符）并去掉分隔符进行标准化输出。

　　格式：awk -F "分隔符" '{动作指令}' 文件

　　awk与cut输出结果的比较

 　　

 

 

 

　　awk搜索关键字所在行并输出

 　　

 

 

 

　　NF：列数，即一行中有多少列，那么NF的值就是多少，$NF表示最后一列。

 　　

 

 

 

　　NR：行数，即在第几行，NR的值就是几，$NR表示第几行的第几列。

　　例如：$NR为1时，则取第1行第1个字符

　　$NR为2时，则取第2行第2个字符

 　　

 

　　Tips：关于awk的模式

　　1. /root/ 如果是关键字，必须要加//

 　　

　　2.若采用指定行号

 　　

 

 

 

　　练习题目：

　　在 servera 上创建一个脚本，实现以下功能：从键盘上输入一个指定网络接口名称后，按下列格式输出

　　设备信息：网络接口名称 设备MAC地址 设备IP地址

　　我写的答案：

 　　

 

 

 

　　运行结果：

 　　

 

　　参考答案：

 　　

 

 

 

 

　　4：sed

　　Linux sed命令是利用脚本来处理文本文件的。可依照脚本的指令来处理、编辑文本文件。 sed主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

　　 

　　4-1：sed处理流程

 　　

 

 

　　4-2：sed命令语法

　　sed [-hnV][-e<script>][-f<script文件>][文本文件] 

　　

　　Tips：参数说明

　　-e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。

　　-f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。

　　-h或--help 显示帮助。

　　-n或--quiet或--silent 仅显示script处理后的结果。

　　-V或--version 显示版本信息。

 

　　动作说明：

　　a ：新增，a的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)

　　c ：字符串替换，c的后面可以接字符串，这些字串可以取代 n1,n2 之间的行！

　　d ：删除， d 后面通常不接任何东西 

　　i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

　　p ：打印，亦即将某个选择的数据打印出来。通常 p 会与参数 sed -n一起运行

　　s ：搭配正则表达式的替换，可以直接进行取代的工作。通常这个 s 的动作可以搭配正则表达式。例如 1,20s/old/new/g

 

　　演示例子：首先，创建一个原始文档test_sed.txt，如下图所示

 　　

 

　　（1）在文本的第三行添加一行字符“Newline”，并将结果标准输出到前端屏幕上。

 　　

　　Tips：-e 不会直接修改文件的内容，而是将文件提取出来编辑然后输出到屏幕上

 

　　（2）以行为单位的新增和删除

　　将 /etc/passwd 文件复制到 /tmp/test/ 目录下，列出并且打印行号，同时将第 2-5 行删除。

 　　

 

 

　　Tips：使用nl /tmp/shell/test | sed -e 2,5d会更标准,但因为sed默认加参数-e，所以上图写法也可。另外需要注意的是，当不加参数时，sed后面的动作需要加上两个单引号

 

　　（3）只删除其中一行

 　　

 

　　（4）删除第3行到最后一行

 　　

 

　　（5）在第3行前添加一行字符‘test’

 　　

　　Tips：若需要在第3行后（即加在第4行）添加字符，可以使用a。在前面已经描述，不再重复

 

　　（6）连续添加两行以上的文字

　　可以使用反斜杠（\）来作为分隔符，以进行新行的添加。

 　　

 

　　（7）以行为单位的替换和显示

　　将第2-5行的内容替换成为“No 2-5 number”

 　　

　　仅列出 /tmp/passwd 文件内的第 5-7 行

　　 

 

　　（8）数据的搜索并显示

　　搜索 /tmp/test/passwd 有 root 关键字的行

 　　

　　如果root找到，除了输出所有行，还会输出匹配行。

 

　　可以使用-n时只打印包含模板的行：

 　　

 

 

　　（9）数据的搜索并删除

　　删除 /etc/passwd所有包含root的行，其他行输出

 　　

　　如图，第1行和第10行被删除了出去　　

 

　　（10）数据的搜索并执行命令

　　搜索 /tmp/test/passwd 找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为 blueshell，再输出结果：

 　　

 

　　（11）数据的搜索并替换

　　除了整行的处理模式之外，sed 还可以用行为单位进行部分数据的搜索并替换，基本上 sed 的搜索与替代的操作与vim的情况相当地类似。

　　命令：sed 's/要被替换的字符串/新的字符串/g'

　　原始信息：

 　　

　　可以看到本机的ip是192.168.24.201

 　　

　　将IP前面的部分予以删除：

 　　

 

　　将IP后面的部分予以删除

 　　

 

　　最后只显示IP地址

 　　

 

 

 

　　（12）多点编辑

　　删除 /tmp/test/passwd 第三行到末尾的数据，并把bash替换为blueshell

 　　

　　这里-e表示多点编辑，第一个编辑命令删除/etc/passwd第三行到末尾的数据，第二条命令搜索bash替换为blueshell。

 

　　（13）直接修改文件内容

　　sed 可以直接修改文件的内容，不必使用管道命令或数据流重定向！不过，由这个动作会直接修改到原始的文件，所以请千万不要随便拿系统配置来测试！

　　原文件：

 　　

　　

　　利用 sed 将 sed.txt 内每一行结尾若为 . 则换成 !

 　　

 

 

　　利用 sed 直接在 sed.txt 最后一行加入 # This is a test.

 　　

　　由于 $ 代表的是最后一行，而a的动作是新增，因此该命令最后新增 # This is a test

 

　　sed -i的使用场景通常用于当需要编辑一个大文件的情景，当需要在一个100万行代码的文件中的第2000行添加一行代码，此时用vim就会显得很麻烦。用sed的查找/替换功能，就能很快速的定位到需要编辑的位置，甚至不需要使用vim就可以实现修改文件的目的。