shell编程1-小工具+bash特性

shell编程1-小工具+bash特性

• 1.小工具
• • 一.grep工具
  • 二.cut工具
  • 三.sort工具
  • 四.uniq工具
  • 五.tee工具
  • 六.diff工具
  • 七.paste工具
  • 八.tr工具
  • 2.bash特性
  • 一.命令自动补全
  • 二.常见的快捷键
  • 三.常用的通配符(重点)
  • 四.bash中的引号(重点)

1.小工具

一.grep工具

grep是行过滤工具;用于根据关键字进行行过滤
语法:

grep [选项] "关键字" 文件名

常用选项:

OPTIONS:
    -i: 不区分大小写
    -v: 查找不包含指定内容的行,反向选择
    -w: 按单词搜索
    -o: 打印匹配关键字
    -c: 统计匹配到的行数
    -n: 显示行号
    -r: 逐层遍历目录查找
    -A: 显示匹配行及后面多少行	
    -B: 显示匹配行及前面多少行
    -C: 显示匹配行前后多少行
    -l：只列出匹配的文件名
    -L：列出不匹配的文件名
    -e: 使用正则匹配
    -E:使用扩展正则匹配
    ^key:以关键字开头
    key$:以关键字结尾
    ^$:匹配空行
    --color=auto ：可以将找到的关键词部分加上颜色的显示
# 使用alias查看,有些版本已经自带
[root@shell ~]# alias
alias grep='grep --color=auto'

例:

[root@shell ~]# cp -a /etc/passwd /mnt/passwd
# 拷贝passwd文件到mnt目录下,方便测试
# grep -i root passwd						忽略大小写匹配包含root的行
# grep -w ftp passwd 						精确匹配ftp单词
# grep -w hello passwd 						精确匹配hello单词;自己添加包含hello的行到文件
# grep -wo ftp passwd 						打印匹配到的关键字ftp
# grep -n root passwd 						打印匹配到root关键字的行好
# grep -ni root passwd 						忽略大小写匹配统计包含关键字root的行
# grep -nic root passwd						忽略大小写匹配统计包含关键字root的行数
# grep -i ^root passwd 						忽略大小写匹配以root开头的行
# grep bash$ passwd 							匹配以bash结尾的行
# grep -n ^$ passwd 							匹配空行并打印行号
# grep ^# /etc/vsftpd/vsftpd.conf		匹配以#号开头的行
# grep -v ^# /etc/vsftpd/vsftpd.conf	匹配不以#号开头的行
# grep -A 5 mail passwd 				 	匹配包含mail关键字及其后5行
# grep -B 5 mail passwd 				 	匹配包含mail关键字及其前5行
# grep -C 5 mail passwd 					匹配包含mail关键字及其前后5行

二.cut工具

cut是列截取工具,用于列的截取
语法:

cut [选项] 文件名

常用选项:

-c:	以字符为单位进行分割,截取
-d:	自定义分隔符，默认为制表符\t
-f:	与-d一起使用，指定截取哪个区域

例:

# cut -d: -f1 1.txt 			以:冒号分割，截取第1列内容
# cut -d: -f1,6,7 1.txt 	以:冒号分割，截取第1,6,7列内容
# cut -c4 1.txt 				截取文件中每行第4个字符
# cut -c1-4 1.txt 			截取文件中每行的1-4个字符
# cut -c4-10 1.txt 			截取文件中每行的4-10个字符
# cut -c5- 1.txt 				从第5个字符开始截取后面所有字符

三.sort工具

sort工具用于排序;它将文件的每一行作为一个单位,从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出.
语法:

sort [选项] 文件名

常用选项

-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中,类似重定向符号>
-n ：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同

例:

# sort -n -t: -k3 1.txt 			按照用户的uid进行升序排列
# sort -nr -t: -k3 1.txt 			按照用户的uid进行降序排列
# sort -n 2.txt 						按照数字排序
# sort -nu 2.txt 						按照数字排序并且去重
# sort -nr 2.txt 
# sort -nru 2.txt 
# sort -nru 2.txt 
# sort -n 2.txt -o 3.txt 			按照数字排序并将结果重定向到文件
# sort -R 2.txt 
# sort -u 2.txt 

四.uniq工具

uniq用于去除连续的重复行
语法:

uniq [选项] 文件名

常用选项：

-i: 忽略大小写
-c: 统计重复行次数
-d: 只显示重复行

例:

# uniq 2.txt 
# uniq -d 2.txt 
# uniq -dc 2.txt 

五.tee工具

tee工具是从标准输入读取并写入到标准输出和文件，即：双向覆盖重定向（屏幕输出|文本输入）
常用选项:

-a 双向追加重定向

例:

# echo hello world
# echo hello world|tee file1
# cat file1 
# echo 999|tee -a file1
# cat file1 

六.diff工具

diff工具用于逐行比较文件的不同
注意：diff描述两个文件不同的方式是告诉我们怎样改变第一个文件之后与第二个文件匹配.
语法:

diff [选项] 文件1 文件2

常用选项:

-b: 不检查空格               
-B: 不检查空白行    
-i: 不检查大小写     
-w: 忽略所有的空格   
--normal: 正常格式显示(默认) 
-c: 上下文格式显示    
-u: 合并格式显示     

例:

[root@shell mnt]# cat file1
111
222
333
[root@shell mnt]# cat file2
111
333
222
# 准备两个不同的文件
[root@shell mnt]# diff file1 file2
2d1
< 222
3a3
> 222
# 正常显示
[root@shell mnt]# diff -c file1 file2
*** file1       2022-05-11 10:49:13.212450146 +0800
--- file2       2022-05-11 10:49:20.364997194 +0800
# 时间戳
***************
*** 1,3 ****
  111
- 222
  333
--- 1,3 ----
  111
  333
+ 222
# 上下文格式显示
[root@shell mnt]# diff -u file1 file2  
--- file1       2022-05-11 10:49:13.212450146 +0800
+++ file2       2022-05-11 10:49:20.364997194 +0800
@@ -1,3 +1,3 @@
 111
-222
 333
+222
# 合并格式显示
[root@shell mnt]# diff dir1 dir2       
diff dir1/file1 dir2/file1
1c1
< 111
---
> 222
Only in dir2: file2
# 比较两个目录不同,默认情况下也会匹配目录里文件名相同的文件内容
[root@shell mnt]# diff -q dir1 dir2
Files dir1/file1 and dir2/file1 differ
Only in dir2: file2
# 不比较文件内容加-q选项

打补丁
有时候我们需要以一个文件为标准，去修改其他文件，并且修改的地方较多时，我们可以通过打补丁的方式完成。

1）先找出文件不同，然后输出到一个文件
[root@shell ~]# diff -uN file1 file2 > file.patch
-u:上下文模式
-N:将不存在的文件当作空文件
2）将不同内容打补丁到文件
[root@shell ~]# patch file1 file.patch
patching file file1
3）测试验证
[root@shell ~]# diff file1 file2

七.paste工具

paste工具用于合并文件行
语法:

paste [选项] 文件1 文件2

常用选项:

-d：自定义间隔符，默认是tab
-s：串行处理，非并行

例:

[root@shell mnt]# paste file1 file2
# 合并文件行
111     111
222     333
333     222
[root@shell mnt]# paste -d: file1 file2
# 自定义分隔符为:
111:111
222:333
333:222
[root@shell mnt]# paste -s file1 file2
# 串行处理
111     222     333
111     333     222

八.tr工具

tr用于字符转换，替换和删除；主要用于删除文件中控制字符或进行字符转换
语法:

用法1：命令的执行结果交给tr处理，其中string1用于查询，string2用于转换处理
# commands|tr  'string1'  'string2'
用法2：tr处理的内容来自文件，记住要使用"<"标准输入
# tr  'string1'  'string2' < filename

用法3：匹配string1进行相应操作，如删除操作
# tr options 'string1' < filename

常用选项:

-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串

常匹配字符串：

字符串	含义	备注
a-z或[:lower:]	匹配所有小写字母	[a-zA-Z0-9]
A-Z或[:upper:]	匹配所有大写字母
0-9或[:digit:]	匹配所有数字
[:alnum:]	匹配所有字母和数字
[:alpha:]	匹配所有字母
[:blank:]	所有水平空白
[:punct:]	匹配所有标点符号
[:space:]	所有水平或垂直的空格
[:cntrl:]	所有控制字符	\f Ctrl-L 走行换页 \n Ctrl-J 换行
\r Ctrl-M 回车
\t Ctrl-I tab键

例:

[root@MissHou  shell01]# cat 3.txt 	自己创建该文件用于测试
ROOT:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
boss02:x:516:511::/home/boss02:/bin/bash
vip:x:517:517::/home/vip:/bin/bash
stu1:x:518:518::/home/stu1:/bin/bash
mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin
smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin
aaaaaaaaaaaaaaaaaaaa
bbbbbb111111122222222222233333333cccccccc
hello world 888
666
777
999


# tr -d '[:/]' < 3.txt 				删除文件中的:和/
# cat 3.txt |tr -d '[:/]'			删除文件中的:和/
# tr '[0-9]' '@' < 3.txt 			将文件中的数字替换为@符号
# tr '[a-z]' '[A-Z]' < 3.txt 		将文件中的小写字母替换成大写字母
# tr -s '[a-z]' < 3.txt 			匹配小写字母并将重复的压缩为一个
# tr -s '[a-z0-9]' < 3.txt 		匹配小写字母和数字并将重复的压缩为一个
# tr -d '[:digit:]' < 3.txt 		删除文件中的数字
# tr -d '[:blank:]' < 3.txt 		删除水平空白
# tr -d '[:space:]' < 3.txt 		删除所有水平和垂直空白

2.bash特性

一.命令自动补全

之前文档有提到过,需下载软件包

[root@shell ~]# dnf -y install bash-completion
# 下载bash命令补全工具
[root@shell ~]# source /etc/profile.d/bash_completion.sh
# 安装后生效
# 之后输入命令可以补全

二.常见的快捷键

^c   			终止前台运行的程序
^z	  			将前台运行的程序挂起到后台
^d   			退出 等价exit
^l   			清屏 
^a |home  	光标移到命令行的最前端
^e |end  	光标移到命令行的后端
^u   			删除光标前所有字符
^k   			删除光标后所有字符
^r	 			搜索历史命令

三.常用的通配符(重点)

*:	匹配0或多个任意字符
?:	匹配任意单个字符
[list]:	匹配[list]中的任意单个字符,或者一组单个字符   [a-z]
[!list]: 匹配除list中的任意单个字符
{string1,string2,...}：匹配string1,string2或更多字符串


# rm -f file*
# cp *.conf  /dir1
# touch file{1..5}

四.bash中的引号(重点)

• 双引号"" :会把引号的内容当成整体来看待，允许通过$符号引用其他变量值
• 单引号’’ :会把引号的内容当成整体来看待，禁止引用其他变量值，shell中特殊符号都被视为普通字符
• 反撇号`` :反撇号和$()一样，引号或括号里的命令会优先执行，如果存在嵌套，反撇号不能用

例:

[root@shell ~]# echo "$(hostname)"
shell.novalocal
[root@shell ~]# echo '$(hostname)'
$(hostname)
[root@shell ~]# echo "hello world"
hello world
[root@shell ~]# echo 'hello world'
hello world
[root@shell ~]# echo $(date +%F)
2022-05-11
[root@shell ~]# echo `echo $(date +%F)`
2022-05-11
[root@shell ~]# echo `date +%F`
2022-05-11
[root@shell ~]# echo `echo `date +%F``
date +%F
[root@shell ~]# echo $(echo `date +%F`)
2022-05-11