Linux 基础（5）
Linux 基础 （五）
一、shell相关知识
shell一般代表两个层面的意思，一个是命令解释器，比如BASH，另外一个就是shell脚本。通过解释器的角度来理解shel
命令分为：
==> alias(别名)
==> Compound Commands
==> function
==> build_in （内部命令）
==> hash
==> $PATH （外部命令）
==> error: command not found
获取一个命令会按照上述优先级取寻找，先找同名的alias命令，再找compound命令.........
别名：别名命令是为了简化输出给一个长参数命令的整合，别名的定义方法 alias la='ls -al' 取消别名 unalias la
内部命令：是BASH自带的命令 功能简单,内部命令的帮助在builtin(1)里
外部命令：是就是一个小程序存在于/bin/ /sbin/ /usr/bin 等地方
二、正则表达式
正则就是用来描述一类事物的规则
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
+左边的有1个或者无穷多个
？左边的字符有0个或者1个
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾
三、文本编辑三剑客：grep 、sed 、awk
grep：
为了避免使用上的尴尬，以后就用egrep就OK
1）命令格式
egrep [cinvs] 'patten' filename
参数
-n :显示行号
-o :只显示匹配的内容
-q :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容
-l ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc
-A :如果匹配成功，则将匹配行及其后n行一起打印出来
-B :如果匹配成功，则将匹配行及其前n行一起打印出来
-C :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c :如果匹配成功，则将匹配到的行数打印出来
-E :等于egrep，扩展
-i ：忽略大小写
-v :取反，不匹配
-w：匹配单词
grep相关练习
目标文件/etc/passwd,使用grep命令或egrep 1．显示出所有含有root的行： cat /etc/passwd #显示passwd 的所有内容 egrep 'root' /etc/passwd #显示出所有含有root的行 2．输出任何包含bash的所有行，还要输出紧接着这行的上下各两行的内容： egrep -C 2 "bash" /etc/passwd #输出任何包含bash的所有行，还要输出紧接着这行的上下各两行的内容 3. 显示出有多少行含有nologin egrep -c "nologin" /etc/passwd #显示出有多少行含有nologin 4．显示出那些行含有root，并将行号一块输出。 egrep -n "nologin" /etc/passwd #显示出那些行含有root，并将行号一块输出 5．新建用户 abominable abominate anomie atomize 编写正则表达式，将他们匹配出来 egrep 'a.omi(nabl|nat|z|)e' /etc/passwd 6．建四个用户 Alex213sb Wpq2222b yH438PIG egon666 egon 过滤出用户名组成是字母+数字+字母的行 egrep '^[a-Z]+[0-9]+[a-Z]+' /etc/passwd 8．显示出/etc目录下所有包含root的文件名 egrep -rl 'root' /etc 9. 过滤掉/etc/ssh/sshd_config内所有注释和所有空行 grep -v '^#' /etc/ssh/sshd_config |grep -v '^ *$'
sed
流编辑器 stream editer,是以行为单位的处理程序
在使用过程中最好是记忆 sed -r xxxxx
sed [options] 'command' in_file[s]
options 部分
-n 使用安静(silent)模式
-e 直接在指令列模式上进行 sed 的动作编辑
-i 直接修改读取的档案内容，而不是由显示器输出
-f 直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作
command 部分
'[地址1,地址2] [函数] [参数(标记)]'
定址的方法 1.数字 2.正则
数字
十进制数
1 单行
1,3 范围 从第一行到第三行
2,+4 匹配行后若干行
4,~3 从第四行到下一个3的倍数行
2~3 第二行起每间隔三行的行
$ 尾行
1! 除了第一行以外的行
正则
正则必须用//包裹起来
删除某行 sed '$d' ab #删除最后一行
显示某行 sed -n '2,$p' ab #显示第二行到最后一行
增加一行或多行字符串 sed '1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
代替一行或多行 sed '1,2c Hi' ab #第一行到第二行代替为Hi
替换一行中的某部分
格式：sed 's/要替换的字符串/新的字符串/g' （要替换的字符串可以用正则表达式）
sed -n '/ruby/p' ab | sed 's/ruby/bird/g' #替换ruby为bird
sed -n '/ruby/p' ab | sed 's/ruby//g' #删除ruby
sed 部分的练习题
ed作业：以/etc/passwd文件为模板 1，删除文件每行的第一个字符。 2，删除文件每行的第二个字符。 3，删除文件每行的最后一个字符。 4，删除文件每行的倒数第二个字符。 5，删除文件每行的第二个单词。 6，删除文件每行的倒数第二个单词。 7，删除文件每行的最后一个单词。 8，交换每行的第一个字符和第二个字符。 9，交换每行的第一个字符和第二个单词。 10，交换每行的第一个单词和最后一个单词。 11，删除一个文件中所有的数字。 12，删除每行开头的所有空格。 13，用制表符替换文件中出现的所有空格。 14，把所有大写字母用括号（）括起来。 15，打印每行3次。 16，隔行删除。 17，把文件从第2行到第5行复制到第7行后面。(选做题) 18，把文件从第2行到第5行移动到第7行后面。（选做题） 19，只显示每行的第一个单词。 20，打印每行的第一个单词和第三个单词。 21，将格式为 mm/yy/dd 的日期格式换成 mm；yy；dd 22, a.txt内容 ABC DEF XYZ 通过SED实现tac命令 tac a.txt XYZ DEF ABC
准备工作：先将/etc/passwd 下的20行作为测试的环境 head -20 /etc/passwd >test cat test root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin systemd-bus-proxy:x:999:998:systemd Bus Proxy:/:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin polkitd:x:998:997:User for polkitd:/:/sbin/nologin abrt:x:173:173::/etc/abrt:/sbin/nologin unbound:x:997:995:Unbound DNS resolver:/etc/unbound:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin cat test1 root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 1. sed -r 's/^(.)(.*)/\2/' test1 #删除文件每行的第一个字符 2.sed -r 's/^(.)(.)(.*)/\1\3/' test1 #删除文件每行的第二个字符 3.sed -r 's/(.*)(.)$/\1/' test1 #删除文件每行的最后一个字符 4.sed -r 's/(.*)(.)(.)$/\1\3/' test1 #删除文件每行的最后个第二字符 5.sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\1\2\4/' test1 # 删除文件每行的第二个单词 6. sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/\1\3\4/' test1 #删除文件每行的倒数第二个单词 7.sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/\1\2\3/' test1 #删除文件每行的最后一个单词 8.sed -r 's/^(.)(.)(.*)$/\2\1\3/' test1 #交换每行的第一个字符和第二个字符 9.sed -r 's/^(.)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/\4\2\3\1\5/' test1 # 交换每行的第一个字符和第二个单词 10. sed -r 's/[0-9]//g' test1 # 删除一个文件中所有的数字 11.sed -r 's/^ *//g' test1 #删除每行开头的所有空格 12.sed -r 's/ /\t/g' test1 #用制表符替换文件中出现的所有空格 13. sed -r 's/[A-Z]/(&)/g' test1 #把所有大写字母用括号（）括起来 14. sed 'p;p' test1 #打印每行3次 15. sed '1~2d' test1 #隔行删除 创建文件test2 vim test2 [root@localhost gandong]# cat test2 11111111111 2222222222 333333333 4444444444 55555555555 6666666666 777777777777 888888888888 99999999999999 16. sed '2h;3,5H;7G' test2 #把文件从第2行到第5行复制到第7行后面 17. sed '2h;3,5H;2,5d;7G' test2 #把文件从第2行到第5行移动到第7行后面 18.sed -r 's/^([a-Z]+)([^a-Z]+)(.*)/\1/' test1 #只显示每行的第一个单词 19.sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)(.*)$/\1\ \5/' test1 # 打印每行的第一个单词和第三个单词 20.
awk
awk是一个非常好用的数字处理工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个“字段”来处理。运行效率高，而且代码简单，对格式化的文本处理能力超强。
awk的一般语法格式为：
awk [-参数 变量] 'BEGIN{初始化}条件类型1{动作1}条件类型2{动作2} 、、、、、END{后处理}'
或者为：awk [options] 'commands' files
NR变量定址
NR 表示AWK读入的行数
FNR表示读入行所在文件中的行数
逻辑运算 可直接引用域进行运算
== >= <= != > < ~ !~
# awk 'NR==1 {print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
1）参数说明：
-F re：允许awk更改其字段分隔符
-v var=$v 把v值赋值给var，如果有多个变量要赋值，那么就写多个-v，每个变量赋值对应一个-v
eg： 要打印文件a的第num行到num+num1行之间的行，
awk -v num=$num -v num1=$num1 'NR==num,NR==num+num1{print}' a
-f progfile：允许awk调用并执行progfile程序文件，当然progfile必须是一个符合awk语法的程序文件。
2）awk读取shell中的变量
可以使用-v选项实现功能
$b=1
$cat f
apple
$awk -v var=$b '{print var, $var}' f
1 apple
至于有没有办法把awk中的变量传给shell呢，这个问题我是这样理解的。shell调用awk实际上是fork一个子进程出来，而子进程是无法向父进程传递变量的，除非用重定向（包括管道）
a=$(awk '{print $b, '$b'}' f)
$echo $a
apple 1
注：此处内容参照：http://www.cnblogs.com/dong008259/archive/2011/12/06/2277287.html（如需了解请查阅）
3）输出重定向
awk的输出重定向类似于shell的重定向。重定向的目标文件名必须用双引号引用起来。
$awk '$4 >=70 {print $1,$2 > "destfile" }' filename
$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename
练习题目：
1.打印uid在30~40范围内的用户名。 2.打印第5-10行的行号和用户名 3.打印奇数行 4.打印偶数行 5.打印字段数大于5的行 6.打印UID不等于GID的用户名 7.打印没有指定shell的用户 8.打印1..1000以内的7的倍数和包含7的数
先创建测试文档 head -20 /etc/passwd >test #把 /etc/passwd下的前五行内容输出到文件test 中 cat test #查看test1文件内容 cat test cat test root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin systemd-bus-proxy:x:999:998:systemd Bus Proxy:/:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin polkitd:x:998:997:User for polkitd:/:/sbin/nologin abrt:x:173:173::/etc/abrt:/sbin/nologin unbound:x:997:995:Unbound DNS resolver:/etc/unbound:/sbin/nologin tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin [root@localhost gandong]# cat test1 root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 1.awk -F: '$3>29&&$3<41{print $1}' test #打印uid在30~40范围内的用户名 1.awk -F: '$3>=30&&$3<=40{print $1}' test 2.awk -F: 'NR>4&&NR<11{print $1,NR}' test #打印第五到第十行的行号及用户名 3.awk -F: 'NR%2{ print NR,$0}' test #打印奇数行 4.awk -F: '!(NR%2){print NR,$0}' test #打印偶数行 5.awk -F: 'NF>5{print NR,$0}' test #打印字段数大于5的行 6. awk -F: '$3!=$4{print NR,$1}' test #打印UID不等于GID的用户名
四、test命令
1.定义变量名的边界
eg：
[root@localhost gandong]# x=3 [root@localhost gandong]# echo ${x}% 3%
2.运算符（+ — * / %）
eg:
[root@localhost gandong]# echo $[3+1] 4
3.关系操作符号（>、 >=、 <、 <=、==、！=、&&、|| ）
eg：
[root@localhost ~]# x=1 [root@localhost ~]# [ $x -gt 1 ] [root@localhost ~]# echo $? 1
4.赋值运算（=、+=、*=、/=、%=）
eg：
[root@localhost ~]# x=10 [root@localhost ~]# [ x%3 ] [root@localhost ~]# echo $x 10 [root@localhost ~]# ((x%3)) [root@localhost ~]# echo $x 10 [root@localhost ~]# ((x%=3)) [root@localhost ~]# echo $x 1
浮点运算：yum install bc -y（安装用于计算浮点类型的数据）
eg:
[root@localhost ~]# echo 'scale=2;1/3' |bc -l .33 [root@localhost ~]# echo 'scale=2;1/3' |bc -l |cut -d. -f2 33
五、测试操作
命令执行后会返回到一个系统变量中 $?
如果$?值为0 表示命令执行成功 否则为失败
测试命令 test [ ] [[ ]] (( ))
打开man test 逐一介绍每个参数
-d ：目录 test -d /boot
-s ：文件长度 > 0、非空 test -s a.txt
-f ：正规文件 test -f a.txt
-w ：可写 test -w a.txt
-r ：可读 test -r a.txt
-x ：可执行 test -x a.txt
-L ：符号连接
-u ：文件有 suid 位设置
-z ：空串
-n ：非空串
-eq ：等于 [ 50 -eq 50 ]
-ne ：不等于 [ 50 -ne 60 ]
-gt ：大于 (great than) [ 50 -gt 40 ]
-lt ：小于 (less than ) [ 50 -lt 60 ]
-ge ：大于等于 [ 50 -ge 50 ]
-le ：小于等于 [ 50 -le 50 ]
比较数字,使用(( ))
其他测试使用 [[ ]]
包含数字比较的混合测试,使用[[ expr1 && expr2 ]] (( expr1 || expr2 ))
du -sh /boot/ #查看文件大小
find / -type f #查看普通文件
find / -name "*.txt" #查看根下以.txt结尾的文件
find / -size +30M #找出根下大于30M的文件
find / -size +10M -size +30M #找出根下大于10M且小于30M的文件
grep -rl 'root' /test #在/test下找出含root名的文件
混合测试练习：
[root@localhost ~]# [[ a = a&& 10 < 20 ]] [root@localhost ~]# echo $? 0 [root@localhost ~]# [[ a = a || 10 < 20 ]] [root@localhost ~]# echo $? 0
