Day2:Shell 基础
一、管道 | tee管道
1、管道 |
- 管道，从一头进去，从另一头出来。
- 在shell中，管道将一个程序的标准输出作为另外一个程序的标准输入，就像用一根管子将另外一个程序的输出连接到另外一个程序的输入一样。
- 管道的符号是|，下面的程序将man的输出作为less的标准输入，来实现翻页功能：
man ls | less
2、tee
- 有时候我们想同事蒋程序的输出显示到屏幕上（或进入管道）和保存在文件中，这时候就要用到tee。
- tee程序的输出和和他的输入一样，但是会将输入的内容额外保存在文件中
cat /etc/passwd | tee hello.txt
- tee程序将cat程序的输入显示的屏幕上，并且在hello文件中保留了副本。需要注意的是，
- 如果tee命令中指定的文件以及存在，那么它将被覆盖，使用-a选项再文件末尾追加内容（而不是覆盖）
cat hello.txt | tee -a hello.txt.bak
二、命令排序
1、&& || 具有逻辑判断
- command1 && command2 只有在command1执行成功后才会执行command2;
- command1 || command2在command1执行失败后，则会执行command2.
[root@hostname ~]# sudo updatedb || echo "update error." [root@hostname ~]# ls /home/111/222/333/444 || mkdir ‐p /home/111/222/333/444 [root@hostname ~]# [ ‐d /home/111/222/333/444 ] || mkdir ‐p /home/111/222/333/444 [root@hostname ~]#./configure && make && make install （命令返回值 echo $?） [root@hostname ~]# mkdir /var/111/222/333 && echo ok [root@hostname ~]# mkdir ‐p /var/111/222/333 && echo ok [root@hostname ~]# ping ‐c1 10.18.42.1 &>/dev/null && echo up || echo down #ping 如果成功则会提示up ,如果执行失败提示down
2、；（分号）不具备逻辑判断
cd /usr/local;cat test.txt #；代表一条命令的结束
三、通配符（元字符）表示的不是本意
1、常见的通配符
注意与正则稍微不同：
| 字符 | 含义 | 实例 |
| * | 匹配0个或者多个任意字符 | a*b，a与b之间可以有任意长度的字符，也可以没有。例如： aabcb，ab，azxcb... |
| ？ | 匹配一个任意字符 | a?b，a与b之间必须但也只能存在一个字符，该字符可以是任 意字符。例如：aab，abb，acb... |
| [list] | 匹配list中的任意单个字符 | a[xyz]b，a与b之间必须但也只能存在一个字符，该字符只能 是x或y或z。例如：axb，ayb，azb |
| [!list] | 匹配出了list中的任意单个字符 | a[!a-z]b，a与b之间必须但也只能存在一个字符，该字符不能 是小写字母。例如：aAb，a0b... |
| [c1-c2] | 匹配c1-c2之间的任意单个字符 | a[0-1]b，a与b之间必须但也只能存在一个字符，该字符只能 是数字。例如：a0b，a1b... |
| {string1,string2,....} | 匹配ttring1,string2等中的一个字符串 | a{abc,xyz,opq}b，a与b之间必须但也只能存在一个字符串， 字符串只能是abc或xyz或opq。例如：aabcb，axyzb， aopqb... |
2、实例
[root@hostname ~]# ls /etc/*.conf /etc/asound.conf /etc/kdump.conf /etc/man_db.conf /etc/sudo‐ldap.conf /etc/chrony.conf /etc/krb5.conf /etc/mke2fs.conf /etc/sysctl.conf /etc/dracut.conf /etc/ld.so.conf /etc/nsswitch.conf /etc/vconsole.conf /etc/e2fsck.conf /etc/libaudit.conf /etc/resolv.conf /etc/yum.conf /etc/fuse.conf /etc/libuser.conf /etc/rsyslog.conf /etc/GeoIP.conf /etc/locale.conf /etc/sestatus.conf /etc/host.conf /etc/logrotate.conf /etc/sudo.conf [root@hostname ~]# ls /etc/???.conf /etc/yum.conf [root@hostname ~]# touch file{1,2,3} [root@hostname ~]# ls file* file1 file2 file3 [root@hostname ~]# ls file[123]] file1 file2 file3
四、脚本规范
1、风格规范
开头有“蛇棒” 所谓shebang其实就是在很多脚本的第一行出现的以”#!”开头的注释，他指明了当我们没有指定解 释器的时候默认的解释器，一般可能是下面这样：
#/bin/sh #/bin/bash #/usr/bin/sh #/usr/bin/bash 一般使用cat /etc/shells 查看本机支持的解释器
2、注释
- 注释的意义不仅在于解释用途，而在于告诉我们注意事项，就像是一个 README。
- 具体的来说，对于Shell脚本，注释一般包括下面几个部分：
- shebang
- 脚本的参数
- 脚本的用途
- 脚本的注意事项
- 脚本的写作时间，作者，版权等
- 各个函数前的说明注释
- 一些较复杂的单行命令注释
3、参数要规范
这一点很重要，当脚本在吉首参数的时候，一定要判断是否符合规范，并给出合适的回显，方便使用者了解参数的使用。
if [[ $# != 2 ]];then echo "Parameter incorrect." exit 1 fi
4、变量
一般情况下会将一些重要的环境变量定义在开头，确保这些变量的存在
source /etc/profile
export PATH=”/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:/apps/bin/”
- 这种定义方式有一个很常见的用途，最典型的应用就是，当本地安装了很多 java 版本时，可能需要指定一个 java来用。这时就会在脚本开头重新定义JAVA_HOME以及PATH变量来进行控制。
- 一段好的代码通常是不会有很多硬编码在代码里的“魔数”的。如果一定要有，通常是用一个变量的形式定义在 开头，然后调用的时候直接调用这个变量，这样方便日后的修改。
5、缩进
- 因为很多需要缩进的地方(比如if,for语句)都不长，很多人都懒得去缩进，而且很多人不习惯用函数，导致缩进 功能被弱化。
- 正确的缩进是很重要的，尤其是在写函数的时候，否则在阅读的时候很容易把函数体跟直接执行的命令搞 混。
- 常见的缩进方法主要有”soft tab”和”hard tab”两种： 所谓soft tab就是使用n个空格进行缩进(n通常是2或4) 所谓hard tab当然就是指真实的”\t”字符12
- 对于if和for语句之类的，最好不要把then，do这些关键字单独写一行，这样看上去比较丑。
- 虽然shell不像python一样，不缩进就回报错，但是为了代码可读性，我希望大家缩进。
6、命令有标准
所谓命名规范，基本包含下面这几点
- 文件名规范，以.sh结尾，方便识别
- 变量名字要有含义，不要拼错
- 统一命名风格，写 Shell 一般用小写字母加下划线
7、编码要统一
在写脚本的时候尽量使用 UTF-8 编码，能够支持中文等一些奇奇怪怪的字符。不过虽然能写中文，但是在写注 释以及打log的时候还是尽量英文，毕竟很多机器还是没有直接支持中文的，打出来可能会有乱码。
8、日志和回显
日志的重要性不必多说，能够方便回头纠错，在大型的项目里是非常重要的。 如果这个脚本是供用户直接在命令行使用的，那么最好还要能够在执行时实时回显执行过程，方便用户掌 控。
为了提高用户体验，会在回显中添加一些特效，比如颜色啊，之类的。
9、密码要移除
不要把密码硬编写在脚本里，尤其是当脚本托管在类似 Github 这类平台中时。
10、太长要分行
在调用某些程序的时候，参数可能会很长，这时候为了保证较好的阅读体验，我们可以用反斜杠来分行：
./configure \ –prefix=/usr \ –sbin‐path=/usr/sbin/nginx \ –conf‐path=/etc/nginx/nginx.conf
11、学会查路径
- 很多情况下，会先获取当前脚本的路径，然后以这个路径为基准，去找其他的路径。通常我们是直接用 pwd 以期获得脚本的路径。
- 不过其实这样是不严谨的，pwd 获得的是当前Shell的执行路径，而不是当前脚本的执行路径。
- 正确的做法应该是下面2种：
script_dir=$(cd $(dirname $0) && pwd) script_dir=$(dirname $(readlink ‐f $0 )) 12
- 应当先cd进当前脚本的目录然后再pwd，或者直接读取当前脚本的所在路径。
12、代码要简短
- 这里的简短不单单是指代码长度，而是只用到的命令数。原则上我们应当做到，能一条命令解决的问题绝不 用两条命令解决。
- 这不仅牵涉到代码的可读性，而且也关乎代码的执行效率。 最最经典的例子如下：
[root@hostname ~]# cat /etc/passwd | grep root [root@hostname ~]# grep root /etc/passwd
- cat 命令最为人不齿的用法就是这样，用的没有任何意义，明明一条命令可以解决，非得加根管道
13、使用新写法
- 这里的新写法不是指有多厉害，而是指可能更希望使用较新引入的一些语法，更多是偏向代码风格的。
- 尽量使用func( ){ }来定义函数，而不是func{ }
- 尽量使用[[ ]]来代替[ ]
- 尽量使用$()将命令的结果赋给变量，而不是反引号在复杂的场景下尽量使用# #printf代替echo进行回显
14、其他小技巧
- 路径尽量保持绝对路径，不容易出错，如果非要用相对路径，最好用./修饰
- 优先使用bash的变量替换代替awk sed，这样更加简短
- 简单的if尽量使用&& ||，写成单行。比如[[ x > 2]] && echo x
- 当export变量时，尽量加上子脚本的namespace，保证变量不冲突
- 会使用trap捕获信号，并在接受到终止信号时执行一些收尾工作
- 使用mktemp生成临时文件或文件夹
- 利用/dev/null过滤不友好的输出信息
- 会利用命令的返回值判断命令的执行情况
- 使用文件前要判断文件是否存在，
- 否则做好异常处理 不要处理ls后的数据(比如ls -l | awk '{ print $8 }')
- ls的结果非常不确定，并且平台有关 读取文件时不要使用for loop而要使用while read
五、Shell脚本调试
shell脚本的语法调试，使用bash的相关参数进行调试
sh [参数] 文件名.sh
- -n 不要执行script，仅查询语法的问题
- -v 在执行script之前，先将script的内容输出到屏幕上
- -x 将使用的脚本的内容输出到屏幕，该参数经常被使用
六、脚本的运行方式
Linux中Shell脚本的执行通常有4种方式，分别为工作目录执行，绝对路径执行，sh执行，Shell环境执行。 脚本内容
[root@hostname~]# ll total 4 ‐rw‐rw‐r‐‐. 1 tan tan 68 May 8 23:18 test.sh [root@hostname ~]# cat test.sh #!/usr/bin/bash /usr/bin/python <<‐EOF print "hello Shell" EOF
1、工作目录执行
工作目录执行，指的是执行脚本时，先进入到脚本所在的目录（此时，称为工作目录），然后使用 ./脚本方式执行
[root@hostname~]# ./test.sh ‐bash: ./test.sh: Permission denied [root@hostname~]# chmod 764 test.sh [root@hostname~]# ./test.sh Hello Shell
- 报了权限错误，上一篇博文有提到，这里需要赋权，使用 chmod 764 test.sh 赋权后就可以正常执行了
- ./的意思是说在当前的工作目录下执行hello.sh。如果不加上./，bash可能会响应找到不到hello.sh的错误信 息。因为目前的工作目录 （/data/Shell）可能不在执行程序默认的搜索路径之列,也就是说，不在环境变量 PASH的内容之中。查看PATH的内容可用 echo $PASH 命令。现在的/data/Shell就不在环境变量PASH中的， 所以必须加上./才可执行。
2、绝对路径执行
绝对路径中执行，指的是直接从根目录/到脚本目录的绝对路径
[root@hostname~]# pwd /home/tan/scripts [root@hostname~]# `pwd`/test.sh Hello Shell [root@hostname~]# /home/tan/scripts/test.sh Hello Shell
3、sh执行
sh执行，指的是用脚本对应的sh或bash来接着脚本执行
[root@hostname~]# sh test.sh Hello Shell [root@hostname~]# bash test.sh Hello Shell
4、Shell 环境执行
Shell环境执行，指的是在当前的Shell环境中执行，可以使用 . 接脚本 或 source 接脚本
[root@hostname~]# . test.sh Hello Shell [root@hostname~]# source test.sh Hello Shell
七、Shell变量
1、SHELL变量
用一个固定字符串来表示一个不固定的内容
2、变量类型
1、自定义变量
- 定义变量： 变量名=变量值 变量名必须以字母或下划线开头，区分大小ip1=192.168.2.115
- 引用变量： 变 量 名 或 {变量名}
- 查看变量：echo $变量名 set(所有变量：包括自定义变量和环境变量)
- 取消变量：unset 变量名
- 作用范围：仅在当前Shell中有效
2、环境变量
- 定义环境变量：
1. 方法一 export back_dir2=/home/backup
2. 方法二 export back_dir1 将自定义变量转换成环境变量
- 引用环境变量：变 量 名 或 {变量名}
- 查看环境变量：echo $变量名 env 例如 env | grep back_dir2
- 取消环境变量：unset 变量名
- 变量作用范围：在当前Shell和子Shell有效
3、位置变量
- 12345678{10} # $1 $2.....
4、预定义变量
- $0 脚本名(自己本身)
- 所 有 的 参 数 *" 会将所有的参数作为一个整体，以" 2 … $n"的形式输出所有参数 所 有 的 参 数
- @" 会将各个参数分开，以" 2" … "$n" 的形式输出所有参数
- $# 参数的个数
- $$ 当前进程的PID
- $! 上一个后台进程的PID
- $? 上一个命令的返回值 0表示成功
-
View Code# vim test.sh echo "第2个位置参数是$2" echo "第1个位置参数是$1" echo "第4个位置参数是$4" echo "所有参数是: $*" echo "所有参数是: $@" echo "参数的个数是: $#" echo "当前进程的PID是: $$" echo '$1='$1 echo '$2='$2 echo '$3='$3 echo '$*='$* echo '$@='$@ echo '$#='$# echo '$$='$$
3、*和@区别
示例2：
# vim ping.sh #!/bin/bash ping ‐c2 $1 &>/dev/null if [ $? = 0 ];then echo "host $1 is ok" else echo "host $1 is fail" fi [root@hostname~]# chmod a+x ping.sh [root@hostname~]# ./ping.sh 192.168.2.25
4、变量的赋值方式
1、显式赋值
变量名=变量值
示例：
ip1=192.168.1.251 school="BeiJing 1000phone" today1=`date +%F` today2=$(date +%F)
2、read从键盘读取变量值
示例
read 变量名 read -p "提示信息: " 变量名 read -t 5 -p "提示信息: " 变量名 read -n 2 变量名 read: 用法:read [-ers][-a 数组] [-d 分隔符][-i 缓冲区文字] [-n 读取字符数][-N 读取字符数] [-p 提示符][-t 超时] [-u 文件描述符][名称 ...] 示例3
[root@hostname~]# vim first.sh back_dir1=/var/backup read ‐p "请输入你的备份目录: " back_dir2 echo $back_dir1 echo $back_dir2 [root@hostname~]# sh first.sh
[root@qfdeu ~]# vim ping2.sh #!/bin/bash read ‐p "Input IP: " ip ping ‐c2 $ip &>/dev/null if [ $? = 0 ];then echo "host $ip is ok" else echo "host $ip is fail" fi [root@qfdeu ~]# chmod a+x ping2.sh [root@qfdeu ~]# ./ping.sh
5、定义引用变量
- " "弱引用
- ' ' 强引用
[root@hostname~]# school=1000phone [root@hostname~]# echo "${school} is good" 1000phone is good [root@hostname~]# echo '${school} is good' ${school} is good
- (反引号)命令替换 等价于 $() 反引号中的Shell命令会被先执行
- 实例：
-
View Code
[root@hostname~]# touch `date +%F`_file1.txt [root@hostname~]# touch $(date +%F)_file2.txt [root@hostname~]# disk_free3="df ‐Ph |grep '/$' |awk '{print $4}'" # 错误 [root@hostname~]# disk_free4=$(df ‐Ph |grep '/$' |awk '{print $4}') [root@hostname~]# disk_free5=`df ‐Ph |grep '/$' |awk '{print $4}'`
6、变量的运算
1、整数运算
- 方法一：expr
[root@hostname~]# expr 1 + 2 [root@hostname~]# expr $num1 + $num2 + ‐ \* / %
- 方法二：$(())
[root@hostname ~]# echo $(($num1+$num2)) + ‐ * / % [root@hostname ~]# echo $((num1+num2)) [root@hostname ~]# echo $((5‐3*2)) [root@hostname ~]# echo $(((5‐3)*2)) [root@hostname ~]# echo $((2**3)) [root@hostname ~]# sum=$((1+2)); echo $sum
- 方法三：$[ ]
[root@hostname~]# echo $[5+2] + ‐ * / % [root@hostname~]# echo $[5**2]
- 方法四：let
[root@hostname~]# let sum=2+3; echo $sum [root@hostname~]# let i++; echo $i
2、小数运算
[root@hostname ~]# echo "2*4" |bc [root@hostname ~]# echo "2^4" |bc [root@hostname ~]# echo "scale=2;6/4" |bc [root@hostname ~]# awk 'BEGIN{print 1/2}' [root@hostname ~]# echo "print 5.0/2" |python
7、变量"内容"的删除和替换
1、"内容"的删除
[root@hostname ~]# url=www.sina.com.cn [root@hostname ~]# echo ${#url} # 获取变量值的长度 15 [root@hostname ~]# echo ${url} # 标准查看 www.sina.com.cn [root@hostname ~]# echo ${url#*.} # 从前往后，最短匹配 sina.com.cn [root@hostname ~]# echo ${url##*.} # 从前往后，最长匹配 贪婪匹配 cn [root@hostname ~]# url=www.sina.com.cn [root@hostname ~]# echo ${url} www.sina.com.cn [root@hostname ~]# echo ${url%.*} # 从后往前，最短匹配 www.sina.com [root@hostname ~]# echo ${url%%.*} # 从后往前，最长匹配 贪婪匹配 www [root@hostname ~]# url=www.sina.com.cn [root@hostname ~]# echo ${url#a.} www.sina.com.cn [root@hostname ~]# echo ${url#*sina.} com.cn [root@hostname ~]# echo $HOSTNAME hostname.1000phone.com [root@hostname ~]# echo ${HOSTNAME%%.*} hostname
2、索引及切片
[root@hostname ~]# echo ${url:0:5} [root@hostname ~]# echo ${url:5:5} [root@hostname ~]# echo ${url:5} #和Python有点不一样，第一个位的数字是当前开始数，而不是从第一位开始数
3、内容的替换
[root@hostname ~]# url=www.sina.com.cn [root@hostname ~]# echo ${url/sina/baidu} www.baidu.com.cn [root@hostname ~]# url=www.sina.com.cn [root@hostname ~]# echo ${url/n/N} www.siNa.com.cn [root@hostname ~]# echo ${url//n/N} 贪婪匹配 www.siNa.com.cN
4、变量的替代
[root@hostname ~]# unset var1 [root@hostname ~]# [root@hostname ~]# echo ${var1} [root@hostname ~]# echo ${var1‐aaaaa} aaaaa [root@hostname ~]# var2=111 [root@hostname ~]# echo ${var2‐bbbbb} 111 [root@hostname ~]# [root@hostname ~]# var3= [root@hostname ~]# echo ${var3‐ccccc}
5、${变量名-新的变量值}
- 变量没有被赋值：会使用“新的变量值“ 替代
- 变量有被赋值（包括空值）： 不会被替代
[root@hostname ~]# unset var1 [root@hostname ~]# unset var2 [root@hostname ~]# unset var3 [root@hostname ~]# [root@hostname ~]# var2= [root@hostname ~]# var3=111 [root@hostname ~]# echo ${var1:‐aaaa} aaaa [root@hostname ~]# echo ${var2:‐aaaa} aaaa [root@hostname ~]# echo ${var3:‐aaaa} 111
6、${变量名:-新的变量值}
- 变量没有被赋值（包括空值）：都会使用“新的变量值“ 替代
- 变量有被赋值： 不会被替代
[root@hostname ~]# echo ${var3+aaaa} [root@hostname ~]# echo ${var3:+aaaa} [root@hostname ~]# echo ${var3=aaaa} [root@hostname ~]# echo ${var3:=aaaa} [root@hostname ~]# echo ${var3?aaaa} [root@hostname ~]# echo ${var3:?aaaa}
7、i++ 和 ++i
- i++ : i=i+1 先赋值在运算
- ++i : 1+i=i 先运算再赋值
人生苦短，我用Python
