Shell笔记

Shell字符串操作：

字符串拼接： 

bb="hello,ki"": abc" #引号之间不能有空格

name='Xiaoming'
echo "Hello, ${name}" #使用双引号
echo 'Hello,'${name}'' #使用单引号

 

4）获取字符串长度

• 在${}中使用“#”获取长度
• name=“test”;
• echo ${#name}; # 输出为4

5）提取子字符串

• 1:4 从第2个开始 往后截取4个字符
• ::4 从第一个字符开始 往后截取4个字符
• name=“this is my name”;
• echo ${name:1:4} #输出 is i
• echo ${name::4} #输出 this

6）#数字补全0或空格

      printf "%04d\n" 86 #返回0086，总长4位，补0，\n表示换行
      printf "%4d\n" 86 #返回 86，总长4位，补空格

    #字符串补全0或空格
      printf "%08x\n" "0x""abcd" #返回0000abcd，补0
      printf "%8s\n" ‘abcd’#补齐8位空格

 

数组

bash只支持一维数组，不支持多维数组

• 定义数组：array_name=(li wang xiang zhang) （小括号做边界、使用空格分离）
• 单独定义数组的元素： array_para[0]=“w”; array_para[3]=“s” （定义时下标不连续也可以）
• 赋值数组元素：array_name[0]=“zhao”;
• 获取数组元素：

1. array_name[0]=“li”
2. array_name[3]=“zhang”
3. echo ${array_name[0]} # 输出"li"
4. echo ${array_name[1]} # 输出" "
5. echo ${array_name[3]} # 输出"zhang"
6. echo ${array_name[@]} # 输出"li zhang" 输出数组所有元素，没有元素的下标省略

• 取得元素个数：${#array_name[@]} 或者 ${#array_name[*]}
• 取得单个元素长度：${#array_name[1]}

参数传递

• 获取参数值：

1. $0 ： 固定，代表执行的文件名
2. $1 ： 代表传入的第1个参数，等于 ${1}
3. $n ： 代表传入的第n个参数

• $#：参数个数
• $*： 以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数
• $@：与$*相同，但是使用时加引号，并在引号中返回每个参数。
• $$：脚本运行的当前进程号
• $！：后台运行的最后一个进程的ID
• $?： 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。
• $* 与 $@ 区别

1. 相同点：都是引用所有参数。
2. 不同点：只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3，，则 " * " 等价于 “1 2 3”（传递了一个参数），而 “@” 等价于 “1” “2” “3”（传递了三个参数）。

 

将命令执行结果赋予变量：

variable=`commands`
variable=$(commands)

#!/bin/bash
begin_time=`date` #开始时间，使用``替换
sleep 20s #休眠20秒
finish_time=$(date) #结束时间，使用$()替换
echo "Begin time: $begin_time"
echo "Finish time: $finish_time"

timestamp = `date -d '2021-12-30 10:00' +%s`   #转换时间戳

 

运算符

算数运算

• + 、-、*、\ ： 乘号前必须加\进行转义才可以进行乘法运算
• 加法运算
• val=`expr 2 + 2` （使用linux命令expr进行辅助运算）
• val=$[2+2] （4个空格不是必要的，不同于条件判断）
• val=$((2+2))

 

数字关系运算符

运算符	说明	举例
+	加法	`expr $a + $b` 结果为 30。
-	减法	`expr $a - $b` 结果为 -10。
*	乘法	`expr $a \* $b` 结果为  200。
/	除法	`expr $b / $a` 结果为 2。
%	取余	`expr $b % $a` 结果为 0。
=	赋值	a=$b 将把变量 b 的值赋给 a。
==	相等。用于比较两个数字，相同则返回 true。	[ $a == $b ] 返回 false。
!=	不相等。用于比较两个数字，不相同则返回 true。	[ $a != $b ] 返回 true。

a=10
b=20
val=`expr $a + $b` #计算a+b
echo "a + b : $val"

if [ $a == $b ]  #“==”用于数值比较，空格一个不能少
then
   echo "a 等于 b"
fi
if [ $a != $b ]
then
   echo "a 不等于 b"
fi

 

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

下面假定变量 a 为 10，变量 b 为 20

• -eq ：检测两个数是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
• -ne： 检测两个数是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
• -gt： 检测左边的数是否大于右边的，如果是，则返回 true。 [ $a -gt $b ] 返回 false。
• -lt ： 检测左边的数是否小于右边的，如果是，则返回 true。 [ $a -lt $b ] 返回 true。
• -ge： 检测左边的数是否大于等于右边的，如果是，则返回 true。 [ $a -ge $b ] 返回 false。
• -le ： 检测左边的数是否小于等于右边的，如果是，则返回 true。 [ $a -le $b ] 返回 true。

字符串运算符

下表列出了常用的字符串运算符，假定变量 a 为 “abc”，变量 b 为 “efg”：

• = ：检测两个字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
• != ：检测两个字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
• -z ：检测字符串长度是否为0，为0返回 true。 [ -z $a ] 返回 false。
• -n ：检测字符串长度是否为0，不为0返回 true。 [ -n “$a” ] 返回 true。
• $ ：检测字符串是否为空，不为空返回 true。 [ $a ] 返回 true。

布尔运算符

下表列出了常用的布尔运算符，假定变量 a 为 10，变量 b 为 20：

• ! ：非运算，表达式为 true 则返回 false，否则返回 true。 [ ! false ] 返回 true。
• -o ：或运算，有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
• -a ：与运算，两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

逻辑运算符

以下介绍 Shell 的逻辑运算符，假定变量 a 为 10，变量 b 为 20:

• && ：逻辑的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
• || ：逻辑的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件运算符

• -b file ：检测文件是否是块设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。
• -c file ：检测文件是否是字符设备文件，如果是，则返回 true。 [ -c $file ] 返回 false。
• -d file ：检测文件是否是目录，如果是，则返回 true。 [ -d $file ] 返回 false。
• -f file ：检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。 [ -f $file ] 返回 true。
• -g file ：检测文件是否设置了 SGID 位，如果是，则返回 true。 [ -g $file ] 返回 false。
• -k file ：检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。 [ -k $file ] 返回 false。
• -p file ：检测文件是否是有名管道，如果是，则返回 true。 [ -p $file ] 返回 false。
• -u file ：检测文件是否设置了 SUID 位，如果是，则返回 true。 [ -u $file ] 返回 false。
• -r file ：检测文件是否可读，如果是，则返回 true。 [ -r $file ] 返回 true。
• -w file ：检测文件是否可写，如果是，则返回 true。 [ -w $file ] 返回 true。
• -x file ：检测文件是否可执行，如果是，则返回 true。 [ -x $file ] 返回 true。
• -s file ：检测文件是否为空（文件大小是否大于0），不为空返回 true。 [ -s $file ] 返回 true。
• -e file ：检测文件（包括目录）是否存在，如果是，则返回 true。 [ -e $file ] 返回 true。

执行相关

命令替换

命令替换与变量替换差不多，都是用来重组命令行的，先完成引号里的命令行，然后将其结果替换出来，再重组成新的命令行。

1. `ls /etc` ： 反引号 （所有的unix系统都支持）
2. $(ls /etc) ： $+() （部分unix系统不支持）
   多个嵌套使用时，从内向外执行

for file in \s /etc\ 或 for file in $(ls /etc) 循环中使用
`dirname $0` 获取脚本文件所在的目录
path=$(cd `dirname $0`;pwd) ： 获取脚本当前所在目录，并且执行cd命令到达该目录，使用pwd获取路径并赋值到path变量

算术运算

1. $[ ] : 加减乘除,不必添加空格
2. $(( )) ：加减乘除等,不必添加空格

逻辑判断

1. [ ] ： 中括号旁边和运算符两边必须添加空格 （可以使用，不推荐）
2. [[ ]]：中括号旁边和运算符两边必须添加空格 （字符串验证时，推荐使用）
3. (()) ： 中括号旁边和运算符两边必须添加空格 （数字验证时，推荐使用）
4. [[]] 和 (()) 分别是[ ]的针对数学比较表达式和字符串表达式的加强版。
5. 使用[[ … ]]条件判断结构，而不是[ … ]，能够防止脚本中的许多逻辑错误。比如，&&、||、<和> 操作符能够正常存在于[[ ]]条件判断结构中，但是如果出现在[ ]结构中的话，会报错。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不适用双括号, 则为if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
6. [[ ]]中增加模式匹配特效；
7. (( ))不需要再将表达式里面的大小于符号转义，除了可以使用标准的数学运算符外，还增加了以下符号

 

printf 输出

printf "%-10s %-8s %-4s\n" 姓名 性别 体重kg  
printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
printf "%-10s %-8s %-4.2f\n" 杨过 男 48.6543

返回结果：

姓名     性别   体重kg
郭靖     男      66.12
杨过     男      48.65
郭芙     女      47.99

%s %c %d %f 都是格式替代符，％s 输出一个字符串，％d 整型输出，％c 输出一个字符，％f 输出实数，以小数形式输出。

%-10s 指一个宽度为 10 个字符（- 表示左对齐，没有则表示右对齐），任何字符都会被显示在 10 个字符宽的字符内，如果不足则自动以空格填充，超过也会将内容全部显示出来。

%-4.2f 指格式化为小数，其中 .2 指保留2位小数。

转义符号：

1. \b ：后退
2. \f ：换页（formfeed）
3. \n ：换行
4. \r ：回车（Carriage return）
5. \t ：水平制表符
6. \v ：垂直制表符
7. \ ：一个字面上的反斜杠字符

 

流程控制

和Java、PHP等语言不一样，sh的流程控制不可为空，即if或者else的大括号中无任何语句

if else

• if

if condition
then
    command1 
    command2
    ...
    commandN 
fi

• if else

if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi

• if else-if else

if condition1
then
    command1
elif condition2 
then 
    command2
else
    commandN
fi

For循环

#读取文件列表，rabbitmq创建vhost并赋予guest用户权限
vhosts=$(cat /data1/temp/vhosts.txt)
for vhost in ${vhosts}
do
  echo ${vhost}
  rabbitmqctl add_vhost ${vhost}
  rabbitmqctl set_permissions -p ${vhost} guest ".*" ".*" ".*"
done

 While循环

#!/bin/bash
cat user.txt | while read line
do
  echo $line
done 

while

• while condition

while condition
do
    command
done

• while 无限循环

while :
do
    command
done

until

until 循环执行一系列命令直至条件为 true 时停止。
until 循环与 while 循环在处理方式上刚好相反。

until condition
do
    command
done

case

Shell case语句为多选择语句。可以用case语句匹配一个值与一个模式，如果匹配成功，执行相匹配的命令。

case需要一个esac（就是case反过来）作为结束标记，每个case分支用右圆括号，用两个分号表示break，其中“;;”不是跳出循环，是不在去匹配下面的模式

case语句格式如下：

case 值 in
  模式1)
    command1
    command2
    ...
    commandN
    ;;
  模式2）
    command1
    command2
    ...
    commandN
    ;;
esac

跳出循环

1. break ：跳出总循环
2. continue：跳出当前循环，继续下一次循环

定义函数

可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。

• 函数定义

[ function ] funname()
{
    action;
    [return int;]
}

参数传递

• 调用函数: fun_name 2 3 4
• 函数中使用：和shell取用函数相同 $n $# $* $? 或者加上{}

funWithParam(){
    echo "第一个参数为 $1 !"
    echo "第二个参数为 $2 !"
    echo "第十个参数为 $10 !"
    echo "第十个参数为 ${10} !"
    echo "第十一个参数为 ${11} !"
    echo "参数总数有 $# 个!"
    echo "作为一个字符串输出所有参数 $* !"}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
echo $?  \# 判断执行是否成功

• 函数返回值

1. return字样可存在也可不存在
2. return 只能为 return [0-255]，此处的返回可作为函数执行的状态，通过$?获取的便是这个返回值
3. 如果不加return ， 则默认最后一条语句的执行状态所为函数执行状态的返回值，如果最后一条语句执行成功，则$?为0，否则不为0

• 使用函数返回值（Janusgraph图数据库官方启动服务脚本片段）

1. return返回的数字，只是作为函数执行状态的返回值，也就是接下来$?获取的值
2. 对于类似于下面的BIN=\abs_path``语句，获取的是函数体内所有的echo、printf输出组合成的一个字符串

abs_path() {
    SOURCE="${BASH_SOURCE[0]}"
    while [ -h "$SOURCE" ]; do
        DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
        SOURCE="$(readlink "$SOURCE")"
        [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
    done
    echo "test"  
    echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"  
    # 此函数的两个echo输出会组合成一个字符串作为下述BIN的值
}

BIN=`abs_path` # BIN赋值函数返回值，如果没有return，则函数中所有的echo、printf输出组合成一个字符串传入BIN
path=${BIN}/nodetool # 可直接使用

输入输出重定向

• 一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：
• 标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
• 标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
• 标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

默认情况下，command > file 将 stdout 重定向到 file，command < file 将stdin 重定向到 file。
如果希望执行某个命令，但又不希望在屏幕上显示输出结果，那么可以将输出重定向到 /dev/null：

输入重定向

1. bash.sh < file ： 将脚本的输入重定向到file，由file提供参数

输出重定向

1. bash.sh > file ： 将脚本的输出数据重定向到file中，覆盖数据
2. bash.sh >> file ： 将脚本的输出数据重定向到file中，追加数据
3. command >> file 2>&1 ： 将 stdout 和 stderr 合并后重定向到 file

读取外部输入

命令：read arg（脚本读取外部输入并赋值到变量上）

在shell脚本执行到上述命令时，停止脚本执行并等待外部输入，将外部输入赋值到arg变量上，继续执行脚本

文件引用

引用其他的文件之后，可以使用其变量、函数等等，相当于将引用的文件包含进了当前文件

两种方式：

1. . file_path\file_name
2. source file_path\file_name

颜色标识

printf  "\033[32m SUCCESS: yay \033[0m\n";
printf  "\033[33m WARNING: hmm \033[0m\n";
printf  "\033[31m ERROR: fubar \033[0m\n";

输出结果：

长句换行

在shell中为避免一个语句过长，可以使用“\”进行换行

使用“\”换行，在脚本执行过程中还是当做一行一个语句执行，不同于enter直接换行

注意：\ 前添加一个空格 。 \ 后无空格直接换行。

 /mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password ;

shell操作mysql

下面案例为登录mysql，并选择操作数据库，之后进行导入数据

 /mysql/mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password \
  -e"use test_database; source data_faile; " # -e 代表执行sql语句

-u 用户名
-p 用户密码
-h 服务器ip地址
-D 连接的数据库
-N 不输出列信息
-B 使用tab键 代替 分隔符
-e 执行的SQL语句

退出脚本

命令：exit

在退出脚本时使用不同的错误码，这样可以根据错误码来判断发生了什么错误。

在绝大多数 shell 脚本中，exit 0 表示执行成功，exit 1 表示发生错误。
对错误与错误码进行一对一的映射，这样有助于脚本调试。

命令：set -e 或者 set +e

set -e表示从当前位置开始，如果出现任何错误都将触发exit。相反，set +e表示不管出现任何错误继续执行脚本。

如果脚本是有状态的（每个后续步骤都依赖前一个步骤），那么请使用set -e，在脚本出现错误时立即退出脚本。
如果要求所有命令都要执行完（很少会这样），那么就使用set +e。

转自：https://zhuanlan.zhihu.com/p/83338411