第17章 大数据定制篇-Shell编程

17.1 为什么要学习Shell编程

1)Linux运维工程师在进行服务器集群管理时,需要编写Shell程序来进行服务器管理。
2)对于JavaEE和Python程序员来说,工作的需要,你的老大会要求你编写一些Shell脚本进行程序或者是服务器的维护,比如编写一个定时备份数据库的脚本。
3)对于大数据程序员来说,需要编写Shell程序来管理集群

 


17.2 Shell是什么

Shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell来启动、挂起、停止甚至是编写一些程序。看一个示意图

 

 

 

 

 

17.3 Shell脚本的执行方式

17.3.1脚本格式要求

1)脚本以 #!/bin/bash 开头
2)脚本需要有可执行权限


17.3.2编写第一个Shell脚本

需求说明: 创建一个Shell 脚本,输出hello world!
vim hello.sh
#!/bin/bash
echo "hello,world~"

 

17.3.3脚本的常用执行方式

方式1(输入脚本的绝对路径或相对路径)
说明:首先要赋予 helloworld.sh 脚本的+x权限,再执行脚本
比如 ./hello.sh 或者使用绝对路径 /root/shcode/hello.sh
方式2(sh+脚本)
说明:不用赋予脚本+x权限,直接执行即可。
比如sh hello.sh, 也可以使用绝对路径

 


17.4 Shell的变量

17.4.1 Shell变量介绍

1) Linux Shell中的变量分为,系统变量和用户自定义变量。
2) 系统变量: $HOME、 $PWD、$SHELL、$USER 等等,比如:echo $HOME 等等..
3) 显示当前 shell 中所有变量: set


17.4.2 shell 变量的定义

 

基本语法

1) 定义变量:变量名=值
2) 撤销变量: unset 变量
3) 声明静态变量: readonly变量,注意:不能unset

 

快速入门

1) 案例1:定义变量A
2) 案例2:撤销变量A
3) 案例3:声明静态的变量B=2,不能unset

4)案例4:可把变量提升为全局环境变量,可供其他shell程序使用[该案例后面讲]

 

#!/bin/bash
#案例1:定义变量A
A=100
#输出变量需要加上$
echoA=$A
echo "A=$A"
#案例2:撤销变量A
unset A
echo "A=$A"
#案例3:声明静态的变量 B=2,不能unset
readonly B=2
echo "B=$B"
#unset B
#将指令返回的结果赋给变量

:<<!
C=`date`
D=$(date)
echo "C=$C"
echo "D=$D"
!
#使用环境变量TOMCAT_HOME
echo "tomcat_home=$TOMCAT_HOME"

 

 

17.4.3 shell 变量的定义

定义变量的规则
1) 变量名称可以由字母、数字和下划线组成,但是不能以数字开头。5A=200(x)
2) 等号两侧不能有空格
3) 变量名称一般习惯为大写,这是一个规范, 我们遵守即可

将命令的返回值赋给变量
1) A=`date`反引号,运行里面的命令,并把结果返回给变量A
2) A=$(date) 等价于反引号

 

 

17.5设置环境变量

17.5.1基本语法

1) export 变量名=变量值  (功能描述:将shell变量输出为环境变量/全局变量)
2) source 配置文件           (功能描述:让修改后的配置信息立即生效)
3) echo $变量名                 (功能描述:查询环境变量的值)
4) 示意

 

 

 

 

17.5.2 快速入门

1)在 /etc/profile 文件中定义 TOMCAT_HOME 环境变量

2)查看环境变量 TOMCAT_HOME的值
3)在另外一个 shell 程序中使用 TOMCAT_HOME
注意:在输出 TOMCAT_HOME 环境变量前,需要让其生效.
source /etc/profile

 

 

 

shell 脚本的多行注释

:<<!

内容

!

 

 

17.6位置参数变量

 

17.6.1介绍

当我们执行一个shell脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量

比如: ./myshell.sh 100 200,这个就是一个执行 shell 的命令行,可以在 myshell 脚本中获取到参数信息

 


17.6.2基本语法

$n (功能描述: n为数字,$0代表命令本身,$1-$9 代表第一到第九个参数,十以上的参数,十以上的参数需要用

大括号包含,如${10} )
$*   (功能描述: 这个变量代表命令行中所有的参数,$*把所有的参数看成一个整体)
$@ (功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)
$#   (功能描述:这个变量代表命令行中所有参数的个数)

 

 

 


17.6.3位置参数变量

案例:编写一个 shell 脚本 position.sh ,在脚本中获取到命令行的各个参数信息

 

 

 

 

 

17.7预定义变量

17.7.1基本介绍

就是shell设计者事先已经定义好的变量,可以直接在shell脚本中使用

 


17.7.2基本语法

1) $$ (功能描述:当前进程的进程号(PID))
2) $!  (功能描述:后台运行的最后一个进程的进程号(PID))
3) $? (功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0 ( 具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)

 


17.7.3 应用实例

在一个shell脚本中简单使用一下预定义变量(脚本名:preVar.sh)

 

#!/bin/bash
echo "当前执行的进程id=$$"
#以后台的方式运行一个脚本,并获取他的进程号
/root/shcode/myshell.sh &
echo "最后一个后台方式运行的进程id=$!"
echo "执行的结果是=$?"

 

 

 

17.8运算符

17.8.1 基本介绍

学习如何在shell中进行各种运算操作。

 


17.8.2 基本语法

1) “$((运算式))”或“$[运算式]”或者 expr m + n //expression 表达式
2) 注意 expr 运算符间要有空格,如果希望将 expr 的结果赋给某个变量,使用 ``
3) expr m - n
4) expr \*,/,%  乘,除,取余


17.8.3应用实例oper.sh

案例1:计算 (2+3) X4 的值
案例2:请求出命令行的两个参数[整数]的和 20 50

 

#!/bin/bash
#案例1:计算(2+3) X4的值
#使用第一种方式
RES1=$(((2+3)*4))
echo "res1=$RES1"
#使用第二种方式,推荐使用
RES2=$[(2+3)*4]
echo "res2=$RES2"
#使用第三种方式 expr
TEMP=`expr 2 + 3`
RES4=`expr $TEMP\* 4`
echo "temp=$TEMP"

echo "res4=$RES4"
#案例2: 请求出命令行的两个参数[整数]的和 20 50
SUM=$[$1+$2]
echo "sum=$SUM"

 

 

 

 

17.9条件判断

17.9.1判断语句

 

基本语法
[ condition ] ( 注意 condition 前后要有空格)
#非空返回true,可使用$?验证(0为true, >1为false )

应用实例
[ yxj ]   返回true
[ ]    返回false
[ condition ] && echo OK || echo notok  条件满足,执行后面的语句

判断语句
常用判断条件
1)= 字符串比较


2)两个整数的比较
-lt   小于
-le  小于等于little equal
-eq 等于
-gt  大于
-ge  大于等于
-ne  不等于

3)按照文件权限进行判断
-r   有读的权限
-w  有写的权限
-x   有执行的权限


4)按照文件类型进行判断
-f   文件存在并且是一个常规的文件
-e  文件存在
-d  文件存在并是一个目录
应用实例
案例1: "ok"是否等于"ok"
判断语句:使用 =
案例2: 23 是否大于等于 22
判断语句: 使用 -ge
案例3: /root/shcode/aaa.txt 目录中的文件是否存在
判断语句:使用-f
代码如下:

 

 

 

 

 

 

17.10流程控制

17.10.1 if判断

基本语法
if[ 条件判断式 ]
then
代码
fi

或者,多分支

if[条件判断式]
then
代码
elif [条件判断式]
then
代码
fi


注意事项:[ 条件判断式 ],中括号和条件判断式之间必须有空格
应用实例 ifCase.sh
案例:请编写一个shell程序,如果输入的参数,大于等于60,则输出"及格了",如果小于60,则输出"不及格"

 

 

 

17.10.2 case语句


基本语法
case $变量名 in
"值1")
如果变量的值等于值1,则执行程序1

;;
"值 2")
如果变量的值等于值2,则执行程序2
;;
...省略其他分支...

*)
如果变量的值都不是以上的值,则执行此程序

;;
esac


应用实例 testCase.sh
案例1 :当命令行参数是1时,输出"周一",是2时,就输出"周二”,其它情况输 出"other"

 

 

 

 

17. 10.3 for循环


基本语法1

for 变量 in 值1 值2 值3...

do
程序/代码
done
应用实例  testFor1.sh
案例1 : 打印命令行输入的参数 [这里可以看出 $* 和 $@ 的区别]


基本语法2
for(( 初始值;循环控制条件;变量变化 ))

do
程序/代码
done

 


应用实例  testFor2.sh
案例1 : 从1加到100的值输出显示

 

 

 

 

 

 

17.10.4 while循环


基本语法1
while [ 条件判断式 ]

do
程序/代码
done
注意: while 和 [有空格,条件判断式和 [也有空格


应用实例testWhile.sh
案例1 :从命令行输入一个数n,统计从1+..+n 的值是多少?

#!/bin/bash
#案例1 :从命令行输入一个数n,统计从1+..+n 的值是多少?
SUM=0
i=0
while[ $i -le $1 ]
do
  SUM=$[$SUM+$i]
  #i 自增
  i=$[$i+1]
done
echo "执行结果=$SUM"

 

 

 

 

 

17.11 read读取控制台输入

17.11.1基本语法

read(选项)(参数)
选项:
-p: 指定读取值时的提示符;
-t:  指定读取值时等待的时间(秒),如果没有在指定的时间内输入,就不再等待了。。
参数
变量: 指定读取值的变量名

 

 

17.11.2 应用实例testRead.sh

案例1:读取控制台输入一个NUM1值
案例2:读取控制台输入一个NUM2值,在10秒内输入。
代码:

#!/bin/bash
#案例1:读取控制台输入一个 NUM1 值
read-p "请输入一个数 NUM1=" NUM1
echo "你输入的 NUM1=$NUM1"
#案例2: 读取控制台输入一个 NUM2 值,在10 秒内输入。
read -t 10 -p "请输入一个数 NUM2=" NUM2
echo "你输入的 NUM2=$NUM2"

 

 

 

 

17.12函数

17.12.1函数介绍

shell编程和其它编程语言一样,有系统函数,也可以自定义函数。系统函数中,我们这里就介绍两个。

 


17.12.2系统函数

basename 基本语法
功能:返回完整路径最后 / 的部分,常用于获取文件名
basename [pathname] [suffix]
basename [string] [suffx]  (功能描述: basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
选项:
suffix 为后缀,如果suffix被指定了,basename 会将 pathname 或 string 中的 suffix 去掉。

 

应用实例

案例1:请返回 /home/aa/test.txt 的"test.txt" 部分
basename /home/aaa/test.txt

dirname 基本语法
功能:返回完整路径最后 / 的前面的部分,常用于返回路径部分
dirmame文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分) )

应用实例
案例1:请返回 /home/aaa/test.txt 的 /home/aaa
dirname /home/aa/test.txt

 

 

17.12.3自定义函数

基本语法
[ function ] funname[()]
{
  Action;
  [return int;]
}

调用直接写函数名: funname [值]

应用实例
案例1:计算输入两个参数的和(动态的获取),getSum
代码

 

#!/bin/bash
#案例1:计算输入两个参数的和(动态的获取),getSum

#定义函数 getSum
function getSum() {
  SUM=$[$n1+$n2]
  echo "和是=$SUM"
}

#输入两个值
read -p "请输入一个数n1=" n1
read-p "请输入一个数 n2=" n2
#调用自定义函数
getSum $n1 $n2

 

 

 

 

17.13Shell编程综合案例

17.13.1需求分析

1) 每天凌晨 2:30 备份 数据库 hspedu到 /data/backup/db
2) 备份开始和备份结束能够给出相应的提示信息
3) 备份后的文件要求以备份时间为文件名,并打包成.tar.gz 的形式,比如: 2021-03-12_230201.tar.gz
4) 在备份的同时,检查是否有10天前备份的数据库文件,如果有就将其删除。
5) 画一个思路分析图

 

 

 

17.13.2 代码 /usr/sbin/mysql_db.backup.sh

#备份目录
BACKUP=/data/backup/db
#当前时间
DATETIME=$(date +%Y-%m-%d_ %H%M%S)
echo $DATETIME
#数据库的地址
HOST=localhost
#数据库用户名
DB_USER=root
#数据库密码
DB_PW=hspedu100
#备份的数据库名
DATABASE=hspedu
#创建备份目录,如果不存在,就创建
[ !-d "${BACKUP}/${DATETIME}" ] && mkdir -p "${BACKUP}/${DATETIME}"

#备份数据库
mysqldump -u${DB_USER} -p${DB_PW} --host=${HOST} -q -R --databases ${DATABASE} |  gzip > ${BACKUP}/${DATETIME }/$DATETIME.sql.gz
#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应的备份目录
rm -rf ${BACKUP}/${DATETIME}
#删除10天前的备份文件
find ${BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf{}\;
echo "备份数据库${DATABASE} 成功~"

 

posted @   狂热搬砖家  阅读(297)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
点击右上角即可分享
微信分享提示