第17章 大数据定制篇-Shell编程
17.1 为什么要学习Shell编程
1)Linux运维工程师在进行服务器集群管理时,需要编写Shell程序来进行服务器管理。
2)对于JavaEE和Python程序员来说,工作的需要,你的老大会要求你编写一些Shell脚本进行程序或者是服务器的维护,比如编写一个定时备份数据库的脚本。
3)对于大数据程序员来说,需要编写Shell程序来管理集群
17.2 Shell是什么
Shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell来启动、挂起、停止甚至是编写一些程序。看一个示意图
17.3 Shell脚本的执行方式
17.3.1脚本格式要求
1)脚本以 #!/bin/bash 开头
2)脚本需要有可执行权限
17.3.2编写第一个Shell脚本
需求说明: 创建一个Shell 脚本,输出hello world!
vim hello.sh
#!/bin/bash
echo "hello,world~"
17.3.3脚本的常用执行方式
方式1(输入脚本的绝对路径或相对路径)
说明:首先要赋予 helloworld.sh 脚本的+x权限,再执行脚本
比如 ./hello.sh 或者使用绝对路径 /root/shcode/hello.sh
方式2(sh+脚本)
说明:不用赋予脚本+x权限,直接执行即可。
比如sh hello.sh, 也可以使用绝对路径
17.4 Shell的变量
17.4.1 Shell变量介绍
1) Linux Shell中的变量分为,系统变量和用户自定义变量。
2) 系统变量: $HOME、 $PWD、$SHELL、$USER 等等,比如:echo $HOME 等等..
3) 显示当前 shell 中所有变量: set
17.4.2 shell 变量的定义
基本语法
1) 定义变量:变量名=值
2) 撤销变量: unset 变量
3) 声明静态变量: readonly变量,注意:不能unset
快速入门
1) 案例1:定义变量A
2) 案例2:撤销变量A
3) 案例3:声明静态的变量B=2,不能unset
4)案例4:可把变量提升为全局环境变量,可供其他shell程序使用[该案例后面讲]
#!/bin/bash
#案例1:定义变量A
A=100
#输出变量需要加上$
echoA=$A
echo "A=$A"
#案例2:撤销变量A
unset A
echo "A=$A"
#案例3:声明静态的变量 B=2,不能unset
readonly B=2
echo "B=$B"
#unset B
#将指令返回的结果赋给变量
:<<!
C=`date`
D=$(date)
echo "C=$C"
echo "D=$D"
!
#使用环境变量TOMCAT_HOME
echo "tomcat_home=$TOMCAT_HOME"
17.4.3 shell 变量的定义
定义变量的规则
1) 变量名称可以由字母、数字和下划线组成,但是不能以数字开头。5A=200(x)
2) 等号两侧不能有空格
3) 变量名称一般习惯为大写,这是一个规范, 我们遵守即可
将命令的返回值赋给变量
1) A=`date`反引号,运行里面的命令,并把结果返回给变量A
2) A=$(date) 等价于反引号
17.5设置环境变量
17.5.1基本语法
1) export 变量名=变量值 (功能描述:将shell变量输出为环境变量/全局变量)
2) source 配置文件 (功能描述:让修改后的配置信息立即生效)
3) echo $变量名 (功能描述:查询环境变量的值)
4) 示意
17.5.2 快速入门
1)在 /etc/profile 文件中定义 TOMCAT_HOME 环境变量
2)查看环境变量 TOMCAT_HOME的值
3)在另外一个 shell 程序中使用 TOMCAT_HOME
注意:在输出 TOMCAT_HOME 环境变量前,需要让其生效.
source /etc/profile
shell 脚本的多行注释
:<<!
内容
!
17.6位置参数变量
17.6.1介绍
当我们执行一个shell脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量
比如: ./myshell.sh 100 200,这个就是一个执行 shell 的命令行,可以在 myshell 脚本中获取到参数信息
17.6.2基本语法
$n (功能描述: n为数字,$0代表命令本身,$1-$9 代表第一到第九个参数,十以上的参数,十以上的参数需要用
大括号包含,如${10} )
$* (功能描述: 这个变量代表命令行中所有的参数,$*把所有的参数看成一个整体)
$@ (功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)
$# (功能描述:这个变量代表命令行中所有参数的个数)
17.6.3位置参数变量
案例:编写一个 shell 脚本 position.sh ,在脚本中获取到命令行的各个参数信息
17.7预定义变量
17.7.1基本介绍
就是shell设计者事先已经定义好的变量,可以直接在shell脚本中使用
17.7.2基本语法
1) $$ (功能描述:当前进程的进程号(PID))
2) $! (功能描述:后台运行的最后一个进程的进程号(PID))
3) $? (功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0 ( 具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
17.7.3 应用实例
在一个shell脚本中简单使用一下预定义变量(脚本名:preVar.sh)
#!/bin/bash
echo "当前执行的进程id=$$"
#以后台的方式运行一个脚本,并获取他的进程号
/root/shcode/myshell.sh &
echo "最后一个后台方式运行的进程id=$!"
echo "执行的结果是=$?"
17.8运算符
17.8.1 基本介绍
学习如何在shell中进行各种运算操作。
17.8.2 基本语法
1) “$((运算式))”或“$[运算式]”或者 expr m + n //expression 表达式
2) 注意 expr 运算符间要有空格,如果希望将 expr 的结果赋给某个变量,使用 ``
3) expr m - n
4) expr \*,/,% 乘,除,取余
17.8.3应用实例oper.sh
案例1:计算 (2+3) X4 的值
案例2:请求出命令行的两个参数[整数]的和 20 50
#!/bin/bash
#案例1:计算(2+3) X4的值
#使用第一种方式
RES1=$(((2+3)*4))
echo "res1=$RES1"
#使用第二种方式,推荐使用
RES2=$[(2+3)*4]
echo "res2=$RES2"
#使用第三种方式 expr
TEMP=`expr 2 + 3`
RES4=`expr $TEMP\* 4`
echo "temp=$TEMP"
echo "res4=$RES4"
#案例2: 请求出命令行的两个参数[整数]的和 20 50
SUM=$[$1+$2]
echo "sum=$SUM"
17.9条件判断
17.9.1判断语句
基本语法
[ condition ] ( 注意 condition 前后要有空格)
#非空返回true,可使用$?验证(0为true, >1为false )
应用实例
[ yxj ] 返回true
[ ] 返回false
[ condition ] && echo OK || echo notok 条件满足,执行后面的语句
判断语句
常用判断条件
1)= 字符串比较
2)两个整数的比较
-lt 小于
-le 小于等于little equal
-eq 等于
-gt 大于
-ge 大于等于
-ne 不等于
3)按照文件权限进行判断
-r 有读的权限
-w 有写的权限
-x 有执行的权限
4)按照文件类型进行判断
-f 文件存在并且是一个常规的文件
-e 文件存在
-d 文件存在并是一个目录
应用实例
案例1: "ok"是否等于"ok"
判断语句:使用 =
案例2: 23 是否大于等于 22
判断语句: 使用 -ge
案例3: /root/shcode/aaa.txt 目录中的文件是否存在
判断语句:使用-f
代码如下:
17.10流程控制
17.10.1 if判断
基本语法
if[ 条件判断式 ]
then
代码
fi
或者,多分支
if[条件判断式]
then
代码
elif [条件判断式]
then
代码
fi
注意事项:[ 条件判断式 ],中括号和条件判断式之间必须有空格
应用实例 ifCase.sh
案例:请编写一个shell程序,如果输入的参数,大于等于60,则输出"及格了",如果小于60,则输出"不及格"
17.10.2 case语句
基本语法
case $变量名 in
"值1")
如果变量的值等于值1,则执行程序1
;;
"值 2")
如果变量的值等于值2,则执行程序2
;;
...省略其他分支...
*)
如果变量的值都不是以上的值,则执行此程序
;;
esac
应用实例 testCase.sh
案例1 :当命令行参数是1时,输出"周一",是2时,就输出"周二”,其它情况输 出"other"
17. 10.3 for循环
基本语法1
for 变量 in 值1 值2 值3...
do
程序/代码
done
应用实例 testFor1.sh
案例1 : 打印命令行输入的参数 [这里可以看出 $* 和 $@ 的区别]
基本语法2
for(( 初始值;循环控制条件;变量变化 ))
do
程序/代码
done
应用实例 testFor2.sh
案例1 : 从1加到100的值输出显示
17.10.4 while循环
基本语法1
while [ 条件判断式 ]
do
程序/代码
done
注意: while 和 [有空格,条件判断式和 [也有空格
应用实例testWhile.sh
案例1 :从命令行输入一个数n,统计从1+..+n 的值是多少?
#!/bin/bash
#案例1 :从命令行输入一个数n,统计从1+..+n 的值是多少?
SUM=0
i=0
while[ $i -le $1 ]
do
SUM=$[$SUM+$i]
#i 自增
i=$[$i+1]
done
echo "执行结果=$SUM"
17.11 read读取控制台输入
17.11.1基本语法
read(选项)(参数)
选项:
-p: 指定读取值时的提示符;
-t: 指定读取值时等待的时间(秒),如果没有在指定的时间内输入,就不再等待了。。
参数
变量: 指定读取值的变量名
17.11.2 应用实例testRead.sh
案例1:读取控制台输入一个NUM1值
案例2:读取控制台输入一个NUM2值,在10秒内输入。
代码:
#!/bin/bash
#案例1:读取控制台输入一个 NUM1 值
read-p "请输入一个数 NUM1=" NUM1
echo "你输入的 NUM1=$NUM1"
#案例2: 读取控制台输入一个 NUM2 值,在10 秒内输入。
read -t 10 -p "请输入一个数 NUM2=" NUM2
echo "你输入的 NUM2=$NUM2"
17.12函数
17.12.1函数介绍
shell编程和其它编程语言一样,有系统函数,也可以自定义函数。系统函数中,我们这里就介绍两个。
17.12.2系统函数
basename 基本语法
功能:返回完整路径最后 / 的部分,常用于获取文件名
basename [pathname] [suffix]
basename [string] [suffx] (功能描述: basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
选项:
suffix 为后缀,如果suffix被指定了,basename 会将 pathname 或 string 中的 suffix 去掉。
应用实例
案例1:请返回 /home/aa/test.txt 的"test.txt" 部分
basename /home/aaa/test.txt
dirname 基本语法
功能:返回完整路径最后 / 的前面的部分,常用于返回路径部分
dirmame文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分) )
应用实例
案例1:请返回 /home/aaa/test.txt 的 /home/aaa
dirname /home/aa/test.txt
17.12.3自定义函数
基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
调用直接写函数名: funname [值]
应用实例
案例1:计算输入两个参数的和(动态的获取),getSum
代码
#!/bin/bash
#案例1:计算输入两个参数的和(动态的获取),getSum
#定义函数 getSum
function getSum() {
SUM=$[$n1+$n2]
echo "和是=$SUM"
}
#输入两个值
read -p "请输入一个数n1=" n1
read-p "请输入一个数 n2=" n2
#调用自定义函数
getSum $n1 $n2
17.13Shell编程综合案例
17.13.1需求分析
1) 每天凌晨 2:30 备份 数据库 hspedu到 /data/backup/db
2) 备份开始和备份结束能够给出相应的提示信息
3) 备份后的文件要求以备份时间为文件名,并打包成.tar.gz 的形式,比如: 2021-03-12_230201.tar.gz
4) 在备份的同时,检查是否有10天前备份的数据库文件,如果有就将其删除。
5) 画一个思路分析图
17.13.2 代码 /usr/sbin/mysql_db.backup.sh
#备份目录
BACKUP=/data/backup/db
#当前时间
DATETIME=$(date +%Y-%m-%d_ %H%M%S)
echo $DATETIME
#数据库的地址
HOST=localhost
#数据库用户名
DB_USER=root
#数据库密码
DB_PW=hspedu100
#备份的数据库名
DATABASE=hspedu
#创建备份目录,如果不存在,就创建
[ !-d "${BACKUP}/${DATETIME}" ] && mkdir -p "${BACKUP}/${DATETIME}"
#备份数据库
mysqldump -u${DB_USER} -p${DB_PW} --host=${HOST} -q -R --databases ${DATABASE} | gzip > ${BACKUP}/${DATETIME }/$DATETIME.sql.gz
#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应的备份目录
rm -rf ${BACKUP}/${DATETIME}
#删除10天前的备份文件
find ${BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf{}\;
echo "备份数据库${DATABASE} 成功~"
分类:
Linux
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器