《Linux.Shell编程从入门到精通》读书笔记
- 以 #!解析器名称 开头，表示选择哪个解释器解释shell脚本
- source命令
- export命令
- env命令
- unset命令
第二章 shell编程基础 - 函数传递
- 标准输入输出符号
第三章 编程的基本元素 - 获取命令执行返回值
- \(((数值计算)) 获取数值计算结果 如：\)((100 - 2*100/400))
- 替换运算符
- 模式匹配运算符
- shift命令可以截取参数列表最左端的一个参数
- type命令判断被执行命令的来源(别名、关键字、函数、内置命令、外部命令)
- test命令用于评估表达式,返回零(true)或者非零(false)
- 逻辑运算符
- 运算符号
- 执行反单引号(`)之间的命令,引用结果作为字符串
- getopt命令用于分析命令标志和参数
第四章 正则表达式 - 元字符
- POSIX字符集
- 后向引用
- 交替、分组
第五章 基本文本处理 - 排序文本
- 文本去重
- 统计文本
- 打印和格式化输出
- 提取文本开头和结尾
- 字段处理
- 文本替换
- Linux下的配置文件
第六章 文件和文件系统 - 文件
- 文件系统
第七章 流编辑器sed - 工作地址范围
- 命令
- [:特殊字符:]用于匹配特俗字符
第八章 文本处理利器awk - awk代码结构
- 内建变量
- 局部变量
- 字符串函数
第九章 进程 - 进程管理命令
- init进程
- 调度系统任务
- 加载proc虚拟文件系统:mount -t proc proc /proc
第十章 OpenSSH - 安装openssh
- 使用SSH登录远程主机(要求远程主机正在运行sshd)
第十一章 实用程序(日志处理程序、系统监控程序) - 日志清理程序
- 系统监控程序
第一个Shell程序
以 #!解析器名称 开头，表示选择哪个解释器解释shell脚本
source命令
使用source执行shell脚本时，不会创建子进程，而在父进程中直接执行。
当需要在程序中修改当前shell本身的环境变量时，使用source命令
source命令也可用来读入包含函数的文件
使用方法：source fileName 或者 . fileName
export命令
export命令用于设置或显示环境变量
使用方法：export [-fnp] [变量名称]=[变量设置值]
-f 代表[变量名称]中为函数名称
-n 删除指定的变量。变量实际上并没有删除，只是不会输出到后续指令的执行环境中
-p 列出所有的shell赋予程序
env命令
env命令用于临时改变环境变量值
unset命令
从当前shell删除变量或函数
shell编程基础
函数传递
$0 $1 \(2 位置参数 \)* 以一个单字符串显示所有向脚本传递的参数
\(@ 所有向脚本传递的参数 \)# 传入函数的参数个数
\[ 脚本运行的当前进程id号
$! 后台运行的最后一个进程id号
$? 显示最后命令的退出状态
$- 显示shell使用的当前选项
> 标准输入输出符号
0<:标准输入
1> 或者 >:重定向标准输出
2>:重定向标准错误
&>:标准输出和标准错误
# 编程的基本元素
> 获取命令执行返回值
1. $(命令) 如：$(date +%Y%m%d%H%M%S)
2. `命令` 如：`echo 123`
> $((数值计算)) 获取数值计算结果 如：$((100 - 2*100/400))
> 替换运算符
1. ${varname:-word}
如果varname存在且非null,则返回varname的值;否则，返回word
2. ${varname:=word}
如果varname存在且非null,则返回varname的值;否则，将varname的值设置为word,然后返回word
3. ${varname:?message}
如果varname存在且非null,则返回varname的值;否则打印message,并退出当前脚本
4. ${varname:+word}
如果varname存在且非null,则返回word;否则返回null
> 模式匹配运算符
1. ${varname#pattern}
如果模式匹配变量取值的开头处,则删除匹配的最短部分,并返回剩下部分
2. ${varname##pattern}
如果模式匹配变量取值的开头处,则删除匹配的最长部分,并返回剩下部分
3. ${varname%pattern}
如果模式匹配变量取值的结尾处,则删除匹配的最短部分,并返回剩下部分
4. ${varname%%pattern}
如果模式匹配变量取值的结尾处,则删除匹配的最长部分,并返回剩下部分
5. ${varname/pattern/string} ${varname//pattern/string}
将varname中匹配模式的最长部分替换为string
第一种格式中,只有匹配的第一部分被替换，第二种格式中,varname中所有匹配的部分都被替换
如果模式以#开头,则必须匹配varname的开头,如果模式以%开头,则必须匹配varname的结尾
> shift命令可以截取参数列表最左端的一个参数
> type命令判断被执行命令的来源(别名、关键字、函数、内置命令、外部命令)
> test命令用于评估表达式,返回零(true)或者非零(false)
> 逻辑运算符
1. 关于文件与目录的侦测逻辑卷标！
-f 常用！侦测『文件』是否存在 eg: if [ -f filename ]
-d 常用！侦测『目录』是否存在
-b 侦测是否为一个『 block 文件』
-c 侦测是否为一个『 character 文件』
-S 侦测是否为一个『 socket 标签文件』
-L 侦测是否为一个『 symbolic link 的文件』
-e 侦测『某个东西』是否存在！
2. 关于程序的逻辑卷标！
-G 侦测是否由 GID 所执行的程序所拥有
-O 侦测是否由 UID 所执行的程序所拥有
-p 侦测是否为程序间传送信息的 name pipe 或是 FIFO
3. 关于文件的属性侦测！
-r 侦测是否为可读的属性
-w 侦测是否为可以写入的属性
-x 侦测是否为可执行的属性
-s 侦测是否为『非空白文件』
-u 侦测是否具有『 SUID 』的属性
-g 侦测是否具有『 SGID 』的属性
-k 侦测是否具有『 sticky bit 』的属性
4. 两个文件之间的判断与比较 ；例如[ test file1 -nt file2 ]
-nt 第一个文件比第二个文件新
-ot 第一个文件比第二个文件旧
-ef 第一个文件与第二个文件为同一个文件（ link 之类的文件）
5. 逻辑的『和(and)』『或(or)』
&& 逻辑的 AND 的意思
|| 逻辑的 OR 的意思
> 运算符号
= 等于 应用于：整型或字符串比较 如果在[] 中，只能是字符串
!= 不等于 应用于：整型或字符串比较 如果在[] 中，只能是字符串
< 小于 应用于：整型比较 在[] 中，不能使用 表示字符串
> 大于 应用于：整型比较 在[] 中，不能使用 表示字符串
-eq 等于 应用于：整型比较
-ne 不等于 应用于：整型比较
-lt 小于 应用于：整型比较
-gt 大于 应用于：整型比较
-le 小于或等于 应用于：整型比较
-ge 大于或等于 应用于：整型比较
-a 双方都成立（and） 逻辑表达式 –a 逻辑表达式
-o 单方成立（or） 逻辑表达式 –o 逻辑表达式
-z 空字符串
-n 非空字符串
> 执行反单引号(`)之间的命令,引用结果作为字符串
> getopt命令用于分析命令标志和参数
# 正则表达式
> 元字符
^ 锁定行或字符串的开始
$ 锁定行或字符串的结尾
当^和$结合使用时,意味着模式必须匹配整个串
. 匹配除了换行符以外的任意字符
[...] 方括号表达式,匹配括号内任意一个字符;如果^符号位于方括号的开始,则不匹配方括号中的任意字符
\ 转义字符,用于打开或关闭后续字符的特殊含义
x{m,n} 区间表达式,匹配x字符出现的次数区间
? 匹配前面正则表达式的零个或一个实例
+ 匹配前面正则表达式的一个或多个实例
* 匹配零个或多个前面字符
| 匹配前面或后面的正则表达式
() 匹配括号括起来的正则表达式
\b 单词锁定符,代表单词的开头和结尾,即单词的分界处
\B 匹配两个单词组成字符间的空字符串
\< \> 分别匹配单词开头和单词结尾
\n 换行符
\d 匹配一位数字
\w 匹配文字和数字字符
\W 匹配一个或多个非单词字符
> POSIX字符集
[:alnum:] 数字字符
[:alpha:] 字母字符
[:blank:] 空格与制表符
[:cntrl:] 控制字符
[:digit:] 数字字符
[:graph:] 非空格
[:lower:] 小写字母
[:print:] 可显示的字符
[:punct:] 标点符号字符
[:space:] 空白(whitespace)字符
[:upper:] 大写字母
[:xdigit:] 十六进制数字
[. .] 排序符号，如[.cn.]表示cn字符序列，而单独的c和n都不行
[= =] 等价字符集
> 后向引用：匹配之前正则表达式使用\(和\)括起来选定之后引用的模式,使用\1~\9来引用选定的模式
如：\(go\).*\1 匹配一行中前后出现两个go
> 交替、分组
交替|：在不同序列之间用管道符号隔开
分组()：让元字符修饰前置字符串
如：(man|woman)+ 匹配一个或多个man或者woman字符串
# 基本文本处理
> 排序文本
sort命令用于排序文件,对已排序的文件进行合并,并检查文件以确定它们是否已排序
> 文本去重
uniq命令用于文本去重(在使用uniq命令前，先使用sort命令,使所有重复行相邻)
> 统计文本
wc命令用于统计文本行数、字数以及字符数
> 打印和格式化输出
pr命令用于将文本转换成适合打印的文件
fmt命令用于编排文本文件
fold命令限制文本宽度
> 提取文本开头和结尾
head命令提取文件开头
tail命令提取文件结尾
> 字段处理
cut命令用于从一个文本文件或者文本流中提取文本列
join命令用于根据指定栏位,找到两个文件中指定栏位内容相同的行,将它们合并,并根据要求的格式输出内容
> 文本替换
tr命令用于替换字符
> Linux下的配置文件
/etc/group 用户组定义
/etc/passwd 用户信息定义
/etc/inittab init的配置文件,在Linux启动时扮演重要角色
/etc/shadow 用户密码的存放地址
/etc/crontab cron(定期执行命令的程序)的配置文件
/etc/fstab 文件系统信息
# 文件和文件系统
> 文件
ls命令用于列出文件
chown命令用于改变文件的所有者
chgrp命令用于改变文件的用户组
umask命令用于指定哪些权限在新文件的默认权限中被删除
chmod命令用于修改文件权限
touch命令更新文件的访问和修改时间
find命令用于寻找文件
xargs命令用于遍历处理文件
comm命令用于比较两个已排序文件之间的差异
diff命令用于比较两个文件之间的差异
> 文件系统
fdisk命令用于查看/修改系统的分区表
mkfs命令用于创建文件系统
mount命令用于加载文件系统到指定的加载点
umount命令用于卸载已经加载的文件系统
df命令用于显示当前挂载情况
# 流编辑器(sed)
> 工作地址范围
1. 行地址 如：删除第一行 sed -e '1d' filePath
2. 行范围地址 如：打印1到5行 sed -n -e '1,5p' filePath
3. 正则表达式地址 如：打印所有以开头的注释行 sed -n -e '/^#/p' filePath
4. 两个用逗号分开的正则表达式之间的地址 如：打印从包含'BEGIN'的行开始,并且包含'END'的行结束的文本块 sed -n -e '/BEGIN/,/END/p' filePath
> 命令
1. d 删除
2. p 打印
3. s/// 替换
4. = 打印行号
5. i 插入
6. a 追加
> [:特殊字符:]用于匹配特俗字符
# 文本处理利器(awk)
> awk代码结构
1. 处理输入前的初始化
BEGIN{
....
}
2. 处理输入过程
[ 条件 ] {
...
}
3. 处理完所有输入后的扫尾工作
END{
...
}
> 内建变量
FILENAME 当前输入文件的名称
FS 字段分隔符(支持正则表达式)，默认为空格
OFS 输出字段分隔字符，默认为空格
ORS 输出记录分隔字符，默认为\n
RS 输入记录分隔字符
NF 当前记录的字段数
NR 在工作中的记录数
FNR 当前输入文件的记录数
> 局部变量:列在函数参数列表中并且在字首前置一些额外的空白 如: add(x,y, sum) {}
> 字符串函数
sub(/reg/, newsubstr, str) 只替换第一个匹配字符串
gsub(/reg/, newsubstr, str) 将字符串str中所有符号/reg/正则的子串替换为字符串newsubstr
index(str, substr) 返回子串substr在串str中的索引
length(str) 返回字符串的长度
match(str, /reg/) 如果在串str中找到正则/reg/匹配的串，则返回出现的位置，未找到则返回0
split(str, array, sep) 使用分隔符sep把字符串分解成数组array
substr(str, position[, length]) 返回str中从position开始的length个字符
toupper(str) 对字符进行大小写转换
sprintf("format", expr) 对expr使用printf格式说明
# 进程
> 进程管理命令
fork函数用于创建进程
ps命令用于查看系统正在运行的进程
top命令用于查看系统一段时间进程的动态信息
pstree命令用于打印进程树形结构
Ctrl+C快捷键用于中断前台进程
Ctrl+\快捷键用于杀死前台进程
Ctrl+Z快捷键用于挂起前台进程
bg命令用于将挂起进程转换为后台进程
fg命令用于将后台进程转换为前台进程
jobs命令用于显示当前shell的进程状况
kill命令用于向指定进程发送信号
init命令用于进程初始化工具,可切换运行等级
> init进程
1. /etc/inittab init程序读取的配置文件
基本格式为 id:runlevels:action:process
- id为1~2个字符，配置行的唯一标识，在配置文件中不能重复
- runlevels(运行等级)取值如下
- 等级0表示：表示关机（千万不能把initdefault 设置为0）
- 等级1表示：单用户模式
- 等级2表示：无网络连接的多用户命令行模式
- 等级3表示：有网络连接的多用户命令行模式
- 等级4表示：不可用
- 等级5表示：带图形界面的多用户模式
- 等级6表示：重新启动（千万不要把initdefault 设置为6）
- action取值如下
- respawn 启动并监视第4项指定的process，若process终止则重启它
- wait 执行第4项指定的process，并等待它执行完毕
- once 执行第4项指定的process
- boot 不论在哪个执行等级，系统启动时都会运行第4项指定的process
- bootwait 不论在哪个执行等级，系统启动时都会运行第4项指定的process，且一直等它执行完备
- off 关闭任何动作，相当于忽略该配置行
- ondemand 进入ondemand执行等级时，执行第4项指定的process
- initdefault 系统启动后进入的执行等级，该行不需要指定process
- sysinit 不论在哪个执行等级，系统会在执行boot 及bootwait之前执行第4项指定的process
- powerwait 当系统的供电不足时执行第4项指定的 process，且一直等它执行完毕
- powerokwait 当系统的供电恢复正常时执行第4项指定的process，且一直等它执行完毕
- powerfailnow 当系统的供电严重不足时执行第4项指定的process
- ctrlaltdel 用户按下【Ctrl+Alt+Del】时执行的操作
- kbrequest 当用户按下特殊的组合键时执行第4项指定的process，此组合键需在keymaps文件定义
- process为所要执行的shell命令。任何合法的shell语法均适用于该字段。
2. /etc/rc.d/rcX.d文件(X代表运行等级)含有各个运行等级服务启动和终止配置
/etc/rc.d/init.d目录下存放着对应运行等级的服务脚本
3. 修改配置/etc/inittab后马上生效：kill -1 1 或者 init q
> 调度系统任务
1. crontab命令用于调度重复性的任务
控制访问的文件：cron.allow、cron.deny
2. at命令用于调度只执行一次的任务
控制访问的文件：at.deny
> 加载proc虚拟文件系统:mount -t proc proc /proc
# SSH
> 安装openssh
- 替换阿里云的源
echo "http://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories
echo "http://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories
- 同步时间
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
- 更新源、安装openssh 并修改配置文件、生成key、启动sshd服务
apk update && \
apk add --no-cache openssh-server tzdata && \
sed -i "s/#PermitRootLogin.*/PermitRootLogin yes/g" /etc/ssh/sshd_config && \
ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key && \
ssh-keygen -t ecdsa -P "" -f /etc/ssh/ssh_host_ecdsa_key && \
ssh-keygen -t ed25519 -P "" -f /etc/ssh/ssh_host_ed25519_key && \
/usr/sbin/sshd -D
> 使用SSH登录远程主机(要求远程主机正在运行sshd)
- 基于口令的登录方法
ssh -l 登录账号 远程主机
- 基于密钥对的登录方法
- 生成密钥对:ssh-keygen -d
- 把公钥上传到服务器上（~/.ssh/id_dsa.pub、~/.ssh/authorized_keys）
- 测试自动登录：ssh [登录账号@]远程主机 (需要输入第一步输入的passphrase,若想不输入passphrase可以考虑ssh-agent)
# 实用程序
> 日志清理程序
把以下代码保存为log_clean.sh文件中即可使用
内含操作:备份重要的日志、限制日志目录大小、清理老旧日志
```
# maximum log size
alarmrate=500
# the max size file can reach
file_max_size=5
# this is the directory where fresh logs are originally written
working_dir=/mnt/soho_storage/log
# this is the frequency our program runs
SLEEPTIME=5
# append year.month.day and timestamp to log filename
filenameConvert()
{
timestamp=$(date +%Y%m%d%H%M%S)
timestamp=`echo $timestamp`
RETVAL=$1.$timestamp
}
# search dir to fetch the oldest log
searchdir()
{
oldestlog=`ls -rt | head -n 1 | awk '{print $1}'`
}
# this function clean old logs under working dir if it reaches it's size limitation
clear_old_log_under_working_dir()
{
cd $working_dir
while true
do
logsize=`du -ms $working_dir | awk '{print $1}'`
if [ $logsize -gt $alarmrate ]
then
searchdir
rm -rf $oldestlog
else
break;
fi
done
}
# this is the main process of our log backup activity
backuplog_process()
{
cd $log_ram_dir
for i in *
do
file_size=`du -m $i | awk '{print $1}'`
# need to backup log file
case $i in access.log | error.log | apcupsd.events | soho.log)
if [ ! -d $working_dir ]
then
mkdir -p $working_dir
fi
if [ file_size -gt file_max_size ]
then
filenameConvert $i
cp $log_ram_dir/$i $working_dir/$RETVAL
echo "" > $log_ram_dir/$i
clear_old_log_under_working_dir
fi
;;
*)
if [ file_size -gt file_max_size ]
then
echo "" > $log_ram_dir/$i
fi
done
}
while true
do
backuplog_process
sleep $SLEEPTIME
done
```
> 系统监控程序
把以下代码保存为system_monitor.sh文件中即可使用
内含操作:监控内存、硬盘、CPU、进程,形成状态报告
```
# maximum ratio of memory usage
mem_quota=80
# hard disk
hd_path=/dev/sda1
# maximum ratio of hard disk usage
hd_quota=80
# maximum ratio of cpu usage
cpu_quota=80
# time gap between two times fetching cpu status
time_gap=60
# generate report every 10 minutes
runtime_gap=60
# fetch the ratio of memory usage
# @return 1: if larger than $mem_quota
0: if less than $mem_quota
watch_memory()
{
mem_total=`cat /proc/meminfo | grep MemTotal | awk '{print $2}'`
mem_free=`cat /proc/meminfo | grep MemFree | awk '{print $2}'`
mem_usage=$((100-mem_free*100/mem_total))
if [ $mem_usage -gt $mem_quota ]
then
mem_message="ALARM!! The memory usage is $mem_usage%!!"
return 1
else
return 0
fi
}
# fetch the top 10 most wasting memory process
proc_memory_top10()
{
mem_busiest=`ps aux | sort -nk 4r | head -n 11`
}
# fetch the ratio of hard disk usage
# @return 1: if larger than $hd_quota
0: if less than $hd_quota
watch_hd()
{
hd_usage=`df | grep $hd_path | awk '{print $5}' | sed 's/%//g'`
if [ $hd_usage -gt $hd_quota ]
then
hd_message="ALARM!! The hard disk usage is $hd_usage%!!"
return 1
else
return 0
fi
}
# fetch cpu status at a time point
# format used unused
get_cpu_info()
{
cat /proc/stat | grep -i "^cpu[0-9]\+" | awk '{used+=$2+$3+$4;unused+=$5+$6+$7+$8} END{print used,unused}'
}
# fetch the ratio of cpu usage
# fetch cpu stat two times, with time gap, then calculate the average status
# @return 1: if larger than $cpu_quota
0: if less than $cpu_quota
watch_cpu()
{
time_point_1=`get_cpu_info`
sleep $time_gap
time_point_2=`get_cpu_info`
cpu_usage=`echo $time_point_1 $time_point_2 | awk '{used=$3-$1;total+=$3+$4-$2-$1}';print $used*100/total`
if [ $cpu_usage -gt $cpu_quota ]
then
cpu_message="ALARM!! The cpu usage is over $cpu_usage%!!"
return 1
else
return 0
fi
}
# fetch the top 10 busiest processes
proc_cpu_top10()
{
proc_busiest=`ps aux | sort -nk 3r | head -n 11`
}
while true
do
# report content
report=""
# memory monitor
if [ `watch_memory` -eq 1 ]
then
report=$report'\n'$mem_message
proc_memory_top10
report=$report'\n'$mem_busiest
fi
# hard disk monitor
if [ `watch_hd` -eq 1 ]
then
report=$report'\n'$hd_message
fi
# cpu monitor
if [ `watch_cpu` -eq 1 ]
then
report=$report'\n'$cpu_message
proc_cpu_top10
report=$report'\n'$proc_busiest
fi
# feedback report
if [ -n $report ]
then
# todo...
fi
# sleep time
sleep $((runtime_gap-time_gap))
done
```\]
只言片语任我说，提笔句句无需忖。落笔不知寄何人，唯有邀友共斟酌。
