Linux shell笔记
由于工作的需要，越来越多的接触到linux系统。最近看了《Linux与Unix Shell》这本书，安装书的章节整理了一些自己认为比较重要的命令，方便以后查阅。
No.001 文件安全与权限
1. umask 决定了新建文件的权限
2. 软链接(符号链接) ln -s source_path target_path
No.002 find和xargs
1. find pathname -options [-print -exec -ok]
其中exec参数的命令格式： 'command-' {} \; 注意必须包含【{} \;】
-perm 按权限来查找 ex. find . -perm 755 -print
-mtime 按修改时间来查找 ex. find / -mtime -5 -print 更改时间5天以内
find / -mtime +5 -print 更改时间5天以前
2. xargs与-exec和-ok类似，但是限制更少，也更快
3种参数的命令：find . -name "*.c" -exec wc -l {} \;
find . -name "*.c" -ok wc -l {} \; 每次执行命令前有提示
find . -name "*.c" | xargs wc -l
No.003 后台执行命令
1. [crontab] [at] [&] [nohup]四种
No.004 文件名置换
1. 列出隐藏文件 ex. ls .*
No.005 shell输入与输出
1. echo输出时加上 -n 参数不换行， ex. echo -n "aaaa"
2. tee 命令可以同时输出到屏幕和文件中 ex. ls | tee file.out
3. 标准输入 0 标准输出 1 标准错误 2
4. 将标准输出和标准错误输入到一个文件 ex. command >file.out 2>&1
No.006 命令执行顺序
1. 命令1 && 命令2 命令1执行成功后才会执行命令2
2. 命令1 || 命令2 命令1执行失败后才会执行命令2
No.007 正则表达式
1. 正则表达式元字符及含义
^ 只匹配行首
$ 只匹配行尾
* 匹配0次或多次
[] 匹配[]内字符
\ 转义符
. 匹配任意一个字符
pattern\{n\} 匹配pattern出现的次数，n次
pattern\{n, \} 同上，最少n次
pattern\{n, m\} 同上，次数在n与m之间
No.008 grep
1. grep 主要选项及其含义
-c 只输出匹配行的行数
-i 不区分大小写
-h 查询多文件时不显示文件名
-l 查询多文件时只输出包含匹配字符的文件名
-n 显示匹配行及行号
-s 不显示不存在或无匹配文本的错误信息
-v 显示不包含匹配文本的所有行
2. 查询空行 grep '^$' filename
3. 类名及等价的正则表达式
[[:upper:]] = [A-Z]
[[:lower:]] = [a-z]
[[:digit:]] = [0-9]
[[:alnum:]] = [0-9a-zA-Z]
[[:space:]] = 空格或tab键
[[:alpha:]] = [a-zA-Z]
No.009 AWK
# awk的主要作用在于将文本分成各个区域，便于分别进行处理
1. awk -F指定分隔符，-f指定awk脚本
ex. awk -F: 'commands' input-file(s)
ex. awk -f awk-script input-file(s)
2. awk 分隔出的域用$1,$2...$n来表示，其中$0表示所有域
3. awk 条件操作符 <, <=, >=, ==, !=
~ 匹配正则表达式 !~ 不匹配正则表达式
4. awk 内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行-F选项
NF 记录的域个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
ex. awk '{print NF,NR,$0} END{print FILENAME}' input-file
5. awk 字符串函数
gsub, index, length, match, split, sprint, sub, substr, substr
6. awk 中的printf函数可以控制格式化输出
7. awk 的循环结构 For (element in array) print array[element]
No.010 sed
# sed的主要作用在于过滤和查找文本中的特定内容
1. sed 命令格式： sed [options] sed-command input-file
sed [options] -f sed-script input-file
No.011 合并和分隔文件
1. sort, uniq, join, cut, paste, split
No.012 tr的用法
1. 去除oops.txt中的重复字符 tr -s "[a-z]" < oops.txt
2. 去除oops.txt中的空行 tr -s "[\n]" < oops.txt
3. oops.txt中小写转大写 tr -s "[a-z]" "[A-Z]" < oops.txt
No.013 登录环境
1. /etc/passwd 保存所有账号的基本信息(不包括密码)
2. /etc/profile 基本的配置信息，登录时读取此文件
3. $HOME/*profile 各个用户的profile文件，会覆盖系统的profile文件
4. $HOME/*logout logout(键入命令exit时)是执行的脚本
No.014 环境和shell变量
1. shell变量的设置方式
Variable-name=value 设置实际值到variable-name
Variable-name+value 如果设置了variable-name，则重设其值
Variable-name:?value 如果未设置variable-name，显示未定义用户错误信息
Variable-name?value 如果未设置variable-name，显示系统错误信息
Variable-name:=value 如果未设置variable-name，设置其值
Variable-name:-value 如果未设置variable-name，就用value，但是不设置variable-name
2. 设置只读变量 readonly variable-name
3. export variable-name 可以将变量导入到子shell中
4. shell脚本的参数 $0表示脚本名字，$1表示第一个参数......$9表示第九个参数
5. 特定shell变量
$# 参数个数
$* 用一个字符串显示所有参数
$$ 脚本运行的当前进程ID
$! 后台运行的最后一个进程的进程ID
$@ 与$*相同，每个参数作为独立的字符串
$- 显示shell的当前选项，与set命令相同
$? 显示shell命令的退出状态，0表示无错误，其他表示有错
No.015 引号
1. 双引号("") 其中引用的变量会替换为变量值。比如：
[wangyb@localhost bash]$ STR="Hello world"
[wangyb@localhost bash]$ echo "$STR"
Hello world
2. 单引号('') 忽略变量和其他特殊字符，单引号内任何内容都当成字符串显示。比如：
[wangyb@localhost bash]$ STR="Hello world"
[wangyb@localhost bash]$ echo '$STR'
$STR
3. 单引号和双引号同时使用时，谁在外面谁起作用。比如
[wangyb@localhost bash]$ echo "'$STR'"
'Hello world'
[wangyb@localhost bash]$ echo '"$STR"'
"$STR"
4. 反引号(``) 反引号中的内容被当做命令来执行。比如
[wangyb@localhost bash]$ VAR=`date`
[wangyb@localhos bash]$ echo $VAR
Thu Dec 22 22:08:07 JST 2011
5. 转义符(\)
No.016 Shell脚本介绍
1. 脚本的第一行一般以 #!/bin/bash 开始
2. 给脚本加入执行权限后就可以运行脚本了
#No.017 条件测试
1. 测试语法 test condition 或者 [ condition ] 使用方括号是注意在condition两边加上空格
2. 文件状态测试
-d 目录 -s 文件长度大于0
-f 正规文件 -w 可写
-L 符号连接 -u 文件有suid位设置
-r 可读 -x 可执行
例子如下：测试是否为目录，也可以用 test -d bash.sh 来代替方括号
[root@localhost bash]# [ -d bash.sh ]
[root@localhost bash]# echo $?
1
[root@localhost bash]# [ -d . ]
[root@localhost bash]# echo $?
0
3. 逻辑与 -a 逻辑或 -o 逻辑否 ! 例子如下：
[root@localhost bash]# [ -d bash.sh -a -d . ]
[root@localhost bash]# echo $?
1
[root@localhost bash]# [ -d bash.sh -o -d . ]
[root@localhost bash]# echo $?
0
[root@localhost bash]# [ ! -d bash.sh -a -d . ]
[root@localhost bash]# echo $?
0
[root@localhost bash]# [ ! -d bash.sh -a ! -d . ]
[root@localhost bash]# echo $?
1
4. 字符串测试 [ string1 string_operator string2 ] 或者 [ string_operator string ]
string_operator可为：= 两个字符串相等
!= 两个字符串不等
-z 空串
-n 非空串
5. 数值测试 [ "number1" num_operator "number2" ]
num_operator可为： -eq 数值相等
-ne 数值不等
-gt number1 > number2
-lt number1 < number2
-le number1 <= number2
-ge number1 >= number2
例子： [root@localhost bash]# [ "100" -gt "101" ]
[root@localhost bash]# echo $?
1
[root@localhost bash]# [ "100" -lt "101" ]
[root@localhost bash]# echo $?
0
6. expr语法 expr arg1 operator arg2
例子：变量自增
[root@localhost bash]# COUNT=1
[root@localhost bash]# echo $COUNT
1
[root@localhost bash]# COUNT=`expr $COUNT + 1`
[root@localhost bash]# echo $COUNT
2
No.018 控制流结构
1. if语句格式
if 条件1
then
执行命令1
elif 条件2
then
执行命令2
else
执行命令3
fi
2. case语句格式
case 值 in
模式1)
命令1
;;
模式2)
命令2
;;
......
easc
其中的“模式”可以是 *(任意字符), ?(任意单字符), [..](范围内任意字符)
“模式”中还可以是使用 | (比如 str1|str2 表示str1和str2都可以)
3. for语句格式
for 变量名 in 列表
do
命令1
命令2 ......
done
4. until语句格式
until 条件
命令1
......
done
一直执行至条件为真时才结束，至少执行一次
5. while语句格式
while 条件
命令1
......
done
6. 利用IFS来改变读取内容的分隔符
7. 利用break和continue控制循环的执行
No.019 Shell函数
1. shell函数格式
函数名 ()
{
命令1
......
}
或者
function 函数名 ()
{
命令1
......
}
2. 引用其他脚本中函数 . /pathname/funcfile (<点><空格><斜线><文件完整路径名>或者<点><空格><文件相对路径名>)
3. 函数中通过 $1, $2,......$9来获取参数
No.020 向脚本传递参数
1. 使用shift依次获取各个参数，比如
while [ $# -ne 0 ]
do
echo $1 # 通过shift，$1将依次表示各个参数
shift
done
2. getopts语法格式 getopts operation-string variable。
No.021 屏幕输出
1. tput 控制屏幕上的字符输出，比如加粗字符，隐藏光标等等
2. 改变字符颜色的方法，比如
echo "<CTRL-V><ESCAPE>[40;32m" 设置背景黑色(40), 字符绿色(32)
No.022 屏幕输入
1. 输入时进行validation check
“送进的是垃圾，出来的肯定是垃圾”
No.023 调试脚本
1. shell不会对错误进行精确定位，当shell打印错误后，需要观察报错的整个代码段
2. 在脚本中利用set命令辅助调试
set -n 读命令但不执行
set -v 显示读取的所有行
set -x 显示所有命令及参数
- 表示打开； + 表示关闭；set +x 表示关闭显示所有命令及参数
No.024 shell 嵌入命令
1. set 命令在脚本中设置脚本的运行参数
2. times命令打印shell消耗时间和运行命令消耗时间 ？？？
3. type 命令查询命令是否有效及命令类型
4. ulimit 命令设置运行在shell上的显示限制
5. wait 命令是父进程等待子进程完成
No.025 深入讨论<<
1. 创建文本 ex. cat >> file <<end
> (输入内容)
> end
(输入内容)将被追加到file中
No.026 shell工具
1. 用日期做文件名，ex. $ Myfile=`date +%Y%m%d%H%M%S`
$ touch $Myfile
2. 脚本中的临时文件名中加入进程号，可以保证文件名唯一，并在脚本结束时删掉文件
ex. TmpFile1=/tmp/tempfile1.$$
TmpFile2=/tmp/tempfile2.$$
rm /tmp/*.$$
3. 常用信号
信号 信号名 含义
1 SIGHUP 挂起或父进程被杀死
2 SIGINT 来自键盘的中断信号，通常是<CTRL-C>
3 SIGQUIT 从键盘退出
9 SIGKILL 无条件终止
11 SIGSEGV 段(内存)冲突
15 SIGTERM 软件终止(缺省杀进程信号)
4. trap 捕获信号 语法 trap "do-something" signal(s)
ex. trap "" 2 3 忽略信号2和信号3，用户不能终止该脚本
trap "commands" 2 3 如果捕捉到信号2和信号3，就执行相应的commands
trap 2 3 复位信号2和3，用户可以终止该脚本
5. eval 对变量进行2次扫描 比如：
[wangyb@localhost bash]$ VAR1="cat a.sh"
[wangyb@localhost bash]$ echo $VAR1
cat a.sh
[wangyb@localhost bash]$ eval echo $VAR1
cat a.sh
[wangyb@localhost bash]$ eval $VAR1
#!/bin/bash
TMP='HELLO'
sleep 2
times
6. 获取命令行的最后一个参数： ex. $(eval echo \$$#)
7. logger 命令记录日志
No.027 几个脚本例子
# 作者常用的几个脚本
No.028 运行级别脚本
1. 确定当前的运行级别：who -r
2. 运行级别含义
运行级别0 启动和停止整个系统
运行级别1 单用户或管理模式
运行级别2 多用户模式；部分网络服务被启动。
运行级别3 正常操作运行模式，启动所有的网络服务
运行级别4 用户定义的模式，可以使用该级别来定制所需要运行的服务
运行级别5 有些Unix操作系统变体叫起作为缺省X-windows模式
运行级别6 重启动
No.029 cgi脚本
# 感觉现在应该不会有人用bash来开发web程序了吧
No.030 常用shell命令
1. basename : basename path
2. cat : cat optiones file
-v 显示控制字符
3. compress : compress options files
-v 显示压缩结果
4. cp : cp options file1 file2
-i 覆盖文件之前提示用户确认
-p 保留权限模式和更改时间
-r 拷贝相应的目录及其子目录
5. diff : diff options file1 file2
-c 按照标准个数输出
-I 忽略大小写
6. dircmp : dircmp options directory1 directory2
-s 不显示相同的文件
7. dirname : dirname pathname
8. du : du options directory
-a 显示每个文件的大小，不仅是整个目录所占用的空间
-s 只显示总计
9. file : file filename
10. fuser : fuser options file
-k 杀死所有访问该文件或文件系统的进程
-u 显示访问该文件或文件系统的进程
11. head : head -number files
12. logname : logname (显示当前使用的登陆用户名)
13. mkdir : mkdir options directory
-m 在创建目录时按照该选项的值设置访问权限
14. more : more options files
-c 不滚屏，而是通过覆盖来换页
-d 在分页处显示提示
-n 每屏显示n行
15. nl : nl options file
-I 行号每次增加n;缺省为1
-p 在新的一页不重新计数
16. printf : printf format arguments
17. pwd : pwd
18. rm : rm options files
-i 在删除文件之前给出提示(安全模式)
-r 删除目录
19. rmdir : rmdir options directory
-p 如果相应的目录为空目录，则删除该目录
20. script : script option file
-a 将输出附加在文件末尾
21. shutdown : shutdown now
22. sleep : sleep number(秒数)
23. strings : strings filename (查看二进制文件中的文本)
24. touch : touch options filename
-t MMDDhhmm 创建一个具有相应月，日，时分时间戳的文件
25. tty : tty 显示所连接的设备或终端
26. uname : uname options
-a 显示所有信息
-s 系统名
-v 只显示操作系统版本或其发布日期
27. uncompress : uncompress files
28. wait : wait processID
29. wc : wc options files
-c 显示字符数
-l 显示行数
-w 显示单词数
30. whereis : whereis command_name
31. who : who options
-a 显示所有的结果
-r 显示当前的运行级别
-s 列出用户名及时间域
