Shell 编程
linux中shell变量$#,$@,$0,$1,$2的含义解释:
变量说明:
$$
Shell本身的PID（ProcessID）
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码（返回值）
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。
$@
所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1～$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…。
未完
http://hi.baidu.com/higkoo/item/d57fdbea71fb5b0d8d3ea83b
资源暂时不可用（Resource temporarily unavailable）
大早Hadoop的NameNode无法用hadoop用户登录，ssh –vvv 提示远程无Session资源。
用root登录进去查看hadoop用户的资源信息：
|
1
2
|
# su -m -c 'ulimit -a' hadoop su: 无法设置用户ID: 资源暂时不可用 |
按经验看就是hadoop用户开了太多线程，达到系统最大限制（默认1024）
|
1
2
|
# ps –eL | wc -l 2219 |
总线程数超过1024，有可能是线程满的问题。不过这台服务器已经调整过用户线程限制了，为何还会出现这个问题呢？
用户环境变量，/etc/profile.d/ulimit.sh ：
|
1
2
3
4
|
* soft nproc 10000 * hard nproc 10000 * soft nofile 1048576 * hard nofile 1048576 |
验证一下，结果还是设置无效：
|
1
2
|
# su -m -c 'ulimit -u' nobody 1024 |
最后确定是由于CentOS 6.4版本新增了限制配置 /etc/security/limits.d/90-nproc.conf ，以保证root用户无限制。此配置会覆盖主配置文件的设定：
|
1
2
3
4
5
6
|
# Default limit for number of user's processes to prevent # accidental fork bombs. # See rhbz #432903 for reasoning. * soft nproc 1024 root soft nproc unlimited |
OK，问题就此定位！
解决办法：删除 /etc/security/limits.d/90-nproc.conf 文件中1024那一行。
注意：不推荐删除此文件，一方面root无限制的配置丢了；另一方面如果此配置文件不存在，执行系统升级时可能又被写入；文件存在时，升级系统时，即使此文件需要更新，也不会被覆盖而是生成90-nproc.conf.rpmnew。
http://www.cnblogs.com/qq78292959/archive/2012/05/08/2490443.html
#####################################################
-d file 文件为目录为真
-s file 文件大小非0时为真
[ -f "somefile" ] ：判断是否是一个文件
[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] ：判断$var变量是否有值
[ "$a" = "$b" ] ：判断$a和$b是否相等
-r file 用户可读为真
-w file 用户可写为真
-x file 用户可执行为真
-f file 文件为正规文件为真
-d file 文件为目录为真
-c file 文件为字符特殊文件为真
-b file 文件为块特殊文件为真
-s file 文件大小非0时为真
-t file 当文件描述符(默认为1)指定的设备为终端时为真
////////////////////////////////////////////////////////////////////////////////////////
Shell基本语法:
像高级程序设计语言一样, Shell也提供说明和使用变量的功能.
对Shell来讲，所有变量的取值都是一个字串，Shell程序采用$var的
形式来引用名为var的变量的值。
Shell有以下几种基本类型的变量:
（1）Shell定义的环境变量:
Shell 在开始执行时就已经定义了一些和系统的工作环境有关的
变量，用户还可以重新定义这些变量，常用的Shell环境变量有:
HOME: 用于保存注册目录的完全路径名.
PATH: 用于保存用冒号分隔的目录路径名,Shell将按PATH变量
中给出的顺序搜索这些目录, 找到的第一个与命令名称一致的可执行
文件将被执行.
TERM: 终端的类型.
UID: 当前用户的识别字, 取值是由数位构成的字串.
PWD: 当前工作目录的绝对路径名，该变量的取值随cd命令的
使用而变化。
PS1: 主提示符, 在特权用户下, 默认的主提示符是#,在普通
用户下, 默认的主提示符是$.
PS2: 在Shell接收用户输入命令的过程中,如果用户在输入行
的末尾输入`\` 然后回车, 或者当用户按回车键时Shell判断出用户输
入的命令没有结束时, 就显示这个辅助提示符, 提示用户继续输入命
令的其余部分, 默认的辅助提示符是>。
（2）用户定义的变量：
用户可以按照下面的语法规则定义自己的变量:
变量名=变量值
要注意的一点是, 在定义变量时, 变量名前不应加符号$,在引用
变量的内容时则应在变量名前加$; 在给变量赋值时,等号两边一定不
能留空格, 若变量中本身就包含了空格，则整个字串都要用双引号括
起来.
在编写Shell程序时, 为了使变量名和命令名相区别,建议所有的
变量名都用大写字母来表示.
有时我们想要在说明一个变量并对它设置为一个特定值后就不在
改变它的值时，可以用下面的命令来保证一个变量的只读性：
readonly 变量名
在任何时候, 创建的变量都只是当前Shell的局部变量,所以不能
被Shell运行的其他命令或Shell程序所利用, 而export命令可以将一
个局部变量提供给Shell执行的其他命令使用, 其格式为:
export 变量名
也可以在给变量赋值的同时使用export命令:
export 变量名=变量值
使用 export说明的变量, 在Shell以后运行的所有命令或程序中都可
以访问到.
可以用unset清除变量值, 格式如下:
unset 变量名
（3）位置参数:
位置参数是一种在调用 Shell程序的命令行中按照各自的位置决
定的变量, 是在程序名之后输入的参数. 位置参数之间用空格分隔,
Shell取第一个位置参数替换程序文件中的$1, 第二个替换$2,依次类
推. $0是一个特殊的变量, 它的内容是当前这个Shell程序的文件名,
所以, $0不是一个位置参数, 在显示当前所有的位置参数时是不包括
$0的.
（4）预定义变量:
预定义变量和环境变量相类似,也是在Shell一开始时就定义了的
变量. 所不同的是, 用户只能根据Shell的定义来使用这些变量,而不
能重定义它. 所有预定义变量都是由$符和另一个符号组成的,常用的
Shell预定义变量有:
$# 位置参数的数量.
$* 所有位置参数的内容.
$? 命令执行后返回的状态.
$$ 当前进程的进程号.
$! 后台运行的最后一个进程号.
$0 当前执行的进程名.
注意:
$? 用于检查上一个命令执行是否正确. （在Linux中,命令退出
状态为0表示该命令正确执行, 任何非0值表示命令出错.）
$$ 变量最常见的用途是用做暂存文件的名字以保证暂存文件不
会重复.
（5）参数置换的变量:
Shell 提供了参数置换功能以便用户可以根据不同的条件来给变
量赋不同的值. 参数置换的变量有4种,这些变量通常与某一个位置参
数相联系, 根据指定的位置参数是否已经设置来决定变量的取值, 它
们的语法和功能分别如下.
a. 变量=${参数-word}: 如果设置了参数, 则用参数的值置换变
量的值, 否则用word置换. 即这种变量的值等于某一个参数的值, 如
果该参数没有设置, 则变量就等于word的值.
b. 变量=${参数=word}: 如果设置了参数, 则用参数的值置换变
量的值, 否则把变量设置成word, 然后再用word替换参数的值. 注意
位置参数不能用于这种方式,因为在Shell程序中不能为位置参数赋值.
c. 变量=${参数?word}: 如果设置了参数，则用参数的值置换变
量的值, 否则就显示word并从Shell中退出, 如果省略了word,则显示
标准信息. 这种变量要求一定等于某一个参数的值. 如果该参数没有
设置, 就显示一个信息, 然后退出, 因此这种方式常用于出错指示.
d. 变量=${参数+word}: 如果设置了参数，则用word置换变量,
否则不进行置换.
所有这4种形式中的"参数"既可以是位置参数,也可以是另一个变
量，只是用位置参数的情况比较多.
Shell程序设计的流程控制:
和其他高级程序设计语言一样,Shell提供了用来控制程序执行流
程的命令, 包括条件分支和循环结构, 用户可以用这些命令创建非常
复杂的程序。
与传统语言不同的是, Shell用于指定条件值的不是布尔运算式,
而是命令和字串。
1. 测试命令
test命令用于检查某个条件是否成立, 它可以进行数值, 字符和
文件3个方面的测试, 其测试符和相应的功能分别如下:
（1）数值测试:
-eq 等于则为真
-ne 不等于则为真
-gt 大于则为真
-ge 大于等于则为真
-lt 小于则为真
-le 小于等于则为真
（2）字串测试:
= 等于则为真
!= 不相等则为真
-z字串 判断字符串是否为空
-n字串 判断字符串是否不为空
（3）文件测试:
-e文件名 如果文件存在则为真
-r文件名 如果文件存在且可读则为真
-w文件名 如果文件存在且可写则为真
-x文件名 如果文件存在且可执行则为真
-s文件名 如果文件存在且至少有一个字符则为真
-d文件名 如果文件存在且为目录则为真
-f文件名 如果文件存在且为普通文件则为真
-c文件名 如果文件存在且为字符型特殊文件则为真
-b文件名 如果文件存在且为块特殊文件则为真
另外, Linux还提供了与（!）, 或（-o）, 非（-a）三个逻辑操
作符, 用于将测试条件连接起来, 其优先顺序为: !最高, -a次之,-o
最低。
同时, bash也能完成简单的算术运算, 格式如下:
$[expression]
例如:
var1=2
var2=$[var1*10+1]
则var2的值为21.
2. if条件语句
Shell程序中的条件分支是通过if条件语句来实现的,其一般格式
为:
if 条件命令串
then
条件为真时的命令串
else
条件为假时的命令串
fi
3. for循环
for循环对一个变量的可能的值都执行一个命令序列,赋给变量的
几个数值既可以在程序内以数值列表的形式提供, 也可以在程序以外
以位置参数的形式提供. for循环的一般格式为:
for变量名 [in数值列表]
do
若干个命令行
done
变量名可以是用户选择的任何字串, 如果变量名是var,则在in之
后给出的数值将顺序替换循环命令列表中的$var. 如果省略了in, 则
变量var的取值将是位置参数.对变量的每一个可能的赋值都将执行do
和done之间的命令列表。
4. while和until循环
while和until命令都是用命令的返回状态值来控制循环的.While
循环的一般格式为:
while
若干个命令行1
do
若干个命令行2
done
只要while的"若干个命令行1"中最后一个命令的返回状态为真,
while循环就继续执行do...done之间的"若干个命令行2".
until命令是另一种循环结构, 它和while命令相似, 其格式如下
until
若干个命令行1
do
若干个命令行2
done
until循环和 while循环的区别在于: while循环在条件为真时继
续执行循环, 而until则是在条件为假时继续执行循环.
Shell还提供了true和false两条命令用于创建无限循环结构, 它
们的返回状态分别是总为0或总为非0。
5. case条件选择
if条件语句用于在两个选项中选定一项, 而case条件选择为用户
提供了根据字串或变量的值从多个选项中选择一项的方法, 其格式如
下:
case string in
exp-1)
若干个命令行1
;;
exp-2)
若干个命令行2
;;
……
*)
其他命令行
esac
Shell通过计算字串string的值, 将其结果依次和运算式exp-1,
exp-2等进行比较, 直到找到一个匹配的运算式为止.如果找到了匹配
项, 则执行它下面的命令直到遇到一对分号(;;)为止.
在case运算式中也可以使用Shell的通配符("*", "?", "[ ]").
通常用 *作为case命令的最后运算式以便在前面找不到任何相应的匹
配项时执行"其他命令行"的命令.
6. 无条件控制语句break和continue
break用于立即终止当前循环的执行,而contiune用于不执行循环
中后面的语句而立即开始下一个循环的执行. 这两个语句只有放在do
和done之间才有效。
7. 函数定义
在Shell中还可以定义函数. 函数实际上也是由若干条Shell命令
组成的, 因此它与Shell程序形式上是相似的,不同的是它不是一个单
独的进程, 而是Shell程序的一部分. 函数定义的基本格式为:
functionname
{
若干命令行
}
调用函数的格式为: functionname param1 param2...
Shell函数可以完成某些例行的工作,而且还可以有自己的退出状
态, 因此函数也可以作为if, while等控制结构的条件.
在函数定义时不用带参数说明, 但在调用函数时可以带有参数,
此时Shell将把这些参数分别赋予相应的位置参数$1, $2, ...及$*.
8. 命令分组
在Shell中有两种命令分组的方法: ()和{}.
前者当Shell执行()中的命令时将再创建一个新的子进程,然后这
个子进程去执行圆括弧中的命令. 当用户在执行某个命令时不想让命
令运行时对状态集合 (如位置参数, 环境变量, 当前工作目录等) 的
改变影响到下面语句的执行时, 就应该把这些命令放在圆括弧中, 这
样就能保证所有的改变只对子进程产生影响, 而父进程不受任何干扰.
{}用于将顺序执行的命令的输出结果用于另一个命令的输入( 管
道方式 ).
当我们要真正使用圆括弧和花括弧时(如计算运算式的优先顺序)
则需要在其前面加上转义符(\)以便让Shell知道它们不是用于命令执
行的控制所用.
9. 信号
trap命令用于在Shell程序中捕捉信号,之后可以有3种反应方式:
(1) 执行一段程序来处理这一信号.
(2) 接受信号的默认操作.
(3) 忽视这一信号.
trap对上面3种方式提供了3种基本形式:
第一种形式的trap命令在Shell接收到与signal list清单中数值
相同的信号时, 将执行双引号中的命令串.
trap 'commands' signal-list
trap "commands" signal-list
为了恢复信号的默认操作, 使用第二种形式的trap命令:
trap signal-list
第三种形式的trap命令允许忽略信号:
trap " " signal-list
注意:
(1) 对信号11(段违例)不能捕捉,因为Shell本身需要捕捉该信号
去进行内存的转储.
(2) 在trap中可以定义对信号0的处理(实际上没有这个信号),
Shell程序在其终止(如执行exit语句)时发出该信号.
(3) 在捕捉到signal-list 中指定的信号并执行完相应的命令之
后, 如果这些命令没有将Shell程序终止的话, Shell程序将继续执行
收到信号时所执行的命令后面的命令, 这样将很容易导致 Shell程序
无法终止.
另外, 在trap语句中, 单引号和双引号是不同的. 当 Shell程序
第一次碰到trap语句时, 将把commands中的命令扫描一遍. 此时若
commands是用单引号括起来的话,那么Shell不会对commands中的变量
和命令进行替换, 否则commands中的变量和命令将用当时具体的值来
替换.
运行Shell程序的方法:
用户可以用任何编辑程序来编写Shell程序. 因为Shell程序是解
释执行的, 所以不需要编译成目的程序. 按照 Shell编程的惯例, 以
bash为例, 程序的第一行一般为"#!/bin/bash", 其中#表示该行是注
释, 叹号!告诉Shell运行叹号之后的命令并用文档的其余部分作为输
入, 也就是运行/bin/bash并让/bin/bash去执行Shell程序的内容.
执行Shell程序的方法有3种:
1. sh Shell程序文件名
这种方法的命令格式为:
bash Shell程序文件名
这实际上是调用一个新的bash命令解释程序,而把Shell程序文件
名作为参数传递给它. 新启动的Shell将去读指定的文件,可执行文件
中列出的命令, 当所有的命令都执行完后结束. 该方法的优点是可以
利用Shell调试功能.
2．sh
格式为:
bash< Shell程序名
这种方式就是利用输入重定向,使Shell命令解释程序的输入取自
指定的程序文件.
3. 用chmod命令使Shell程序成为可执行的
一个文件能否运行取决于该文档的内容本身可执行且该文件具有
执行权. 对于Shell程序, 当用编辑器生成一个文件时,系统赋予的许
可权都是644(rw-r-r--), 因此, 当用户需要运行这个文件时,只需要
直接键入文件名即可.
在这3种运行Shell程序的方法中, 最好按下面的方式选择: 当刚
创建一个Shell程序, 对它的正确性还没有把握时,应当使用第一种方
式进行调试. 当一个Shell程序已经调试好时,应使用第三种方式把它
固定下来, 以后只要键入相应的文件名即可, 并可被另一个程序所调
用.
4. bash程序的调试
在编程过程中难免会出错, 有的时候, 调试程序比编写程序花费
的时间还要多, Shell程序同样如此.
Shell程序的调试主要是利用bash命令解释程序的选择项. 调用
bash的形式是:
bash -选择项 Shell程序文件名
几个常用的选择项是:
-e 如果一个命令失败就立即退出
-n 读入命令但是不执行它们
-u 置换时把未设置的变量看做出错
-v 当读入Shell输入行时把它们显示出来
-x 执行命令时把命令和它们的参数显示出来
上面的所有选项也可以在Shell程序内部用"set -选择项"的形式
引用, 而"set +选择项"则将禁止该选择项起作用.如果只想对程序的
某一部分使用某些选择项时, 则可以将该部分用上面两个语句包围起
来.
(1) 未置变量退出和立即退出
未置变量退出特性允许用户对所有变量进行检查, 如果引用了一
个未赋值的变量就终止Shell程序的执行. Shell通常允许未置变量的
使用, 在这种情况下, 变量的值为空. 如果设置了未置变量退出选择
项, 则一旦使用了未置变量就显示错误信息, 并终止程序的运行. 未
置变量退出选择项为-u.
当Shell运行时, 若遇到不存在或不可执行的命令,重定向失败或
命令非正常结束等情况时, 如果未经重新定向, 该出错信息会显示在
终端屏幕上, 而Shell程序仍将继续执行. 要想在错误发生时迫使
Shell程序立即结束, 可以使用-e选项将Shell程序的执行立即终止.
(2) Shell程序的跟踪
调试Shell程序的主要方法是利用Shell命令解释程序的-v或-x选
项来跟踪程序的执行. -v选择项使Shell在执行程序的过程中,把它读
入的每一个命令行都显示出来,而-x选择项使Shell在执行程序的过程
中把它执行的每一个命令在行首用一个+加上命令名显示出来.并把每
一个变量和该变量所取的值也显示出来. 因此,它们的主要区别在于:
在执行命令行之前无-v, 则显示出命令行的原始内容, 而有-v时则显
示出经过替换后的命令行的内容.
除了使用Shell的-v和-x选择项以外, 还可以在Shell程序内部采
取一些辅助调试的措施. 例如,可以在Shell程序的一些关键地方使用
echo命令把必要的信息显示出来,它的作用相当于C语言中的printf语
句, 这样就可以知道程序运行到什么地方及程序目前的状态.
bash的内部命令:
bash命令解释套装程序包含了一些内部命令. 内部命令在目录列
表时是看不见的, 它们由Shell本身提供. 常用的内部命令有: echo,
eval, exec, export, readonly, read, shift, wait和点(.). 下面
简单介绍其命令格式和功能.
1. echo
命令格式: echo arg
功能: 在屏幕上显示出由arg指定的字串。
2. eval
命令格式: eval args
功能: 当Shell程序执行到eval语句时,Shell读入参数args,并将
它们组合成一个新的命令，然后执行.
3. exec
命令格式: exec命令参数
功能: 当Shell执行到exec语句时,不会去创建新的子进程而是转
去执行指定的命令, 当指定的命令执行完时该进程 (也就
是最初的Shell) 就终止了, 所以Shell程序中exec后面的
语句将不再被执行.
4. export
命令格式: export变量名 或：export变量名=变量值
功能: Shell可以用export把它的变量向下带入子Shell, 从而
让子进程继承父进程中的环境变量. 但子Shell不能用
export把它的变量向上带入父Shell.
注意: 不带任何变量名的export语句将显示出当前所有的
export变量。
5. readonly
命令格式: readonly变量名
功能: 将一个用户定义的Shell变量标识为不可变.不带任何参
数的 readonly命令将显示出所有只读的Shell变量。
6. read
命令格式: read变量名表
功能: 从标准输入设备读入一行,分解成若干字, 赋值给Shell
程序内部定义的变量.
7. shift语句
功能: shift 语句按如下方式重新命名所有的位置参数变量,
即$2成为$1, $3成为$2...在程序中每使用一次shift语
句,都使所有的位置参数依次向左移动一个位置,并使位
置参数$#减1, 直到减到0为止.
8. wait
功能: 使Shell等待在后台启动的所有子进程结束.wait的返回
值总是真.
9. exit
功能: 退出Shell程序.在exit之后可有选择地指定一个数位作
为返回状态.
10. "."(点)
命令格式: . Shell程序文件名
功能: 使Shell读入指定的Shell程序文件并依次执行文件中的
所有语句.
11. unset
命令格式: unset [-fv][变量或函数名称]
功能: 删除变量或函数.
参数: -f 仅删除函数
-v 仅删除变量
12. grep Grep: g(globally) search for a RE(regular
expression) and p(print) the results.
命令格式: grep [OPTION]... PATTERN [FILE] ...
参数: -I: 忽略大小写
-c: 打印匹配的行数
-l: 从多个文件中查找包含匹配项
-v: 查找不包含匹配项的行
-n: 打印包含匹配项的行和行标
RE(正则表达式):
\ 忽略正则表达式中特殊字符的原有含义
^ 匹配正则表达式的开始行
$ 匹配正则表达式的结束行
\< 从匹配正则表达式的行开始
\> 到匹配正则表达式的行结束
[ ] 单个字符; 如[A]即A符合要求
[ - ]范围; 如[A-Z]即A, B, C一直到Z都符合要求
. 所有的单个字符
* 所有字符, 长度可以为0
结果: 打印输出匹配行的内容
13. cut
命令格式: cut [OPTION]... [FILE]...
参数: -d' ' 指定域分隔符
-c num1-num2 显示每行从开头算起num1到num2的
文字.
-f m-n 显示第m域到第n域(默认Tab为域分
隔符).
功能: 显示每行从开头算起num1到num2的文字.
posted on 2015-04-13 10:31 oshixiaoxiliu 阅读(316) 评论(0) 编辑 收藏 举报
