《Linux命令行与shell脚本编程大全》第十一章 构建基本脚本

11.1使用多个命令

$date;who   //  命令列表，加入分号就可以，这样会依次执行。参见5.2.1节

注意区分$(date;who)，这个是进程列表，会生成一个子shell来执行

Shell脚本的关键在于输入多个命令并处理每个命令的结果，甚至需要将一个命令的结果传给另外一个命令。

Shell可以让你将多个命令串起来，一次性完成。

 

上面的date;who可以写入一个文件，这样就不用在命令行敲命令了，运行这个文本文件就好了。

 

11.2 创建shell脚本文件

第一行必须这样：指定要使用的shell

#!/bin/bash

 

1.一般情况#用来注释的，但是第一行的#除外

比如写一个test，内容如下：

#!/bin/bash

date

who

 

如果想直接运行，需要将路径添加到PATH环境变量中去。

也可以当前目录直接./test，这样可能会没有权限。

chmod u+x test   //  增加执行权限

接着就可以  ./test 运行了

 

11.3 显示消息

想在脚本上加提示信息，可以直接这样：

#!/bin/bash

echo  haha,I am xiaochongyong, data print:

date

echo  “Let’s see who’s logged:”

who

 

如果想要输出单引号，需要加双引号把整句话括起来，否则会不正常。比如：

 

 

还可以这样：

 

 

echo命令可以用单引号或双引号来划定文本字符串。如果在字符串中用到了它们，需要在文本中使用一种引号，而用另外一种来将字符串划定起来

 

把文本字符串和 命令输出显示在同一行中。用 –n 参数：

#!/bin/bash

echo  –n  “The time and date are: ”

date

 

11.4 使用变量

通常会需要在shell命令使用其他数据来处理信息，可以通过变量来实现。

变量允许你临时性的将信息存储在shell中，以便和脚本中的其他命令一起使用

11.4.1 环境变量

Shell维护着一组环境变量用来记录特定的系统信息。比如系统的名字，登录到系统的用户，UID等。

可以用set命令来显示一份完整的当前环境变量列表。

 

在脚本中可以在环境变量前加上美元符$来使用环境变量。

#!/bin/bash

# display Info

echo "User info for userid: $USER"

echo UID: $UID

echo HOME: $HOME

 

 

echo “The cost of the item is $15”

这样输出不了$，脚本会尝试显示$1的值，再显示5。应该在前面防止一个反斜杠

echo “The cost of the item is \$15”

 

\允许脚本将美元符解读为实际的美元符

 

11.4.2 用户变量

Shell脚本还允许在脚本中定义和使用自己的变量。

定义变量允许临时存储数据并在脚本中使用，这样看起来更像是一个程序了。

用户变量可以是任何字母数字或下划线组成的文本字符串，长度不超过20个。区分大小写

使用=给用户变量赋值，变量=和值之间不能有空格

比如：

var=10

Var=2

Var3=testing

Var4=”hahaha”

 

Shell脚本会自动决定变量值的数据类型，在脚本整个生命周期里变量会一直保持它们的值，直到结束时会被删除掉。

也是用美元符引用。

 

也可以用变量对变量进行赋值，比如：

 

#!/bin/bash

age=22

name="xiaochongyong"

echo "Hi, i am $name, age $age"

echo "copy test2:"

age1=$age

name1=$name

echo "Hi, copy test i am $name1, age $age1"

 

11.4.3 命令替换

Shell脚本最有用的特性之一就是可以从命令输出中提取信息，并将其赋给变量。这样就可以随意在脚本中使用了。

有两种方法可以将命令输出赋值给变量

（1）反引用字符（` `）。美式键盘上在波浪线~同一个键位

（2）$() 格式：

#!/bin/bash

testing=`date`

echo -n "date  is: $testing"

echo ""

testing2=$(date)

echo -n "date2 is: $testing2"

echo ""

 

下面这个就有意思了：

#!/bin/bash

# copy the /usr/bin directory listing to a log file

today=$(date +%y%m%d)

ls /usr/bin -al > log.$today

 

today是被赋予格式化之后的date命令的输出，这是提取日期信息来生成日志文件名常用的一种技术。  

+%y%m%d格式告诉date命令将日期显示为两位数的年月日的组合

ls /usr/bin -al > log.$today   这里就重定向到一个文件中了。

 注意：

命令替换会创建一个子shell来运行对应的命令。子shell所执行命令是无法使用脚本中所创建的变量的。

在命令行提示符下使用路径./也会创建出子shell。  比如：test3脚本中  ./test2 

要是运行命令的时候不加入路径，就不会创建子shell。

如果使用的是内建shell命令就不会涉及子shell。

 

11.5 重定向输入和输出

11.5.1输出重定向

将命令的内容重定向到文件

Command > outfile

比如：who > test6  不存在则创建，存在则覆盖

pwd >> test6  这样会追加

 

11.5.2 输入重定向

1.将文件的内容重定向到命令

小于号  <

wc命令可以对数据中的文本进行计数。

默认会输出文本的行数，文本的词数，文本的字节数

比如：

wc < test6

 

2.内联输入重定向：无需使用文件进行重定向，只需要在命令行中指定用户输入重定向的数据就可以了。

符号：  <<

还需要指定一个文本标记来划分输入数据的开始和结尾，任何字符串都可以作为文本标记，但在数据的开始和结尾文本标记必须一致。

 

比如这样，输入xcy表示结束。Wc命令对内联输入重定向提供的数据进行行、词、字节数的计数，直到输入了作为文本标记的那个字符串。

 

11.6 管道

可以将一个命令的输出作为另一个命令的输入。可以用重定向来实现，也可以用管道。

 

管道连接（piping）：直接将命令输出重定向到另一个命令中。

格式：  command1 | command2

这两个命令不是依次执行的，而是同时运行的，在内部将它们连接起来。

可以在一条命令中使用多条管道，可以持续的将命令的输出通过管道传给其他命令来细化操作。

 

注意：管道与重定向的区别

（1） | 左边的命令应该有标准输出，右边应该接受标准输入

（2）重定向， > 右边只能是文件，  左边命令要有标准输出

  <  左边能接受标准输入，右边只能是文件（文件好像有点不合理）

（3）重定向是在一个进程内执行的，管道触发两个子进程执行|两边的程序

 

例子：

$cat test2 | grep –n ‘echo’   // 左边输出，右边接受输入，查找包含 grep的行

$grep –n ‘echo’ < test  // 效果更上面类似

 

下面是网上别人的： http://10744927.blog.51cto.com/10734927/1758474/

Linux Shell常用技巧(十) 管道组合

二十. 通过管道组合Shell命令获取系统运行数据:

    1.  输出当前系统中占用内存最多的5条命令:

    #1) 通过ps命令列出当前主机正在运行的所有进程。

    #2) 按照第五个字段基于数值的形式进行正常排序(由小到大)。

    #3) 仅显示最后5条输出。

    /> ps aux | sort -k 5n | tail -5

    stephen   1861  0.2  2.0  96972 21596  ?  S     Nov11   2:24 nautilus

    stephen   1892  0.0  0.4 102108  4508  ?  S<sl Nov11   0:00 /usr/bin/pulseaudio

    stephen   1874  0.0  0.9 107648 10124 ?  S     Nov11   0:00 gnome-volume

    stephen   1855  0.0  1.2 123776 13112 ?  Sl     Nov11   0:00 metacity

    stephen   1831  0.0  0.9 125432  9768  ?  Ssl   Nov11   0:05 /usr/libexec/gnome

   

    2.  找出cpu利用率高的20个进程:

    #1) 通过ps命令输出所有进程的数据，-o选项后面的字段列表列出了结果中需要包含的数据列。

    #2) 将ps输出的Title行去掉，grep -v PID表示不包含PID的行。

    #3) 基于第一个域字段排序，即pcpu。n表示以数值的形式排序。

    #4) 输出按cpu使用率排序后的最后20行，即占用率最高的20行。

    /> ps -e -o pcpu,pid,user,sgi_p,cmd | grep -v PID | sort -k 1n | tail -20

 

    3.  获取当前系统物理内存的总大小:

    #1) 以兆(MB)为单位输出系统当前的内存使用状况。

    #2) 通过grep定位到Mem行，该行是以操作系统为视角统计数据的。

    #3) 通过awk打印出该行的第二列，即total列。

    /> free -m | grep "Mem" | awk '{print $2, "MB"}'

    1007 MB

   

1.  获取当前或指定目录下子目录所占用的磁盘空间，并将结果按照从大到小的顺序输出:

    #1) 输出/usr的子目录所占用的磁盘空间。

    #2) 以数值的方式倒排后输出。

    /> du -s /usr/* | sort -nr

    1443980 /usr/share

    793260   /usr/lib

    217584   /usr/bin

    128624   /usr/include

    60748    /usr/libexec

    45148    /usr/src

    21096    /usr/sbin

    6896      /usr/local

    4           /usr/games

    4           /usr/etc

    0           /usr/tmp

   

    2.  批量修改文件名:

    #1) find命令找到文件名扩展名为.output的文件。

    #2) sed命令中的-e选项表示流编辑动作有多次，第一次是将找到的文件名中相对路径前缀部分去掉，如./aa改为aa。

    #    流编辑的第二部分，是将20110311替换为mv & 20110310，其中&表示s命令的被替换部分，这里即源文件名。

    #    \1表示被替换部分中#的\(.*\)。

    #3) 此时的输出应为

    #    mv 20110311.output 20110310.output

    #    mv 20110311abc.output 20110310abc.output

    #    最后将上面的输出作为命令交给bash命令去执行，从而将所有20110311*.output改为20110311*.output

    /> find ./ -name "*.output" -print  | sed -e 's/.\///g' -e 's/20110311\(.*\)/mv & 20110310\1/g' | bash

   

    3.  统计当前目录下文件和目录的数量:

    #1) ls -l命令列出文件和目录的详细信息。

    #2) ls -l输出的详细列表中的第一个域字段是文件或目录的权限属性部分，如果权限属性部分的第一个字符为d，

    #    该文件为目录，如果是-，该文件为普通文件。

    #3) 通过wc计算grep过滤后的行数。

    /> ls -l * | grep "^-" | wc -l

    /> ls -l * | grep "^d" | wc -l

   

    4.  杀掉指定终端的所有进程:

    #1) 通过ps命令输出终端为pts/1的所有进程。

    #2) 将ps的输出传给grep，grep将过滤掉ps输出的Title部分，-v PID表示不包含PID的行。

    #3) awk打印输出grep查找结果的第一个字段，即pid字段。

    #4) 上面的三个组合命令是在反引号内被执行的，并将执行的结果赋值给数组变量${K}。

    #5) kill方法将杀掉数组${K}包含的pid。

    /> kill -9 ${K}=`ps -t pts/1 | grep -v PID | awk '{print $1}'`   

 

    5.  将查找到的文件打包并copy到指定目录:

    #1) 通过find找到当前目录下(包含所有子目录)的所有*.txt文件。

    #2) tar命令将find找到的结果压缩成test.tar压缩包文件。

    #3) 如果&&左侧括号内的命令正常完成，则可以执行&&右侧的shell命令了。

    #4) 将生成后的test.tar文件copy到/home/.目录下。

    /> (find . -name "*.txt" | xargs tar -cvf test.tar) && cp -f test.tar /home/.

   

    #1) cpio从find的结果中读取文件名，将其打包压缩后发送到./dest/dir(目标目录)。

    #2) cpio的选项介绍：

    #    -d：创建需要的目录。

    #    -a：重置源文件的访问时间。

    #    -m：保护新文件的修改时间。

    #    -p：将cpio设置为copy pass-through模式。

    /> find . -name "*" | cpio -dampv ./dest/dir

11.7 执行数学运算

有两种途径：

11.7.1 expr 命令：允许在命令行上处理数学表达式

对于那些容易被shell错误解释的字符，在它们传入expr命令之前需要使用转义字符\将其标出来。

比如：

#!/bin/bash

# expr test:

var1=10

var2=20

var3=$(expr $var2 / $var1)

#var4=$(expr $var2 * $var1)   Error,

var4=$(expr $var2 \* $var1)

echo The var3 result is $var3

echo The var4 result is $var4

有一个expr命令操作符表可以看一下。

11.7.2 使用方括号

比expr方便多了。还不同担心乘号或其它符号。

在shell脚本中进行算数运算会有一个主要的限制：只支持整数运算

比如：

#!/bin/bash

# expr test:

var1=10

var2=20

var3=$[$var2 / $var1]

var4=$[$var2 * $var1]

var5=$[$var2 + $var2 * $var1]

echo The var3 result is $var3

echo The var4 result is $var4

echo The var5 result is $var5

11.7.3 浮点解决方案

有几种解决方案，最常见的是用内建的bash计算机，叫做bc

1.bc的基本用法

bash计算机实际上是一种编程语言，它允许在命令行中输入浮点表达式，然后解释并计算表达式

直接输入bc，进入计算机：

 

 

Bash计算机设置好scale后就可以显示小数了。

还支持变量

 

2.在脚本中使用bc

可以用命令替换运行bc命令，并将输出赋值给一个变量

格式如下：

Variable=$(echo “options; expression” | bc)

比如：

#!/bin/bash

var=$(echo "scale=4; 13 / 10" | bc)

echo var is $var

var1=300

var2=45

var3=$(echo "scale=4; $var1 / $var2" | bc)

echo var3 is $var3

var4=$(echo "scale=4; $var3 + $var2 * 2" | bc)

echo var4 is $var4

 

上面的方法适用于较短的运算，涉及到很多数字时就会有点麻烦。

解决方案：bc命令能识别输入重定向，允许将一个文件重定向到bc命令来处理。最好的方案是使用内联输入重定向，它允许你直接在命令中重定向数据。

Varible=$(bc << EOF

Options

Statements

Expressions

EOF

)

 

比如：

#!/bin/bash

var1=10

var2=9

var3=8

var4=7

var5=$(bc << EOF

scale = 4

a1 = ($var1 * $var2)

a2 = ($var3 * $var4)

a2 + a1 * a1

a2

EOF

)

echo var4 is $var5

EOF标识了内联重定向数据的起止，记住，仍然需要命令替换符号将bc命令的输出赋给变量

将选项和表达式放在脚本的不同行可以让处理过程变得清晰。

还可以在bash计算机中赋值给变量，在bc计算机中创建的变量只在bc计算机中有效，不能再shell脚本中使用

 

11.8 退出脚本

Shell中运行的每个命令都使用退出吗告诉shell它已经运行完毕。

退出码是一个0 – 255的整数值。

11.8.1 查看退出状态码

如何查看：echo &?

惯例是一个成功结束的命令的退出码是0，如果一个命令结束时有错误，退出状态就是正整数。

 

11.8.2 exit命令

默认情况下，shell脚本会以脚本中的最后一个命令的退出状态码退出。

也可以改变这种行为

这么写： exit 5

再在终端中查看一下：

 

补充：关于内联重定向

基本形式如下：

command  << delimiter

  document

delimiter

作用：将两个delimiter之间的内容（document）作为输入传递给command。

主要用途：用于脚本命令行交互

注意：结尾的delimiter要顶格写，前面不能有字符。

例子1：

#!/bin/bash

cat << EOF

hahaha1

hahaha2

hahaha3

EOF

echo exit code is $?

 

这个不大好理解