[Linux系统] (4)脚本编程

一、bash shell

可以理解为一种解释器和启动器,解释命令文本,并执行命令。

命令来源:

  • 用户交互输入
  • 文本文件输入

 

1.示例,写一个最简单的文本

vi test.txt

写入以下内容:

echo "Hello World"
ls -l /
echo $$

这样就写好了一个最简单的脚本,其中$$表示运行当前脚本的bash的进程号。

 

2.如何运行这个文本中的命令

# 使用bash内建命令source来运行
source test.txt
# 使用"."来运行,注意点后面是空格
. test.txt

实际上source和"."都是bash的biuldin命令:

[root@centos-clone1 ~]# type source
source is a shell builtin
[root@centos-clone1 ~]# type '.'
. is a shell builtin

source和"."是等效的,意思是解释文本中的命令,并执行。我们经常使用的source /etc/profile就是让系统重新执行一下/etc/profile配置脚本。

3.使用bash子进程运行

上面使用source和"."来执行脚本,echo $$显示的是当前bash的进程号。

先使用pstree工具查看进程树:

[root@centos-clone1 ~]# pstree
-bash: pstree: command not found

发现Mini版的CentOS默认没有安装pstree,使用yum安装:

yum install psmisc -y

安装完毕后执行pstree:

[root@centos-clone1 ~]# pstree
systemd鈹€鈹攢agetty
        鈹溾攢auditd鈹€鈹€鈹€{auditd}
        鈹溾攢chronyd
        鈹溾攢crond
        鈹溾攢dbus-daemon
        鈹溾攢irqbalance
        鈹溾攢lvmetad
        鈹溾攢master鈹€鈹攢pickup
        鈹       鈹斺攢qmgr
        鈹溾攢nginx鈹€鈹€鈹€nginx
        鈹溾攢polkitd鈹€鈹€鈹€6*[{polkitd}]
        鈹溾攢rsyslogd鈹€鈹€鈹€2*[{rsyslogd}]
        鈹溾攢sshd鈹€鈹€鈹€sshd鈹€鈹攢bash鈹€鈹€鈹€pstree
        鈹            鈹斺攢bash
        鈹溾攢systemd-journal
        鈹溾攢systemd-logind
        鈹溾攢systemd-udevd
        鈹斺攢tuned鈹€鈹€鈹€4*[{tuned}]

发现显示乱码,解决他:

vi /etc/sysconfig/i18n

写入下面内容:

LANG="en_US"
SUPPORTED="en_US:en"
SYSFONT="latarcyrheb-sun16"

使其生效(临时生效,重新登录会失效):

source /etc/sysconfig/i18n

然后再次执行pstree:

[root@centos-clone1 ~]# pstree 
systemd-+-agetty
        |-auditd---{auditd}
        |-chronyd
        |-crond
        |-dbus-daemon
        |-irqbalance
        |-lvmetad
        |-master-+-pickup
        |        `-qmgr
        |-nginx---nginx
        |-polkitd---6*[{polkitd}]
        |-rsyslogd---2*[{rsyslogd}]
        |-sshd-+-sshd---bash
        |      `-sshd---bash---pstree
        |-systemd-journal
        |-systemd-logind
        |-systemd-udevd
        `-tuned---4*[{tuned}]

红色部分显示我们的pstree运行在一个bash下。

我们使用命令创建一个子程序bash,并再次使用pstree查看:

[root@centos-clone1 ~]# /bin/bash
[root@centos-clone1 ~]# pstree
systemd-+-agetty
        |-auditd---{auditd}
        |-chronyd
        |-crond
        |-dbus-daemon
        |-irqbalance
        |-lvmetad
        |-master-+-pickup
        |        `-qmgr
        |-nginx---nginx
        |-polkitd---6*[{polkitd}]
        |-rsyslogd---2*[{rsyslogd}]
        |-sshd-+-sshd---bash
        |      `-sshd---bash---bash---pstree
        |-systemd-journal
        |-systemd-logind
        |-systemd-udevd
        `-tuned---4*[{tuned}]

我们可以看到,这次的pstree实在新创建的bash子进程上运行的。

此时,我们有两层bash,我们可以使用exit退出一层:

[root@centos-clone1 ~]# exit
exit

如果本身是最底层的bash,如果使用exit,则会logout。

 

我们就可以在创建bash子进程的时候就运行脚本:

[root@centos-clone1 ~]# /bin/bash test.txt
hello World
total 34
lrwxrwxrwx    1 root root        7 Oct 14 20:48 bin -> usr/bin
dr-xr-xr-x.   5 root root     4096 Oct 15 12:59 boot
drwxr-xr-x   19 root root     3080 Oct 15 13:49 dev
drwxr-xr-x.  76 root root     8192 Oct 22 15:21 etc
drwxr-xr-x.   5 root root       40 Oct 20 15:57 home
lrwxrwxrwx    1 root root        7 Oct 14 20:48 lib -> usr/lib
lrwxrwxrwx    1 root root        9 Oct 14 20:48 lib64 -> usr/lib64
drwxr-xr-x.   2 root root        6 Apr 11  2018 media116980

我们发现子进程的PID号是116980,这是我们刚刚创建并运行test.txt的子进程号。

但是我们运行echo $$看看:

[root@centos-clone1 ~]# echo $$
116262

发现当前的PID并不是116980,说明一个问题,使用/bin/bash来创建子进程运行脚本,在运行完毕后,会结束子进程,回到父进程。

而且每次使用bash来运行脚本,运行时的子进程PID都可能是不一样的。

 

4.bash脚本

我们在前面看到,使用/bin/bash运行一个命令文本,我们每次运行时都需要使用/bin/bash test.txt来运行。

我们可以采用以下形式,将该文本默认使用/bin/bash执行,将文本内容修改为:

#!/bin/bash
echo "hello world"
ls -l /
echo $$

我们在前面加了一行"#!/bin/bash",指定该文本运行的解释器。这样直接运行文件就可以执行了:

# 将文本的权限修改为可执行
chmod u+x test.txt
#运行
./test.txt
[root@centos-clone1 ~]# ./test.txt 
hello World
total 34
lrwxrwxrwx    1 root root        7 Oct 14 20:48 bin -> usr/bin
dr-xr-xr-x.   5 root root     4096 Oct 15 12:59 boot
drwxr-xr-x   19 root root     3080 Oct 15 13:49 dev
drwxr-xr-x.  76 root root     8192 Oct 22 15:21 etc
drwxr-xr-x.   5 root root       40 Oct 20 15:57 home
lrwxrwxrwx    1 root root        7 Oct 14 20:48 lib -> usr/lib
lrwxrwxrwx    1 root root        9 Oct 14 20:48 lib64 -> usr/lib64
...
119996

同理,python脚本也是一样的,在开头写上"#!/usr/bin/python"等python命令的path。

在这种脚本的执行方式下,实际上和/bin/bash test.txt一样,是创建了一个子进程来执行,执行完毕后,退出子进程回到父进程。

 

5.一个重要的问题:为什么要在子进程中去执行脚本(重要)

如果我们的执行脚本有问题,可能导致进程崩溃,那么如果在当前进程执行的话,可能导致bash崩溃。

而我们如果每次执行脚本都fork出一个子进程执行,那么就算脚本有问题,崩溃的也是子进程,退出后回到父进程,还可以正常运行。

 

二、脚本中的函数

shell脚本也支持函数。定义好的函数就相当于一个命令。

一个命令只有以下三种情况:

  • buildin
  • 一个可执行文件
  • 一个定义的function(可能包含多个命令)

 

1.在交互命令行下定义一个函数

[root@centos-clone1 ~]# ooxx(){
> echo "Hello World"
> ls -l /
> echo $$
> }

ooxx是函数名,后面跟一个小括号,不用写参数,只是一个形式。然后接大括号,中间每一行都是一个命令。

运行函数:

[root@centos-clone1 ~]# ooxx
Hello World
total 34
lrwxrwxrwx    1 root root        7 Oct 14 20:48 bin -> usr/bin
dr-xr-xr-x.   5 root root     4096 Oct 15 12:59 boot
drwxr-xr-x   19 root root     3080 Oct 15 13:49 dev
drwxr-xr-x.  76 root root     8192 Oct 22 15:21 etc
drwxr-xr-x.   5 root root       40 Oct 20 15:57 home
lrwxrwxrwx    1 root root        7 Oct 14 20:48 lib -> usr/lib
lrwxrwxrwx    1 root root        9 Oct 14 20:48 lib64 -> usr/lib64
......
116262

直接使用函数名运行,定义好的函数相当于一个命令。

查看该函数的信息:

[root@centos-clone1 ~]# type ooxx
ooxx is a function
ooxx () 
{ 
    echo "Hello World";
    ls --color=auto -l /;
    echo $$
}

可以看到ooxx是一个方法,并给出具体方法体。

 

三、重定向

首先重定向不是命令!!

每个程序都有I/O:

  • 0:标准输入
  • 1:标准输出
  • 2:错误输出

1.示例,查看程序I/O位置

Linux一切皆文件,I/O也是抽象成文件的。

首先,我们来查看一下bash的I/O。

查看当前bash的进程号:

[root@centos-clone1 ~]#  echo $$
1594

查看bash进程的I/O文件:

[root@centos-clone1 fd]# cd /proc/$$/fd
[root@centos-clone1 fd]# ll
total 0
lrwx------ 1 root root 64 Oct 24 01:05 0 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 1 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 2 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 22:25 255 -> /dev/pts/0

$$表示当前bash的进程PID,为1594。在系统运行的时候,所有程序都会在/proc中抽象出一个文件夹,里面存放的是程序的运行数据。

在/proc中找到名为1594的文件夹,这个文件夹就是bash的运行数据,里面有一个叫fd的文件夹(fd代表文件描述符),其中的0、1、2就是他的标准输入、标准输出】错误输出。

这两个I/O都是默认指向/dev/pts/0的,也就是命令行终端。也就是为什么我们使用命令的时候,结果会显示在当前终端屏幕上的原因。

2.开启第2个终端

当我们使用ssh链接第二个终端(多用户登录)时,新的用户也会启动一个新的bash程序:

[root@centos-clone1 ~]# echo $$
63926

查看新终端bash的I/O文件:

[root@centos-clone1 ~]# cd /proc/63926/fd
[root@centos-clone1 fd]# ll
total 0
lrwx------ 1 root root 64 Oct 24 22:29 0 -> /dev/pts/1
lrwx------ 1 root root 64 Oct 24 22:29 1 -> /dev/pts/1
lrwx------ 1 root root 64 Oct 24 22:29 2 -> /dev/pts/1
lrwx------ 1 root root 64 Oct 24 22:30 255 -> /dev/pts/1

我们发现他的标准输入输出都是指向/dev/pts/1的,说明每个终端都会对应一个输入输出文件(对应终端)。

我们在设备信息中可以看到这两个终端的I/O设备:

[root@centos-clone1 pts]# cd /dev/pts/
[root@centos-clone1 pts]# ll
total 0
crw--w---- 1 root tty  136, 0 Oct 24 22:25 0
crw--w---- 1 root tty  136, 1 Oct 24  2019 1
c--------- 1 root root   5, 2 Oct 24 01:02 ptmx

在/dev/pts中,我们看到0、1两个I/O设备,对应的就是我们启动的两个终端,对应两个bash进程。

3.初试重定向

我们可以将1号终端的标准输出重定向到2号终端,达到的效果是,1号终端运行"ls -l /"命令,返回的结果在2号终端显示。

首先,我们备份1号终端的标准输出,以便于恢复:

[root@centos-clone1 fd]# cd /proc/$$/fd
[root@centos-clone1 fd]# ll
total 0
lrwx------ 1 root root 64 Oct 24 01:05 0 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 1 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 2 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 22:25 255 -> /dev/pts/0
[root@centos-clone1 fd]# exec 6>&1
[root@centos-clone1 fd]# ll
total 0
lrwx------ 1 root root 64 Oct 24 01:05 0 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 1 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 2 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 22:25 255 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 6 -> /dev/pts/0

然后,将标准输出1,指向/dev/pts/1文件:

[root@centos-clone1 fd]# exec 1> /dev/pts/1

此时,终端1的标准输出已经重定向到终端2的输入设备:

# 终端1中执行ls -l
[root@centos-clone1 fd]# ls -l /usr
[root@centos-clone1 fd]#

终端1中什么都没有显示,观察终端2:

# 终端2中显示了/usr中所有的内容列表
total 128 dr-xr-xr-x. 2 root root 20480 Oct 23 21:20 bin drwxr-xr-x. 2 root root 6 Apr 11 2018 etc drwxr-xr-x. 2 root root 6 Apr 11 2018 games drwxr-xr-x. 42 root root 8192 Oct 21 16:03 include drwxr-xr-x 3 root root 51 Oct 22 14:56 java dr-xr-xr-x. 27 root root 4096 Oct 21 16:00 lib dr-xr-xr-x. 38 root root 20480 Oct 21 16:03 lib64 drwxr-xr-x. 22 root root 4096 Oct 21 16:00 libexec drwxr-xr-x. 13 root root 4096 Oct 21 23:35 local dr-xr-xr-x. 2 root root 16384 Oct 23 21:20 sbin drwxr-xr-x. 76 root root 4096 Oct 21 16:03 share drwxr-xr-x. 4 root root 32 Apr 11 2018 src lrwxrwxrwx 1 root root 10 Oct 14 20:48 tmp -> ../var/tmp

实现完毕后,将终端1的标准输出流恢复回去:

[root@centos-clone1 fd]# exec 1>&6
[root@centos-clone1 fd]# ll
total 0
lrwx------ 1 root root 64 Oct 24 01:05 0 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 1 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 2 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 22:25 255 -> /dev/pts/0
lrwx------ 1 root root 64 Oct 24 01:05 6 -> /dev/pts/0

 

4.重定向输出到文件

将ls -l /usr的输出重定向到文件中:

[root@centos-clone1 ~]# ls -l /usr 1> ~/usr_list
[root@centos-clone1 ~]# cat usr_list
total
128 dr-xr-xr-x. 2 root root 20480 Oct 23 21:20 bin drwxr-xr-x. 2 root root 6 Apr 11 2018 etc drwxr-xr-x. 2 root root 6 Apr 11 2018 games drwxr-xr-x. 42 root root 8192 Oct 21 16:03 include drwxr-xr-x 3 root root 51 Oct 22 14:56 java dr-xr-xr-x. 27 root root 4096 Oct 21 16:00 lib dr-xr-xr-x. 38 root root 20480 Oct 21 16:03 lib64 drwxr-xr-x. 22 root root 4096 Oct 21 16:00 libexec drwxr-xr-x. 13 root root 4096 Oct 21 23:35 local dr-xr-xr-x. 2 root root 16384 Oct 23 21:20 sbin drwxr-xr-x. 76 root root 4096 Oct 21 16:03 share drwxr-xr-x. 4 root root 32 Apr 11 2018 src lrwxrwxrwx 1 root root 10 Oct 14 20:48 tmp -> ../var/tmp

如果进行第2次命令,也重定向到该文件,则内容会被覆盖:

[root@centos-clone1 ~]# ls -l / 1> ~/usr_list
[root@centos-clone1 ~]# cat usr_list 

total 32
lrwxrwxrwx    1 root root        7 Oct 14 20:48 bin -> usr/bin
dr-xr-xr-x.   5 root root     4096 Oct 15 12:59 boot
drwxr-xr-x   19 root root     3080 Oct 24 01:02 dev
drwxr-xr-x.  76 root root     8192 Oct 24 01:02 etc
drwxr-xr-x.   5 root root       40 Oct 20 15:57 home
lrwxrwxrwx    1 root root        7 Oct 14 20:48 lib -> usr/lib
lrwxrwxrwx    1 root root        9 Oct 14 20:48 lib64 -> usr/lib64
drwxr-xr-x.   2 root root        6 Apr 11  2018 media
drwxr-xr-x.   2 root root        6 Apr 11  2018 mnt
drwxr-xr-x.   2 root root        6 Apr 11  2018 opt
dr-xr-xr-x  115 root root        0 Oct 24 01:02 proc
dr-xr-x---.   8 root root     4096 Oct 24 22:42 root
drwxr-xr-x   23 root root      640 Oct 24 01:02 run
lrwxrwxrwx    1 root root        8 Oct 14 20:48 sbin -> usr/sbin
drwxrwx---    2 root leoshare   18 Oct 20 16:20 share
drwxr-xr-x.   2 root root        6 Apr 11  2018 srv
dr-xr-xr-x   13 root root        0 Oct 24 01:02 sys
drwxrwxrwt.   9 root root     4096 Oct 24 03:44 tmp
drwxr-xr-x.  14 root root     4096 Oct 22 14:55 usr
drwxr-xr-x.  19 root root     4096 Oct 14 20:48 var

所以">"符号叫做覆盖重定向

如果想要追加,则使用">>"符号

[root@centos-clone1 ~]# ls -l / 1>> ~/usr_list

 

5.错误输出

每个程序除了有标准输入和标准输出,还有错误输出,也就是2指向的文件。

在Bash的错误输出默认是输出到终端的,也就是/dev/pts/下的0、1等设备。

#god目录不存在的情况
[root@centos-clone1 ~]# ls -l /god
ls: cannot access /god: No such file or directory

此时返回的错误信息就是错误输出。

将错误输出重定向到文件(使用"2>"符号):

[root@centos-clone1 ~]# ls -l /god 2> err.log
[root@centos-clone1 ~]# cat err.log 
ls: cannot access /god: No such file or directory

 

6.重定向的绑定顺序

示例:

# /god目录不存在,/usr目录存在
ls -l /god /usr 2>&1 1> a.out
[root@centos-clone1 ~]# ls -l /god /usr 2>&1 1> a.out
ls: cannot access /god: No such file or directory
[root@centos-clone1 ~]# cat a.out 
/usr:
total 128
40 dr-xr-xr-x.  2 root root 20480 Oct 23 21:20 bin
 0 drwxr-xr-x.  2 root root     6 Apr 11  2018 etc
 0 drwxr-xr-x.  2 root root     6 Apr 11  2018 games
12 drwxr-xr-x. 42 root root  8192 Oct 21 16:03 include
 0 drwxr-xr-x   3 root root    51 Oct 22 14:56 java
 4 dr-xr-xr-x. 27 root root  4096 Oct 21 16:00 lib
40 dr-xr-xr-x. 38 root root 20480 Oct 21 16:03 lib64
 4 drwxr-xr-x. 22 root root  4096 Oct 21 16:00 libexec
 4 drwxr-xr-x. 13 root root  4096 Oct 21 23:35 local
20 dr-xr-xr-x.  2 root root 16384 Oct 23 21:20 sbin
 4 drwxr-xr-x. 76 root root  4096 Oct 21 16:03 share
 0 drwxr-xr-x.  4 root root    32 Apr 11  2018 src
 0 lrwxrwxrwx   1 root root    10 Oct 14 20:48 tmp -> ../var/tmp

上述运行结果中,/usr的内容列表被保存在了a.out中,而ls -l /god的错误信息打印在了屏幕上。

说明错误输出流没有绑定生效,我们将2个绑定换一下位置:

ls -l /god /usr 1> a.out 2>&1
[root@centos-clone1 ~]# ls -l /god /usr  1> a.out 2>&1
[root@centos-clone1 ~]# cat a.out 
ls: cannot access /god: No such file or directory
/usr:
total 128
40 dr-xr-xr-x.  2 root root 20480 Oct 23 21:20 bin
 0 drwxr-xr-x.  2 root root     6 Apr 11  2018 etc
 0 drwxr-xr-x.  2 root root     6 Apr 11  2018 games
12 drwxr-xr-x. 42 root root  8192 Oct 21 16:03 include
 0 drwxr-xr-x   3 root root    51 Oct 22 14:56 java
 4 dr-xr-xr-x. 27 root root  4096 Oct 21 16:00 lib
40 dr-xr-xr-x. 38 root root 20480 Oct 21 16:03 lib64
 4 drwxr-xr-x. 22 root root  4096 Oct 21 16:00 libexec
 4 drwxr-xr-x. 13 root root  4096 Oct 21 23:35 local
20 dr-xr-xr-x.  2 root root 16384 Oct 23 21:20 sbin
 4 drwxr-xr-x. 76 root root  4096 Oct 21 16:03 share
 0 drwxr-xr-x.  4 root root    32 Apr 11  2018 src
 0 lrwxrwxrwx   1 root root    10 Oct 14 20:48 tmp -> ../var/tmp

此时,我们发现标准输出和错误输出都输出到了a.out。

以上实验说明重定向绑定的顺序是从左到右的。

标准输出和错误输出定位到一个文件的特殊写法

# 两者一样的效果,都是将1、2都定向到a.out
[root@centos-clone1 ~]# ls -l /god /usr >& a.out
[root@centos-clone1 ~]# ls -l /god /usr &> a.out

 

7.输入重定向

输入重定向有三种方式:

  • 输入一行字符串,使用"<<<"
  • 输入一大段文本,使用"<<"
  • 输入一个文件,使用"<"

read命令:接收标准输入的字符串,以换行符结果,类似python的input:

[root@centos-clone1 ~]# read var1
123abcd
[root@centos-clone1 ~]# echo $var1
123abcd

我们可以用以下形式重定向输入:

[root@centos-clone1 ~]# read var1 0<<<"abcd123" 
[root@centos-clone1 ~]# echo $var1
abcd123

使用三个"<"表示将一行字符串重定向到输入。

 

重定向一大段文本到输入:

[root@centos-clone1 ~]# read var2 0<<ooxx
> abc
> 123
> uuiery
> sdfj
> ooxx
[root@centos-clone1 ~]# echo $var2
abc

使用两个"<"可以将多行文本重定向到输入,以ooxx作为整段文本的结束字符。

但是我们在打印$var2时,发现只有abc三个字符,这是因为read命令对换行符敏感,在输入流中确实有我们输入的所有字符,但是read只读到了第一行。

此时,我们将read换为cat,就正确了:

[root@centos-clone1 ~]# cat 0<<ooxx
> abc
> 123
> skdfjksf
> ooxx
abc
123
skdfjksf

我们可以看到,cat正确读到了除了ooxx(我们定义的结束符)以外的所有行内容。

 

将文件重定向到标准输入:

[root@centos-clone1 ~]# cat 0< myname.txt 
My name is Leo...

这里只是一个示例,没有实际应用价值,因为上述命令等效于cat myname.txt。

 

8.一个综合的重定向示例(通过重定向请求www.baidu.com首页)

我们使用exec定义一个TCP socket:

# 将描述符8指向tcp socket,与baidu建立连接
[root@centos-clone1 fd]# exec 8<> /dev/tcp/www.baidu.com/80
# 向8发送http请求头
[root@centos-clone1 fd]# echo -e "GET / HTTP/1.0\n" 1>&8
# 从8接收http响应
[root@centos-clone1 fd]# cat 0<&8

我们发现,www.baidu.com返回的响应打印在屏幕上:

[root@centos-clone1 fd]# cat 0<&8
HTTP/1.0 200 OK
Accept-Ranges: bytes
Cache-Control: no-cache
Content-Length: 14615
Content-Type: text/html
Date: Fri, 25 Oct 2019 06:38:48 GMT
P3p: CP=" OTI DSP COR IVA OUR IND COM "
P3p: CP=" OTI DSP COR IVA OUR IND COM "
Pragma: no-cache
Server: BWS/1.1
Set-Cookie: BAIDUID=160ACF42CC151F0ED2B6D3241C0FE02A:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BIDUPSID=160ACF42CC151F0ED2B6D3241C0FE02A; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: PSTM=1571985528; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
Set-Cookie: BAIDUID=160ACF42CC151F0EA49EFE62D0FE9DB0:FG=1; max-age=31536000; expires=Sat, 24-Oct-20 06:38:48 GMT; domain=.baidu.com; path=/; version=1; comment=bd
Traceid: 157198552802713482341501073886667258581
Vary: Accept-Encoding
X-Ua-Compatible: IE=Edge,chrome=1
......
......
......
http:\/\/.+\.baidu\.com'))[0];}}name && ns_c({'fm': 'behs','tab': name,'query': encodeURIComponent(key),'un': encodeURIComponent(bds.comm.user || '') });};}})();};if(window.pageState==0){initIndex();}})();document.cookie = 'IS_STATIC=1;expires=' + new Date(new Date().getTime() + 10*60*1000).toGMTString();</script>
</body></html>

如果我们想存入文件,在使用cat读取响应的时候,将输出重定向到文件就可以了:

[root@centos-clone1 fd]# exec 8<> /dev/tcp/www.baidu.com/80
[root@centos-clone1 fd]# echo -e "GET / HTTP/1.0\n" 1>&8
[root@centos-clone1 fd]# cat 0<&8 1> ~/baidu.txt
[root@centos-clone1 fd]# cat ~/baidu.txt 

注意:如果在创建了socket后,我们过一段时间才发送请求,可能因为socket链接超时而收不到响应,此时应该重新绑定8>/dev/tcp/www..baidu.com/80。

 

四、变量

1.变量生命周期

变量的生命周期是在当前运行bash的进程中的,当前bash退出后,变量也就消亡了。

[root@centos-clone1 ~]# myname=Leo
[root@centos-clone1 ~]# echo $myname 
Leo
[root@centos-clone1 ~]# /bin/bash
[root@centos-clone1 ~]# echo $myname

[root@centos-clone1 ~]# exit
exit
[root@centos-clone1 ~]# echo $myname
Leo

我们可以看到,定义一个变量myname为Leo,当前进程中打印$myname输出Leo正确。

我们启动一个bash子进程,并在子进程中打印$myname,输出空,表示没有这个变量。

退出子进程回到父进程,再次打印$myname,正确显示Leo。

 

2.局部变量

在函数内部,我们可以定义局部变量:

[root@centos-clone1 ~]# ooxx(){
> local age=32
> echo $age
> }
[root@centos-clone1 ~]# ooxx
32
[root@centos-clone1 ~]# echo $age
#输出空

可以看到在函数内部定义的局部变量的生命周期只是在函数内部,函数执行完后,局部变量消亡。

 

3.函数内部访问普通变量

[root@centos-clone1 ~]# ooxx(){
> echo $myname
> myname=John
> echo $myname
> }
[root@centos-clone1 ~]# ooxx
Leo
John
[root@centos-clone1 ~]# echo $myname
John

可以看到,函数内部可以访问普通变量,并可以修改其值。

 

4.参数

对于shell脚本和shell函数,我们都需要传入参数。

和JAVA,C++等高级语言不同,shell的参数不需要形参,而是通过一些符号来取值:

[root@centos-clone1 ~]# ooxx(){
> echo $1
> echo $2
> echo $#
> }
[root@centos-clone1 ~]# ooxx 1 2 3 4 5
1
2
5

我们可以看到,shell中的参数是使用$1、$2、$#、$*等来取值的,如下表所示:

# 参数个数
$#
# 参数列表
$*
# 参数列表
$@
# 第一个参数
$1
# 第二个参数
$2
# 第11个参数
${11}

使用示例:

# 创建一个脚本
vi test.sh

# 输入内容 echo $1 echo $2 echo $11 echo ${11} echo $# echo $* echo $@

运行脚本:

[root@centos-clone1 ~]# . test.sh 1 2 3 4 5 6 7 8 9 0 a b c
1
2
11
a
13
1 2 3 4 5 6 7 8 9 0 a b c
1 2 3 4 5 6 7 8 9 0 a b c

我们输入了13个参数

$1为1正确。$2为2正确。$11为11,不正确,是先取了$1然后拼接上1,得到11。${11}取第11个参数为a是正确的。

$#输出13正确,一共有13个参数。$*和$@输出参数列表。

 

5.管道

重要:管道符号"|"实际上会开启多个子进程来完成前后的命令。

[root@centos-clone1 ~]# ls -l / | more

也就是"|"左边的ls命令和右边的more命令,会分别新建一个子进程来分别执行。管道打通两个子进程之间的通道,将ls的输出传递给more命令。

 

我们验证一下:

[root@centos-clone1 ~]# echo $$
1594
[root@centos-clone1 ~]# echo $$ | more
1594

第一个echo $$打印的是当前进程的PID,而根据上述的说法,第二个命令打印的PID不应该是1594。这里出现了问题:

我们将echo $$换一个命令:

[root@centos-clone1 ~]# echo $BASHPID
1594
[root@centos-clone1 ~]# echo $BASHPID | more
113173

使用echo $BASHPID同样获取的是进程的PID。但是第二个命令的结果却真正输出了子进程的PID。

这是因为,echo $$的优先级高于管道符号"|":

# bash先看到echo $$并将其执行,结果替换为了1594,然后再启动子进程
echo $$ | more
# 相当于
echo 1594 | more

而echo $BASHPID只是一个普通取值,优先级低于管道符号"|":

# 先启动了子进程,然后在子进程中执行echo $BASHPID
echo $BASHPID | more
# 所以$BASHPID拿到的是子进程的PID

 

6.判断一个命令是否执行成功

[root@centos-clone1 ~]# ls -l /
total 32
lrwxrwxrwx    1 root root        7 Oct 14 20:48 bin -> usr/bin
dr-xr-xr-x.   5 root root     4096 Oct 15 12:59 boot
drwxr-xr-x   19 root root     3080 Oct 24 01:02 dev
drwxr-xr-x.  76 root root     8192 Oct 24 01:02 etc
drwxr-xr-x.   5 root root       40 Oct 20 15:57 home
lrwxrwxrwx    1 root root        7 Oct 14 20:48 lib -> usr/lib
lrwxrwxrwx    1 root root        9 Oct 14 20:48 lib64 -> usr/lib64
drwxr-xr-x.   2 root root        6 Apr 11  2018 media
drwxr-xr-x.   2 root root        6 Apr 11  2018 mnt
drwxr-xr-x.   2 root root        6 Apr 11  2018 opt
dr-xr-xr-x  114 root root        0 Oct 24 01:02 proc
dr-xr-x---.   8 root root     4096 Oct 25 15:11 root
drwxr-xr-x   23 root root      640 Oct 24 01:02 run
lrwxrwxrwx    1 root root        8 Oct 14 20:48 sbin -> usr/sbin
drwxrwx---    2 root leoshare   18 Oct 20 16:20 share
drwxr-xr-x.   2 root root        6 Apr 11  2018 srv
dr-xr-xr-x   13 root root        0 Oct 24 22:44 sys
drwxrwxrwt.   9 root root     4096 Oct 25 14:30 tmp
drwxr-xr-x.  14 root root     4096 Oct 22 14:55 usr
drwxr-xr-x.  19 root root     4096 Oct 14 20:48 var
[root@centos-clone1 ~]# echo $?
0
[root@centos-clone1 ~]# ls -l /god
ls: cannot access /god: No such file or directory
[root@centos-clone1 ~]# echo $?
2

我们可以看到,当ls执行成功时,$?的值为0。

当ls执行失败时,$?的值为非0。

所以,我们在脚本中可以通过判断$?来判断前面的命令是否执行成功。

 

五、环境变量

前面我们提到的变量的生命周期都是限于当前进程的。

我们的父进程要创建一个子进程,而子进程也要获取到某个变量的值(环境变量)。

什么叫做环境变量,环境可能是包含多个进程的一个环境,则环境变量能够供多个进程访问。

[root@centos-clone1 ~]# echo $env_var
999
[root@centos-clone1 ~]# /bin/bash
[root@centos-clone1 ~]# echo $env_var
999

使用export将变量导出,则可以供子进程访问。

注意:这里的export是导出而不是共享,也就是说该变量可供该父进程创建的所有子进程访问,但是不是共享的。当子进程修改该变量时,父进程中这个变量的值不发生改变。反之同理。

重要:export导出的变量,相当于在子进程中有一个拷贝,各自拥有一个独立的副本。

 

在这种原理下,我们考虑一个场景:

当父进程中有大量的导出的环境变量,每个变量的值占用空间很大。所有环境变量加起来例如有10GB,那么父进程创建子进程时,理论上会将所有的环境变量进行拷贝。子进程创建速度会非常缓慢。

操作系统内核设计者如何解决这个问题,答案时使用copy on write技术。

即,创建子进程时,所有的环境变量以引用的方式传递给子进程,当父进程要修改某个环境变量时,在修改之前,将副本拷贝给子进程,这样将10G的变量分时拷贝,就可以解决这个问题。

同样的,当子进程要修改某个变量时,则先拷贝该变量,然后再进行修改。

 

六、其他一些知识点

1.引用

双引号引用:

[root@centos-clone1 ~]# name=Leo
[root@centos-clone1 ~]# echo $name
Leo
[root@centos-clone1 ~]# echo "$name say hello"  
Leo say hello

双引号可以拼接中间带空格的字符串。并且其中的$name优先级更好,bash会取到name的值。

 

单引号引用:

[root@centos-clone1 ~]# name=Leo
[root@centos-clone1 ~]# echo $name
Leo
[root@centos-clone1 ~]# echo '$name say hello'
$name say hello

我们发现单引号中的$name无法取值,说明$取值的优先级低于单引号。

 

2.将命令输出赋值给变量

[root@centos-clone1 ~]# lines=`ls -l / | wc -l`
[root@centos-clone1 ~]# echo $lines
21

整个命令用反引号引起来。

 

七、表达式

1.算术表达式

第一种形式:let c=$a+$b

[root@centos-clone1 ~]# a=1
[root@centos-clone1 ~]# b=2
[root@centos-clone1 ~]# let c=$a+$b
[root@centos-clone1 ~]# echo $c
3

第二种形式:c=$((a+b))

[root@centos-clone1 ~]# c=$((a+b))
[root@centos-clone1 ~]# echo $c
3

2.条件表达式(逻辑表达式)

使用test做条件判断,查看help test:

[root@centos-clone1 ~]# help test
test: test [expr]
    Evaluate conditional expression.
    
    File operators:
    
      -a FILE        True if file exists.
      -b FILE        True if file is block special.
      -c FILE        True if file is character special.
      -d FILE        True if file is a directory.
      -e FILE        True if file exists.
      -f FILE        True if file exists and is a regular file.
      -g FILE        True if file is set-group-id.
      -h FILE        True if file is a symbolic link.
      -L FILE        True if file is a symbolic link.
      -k FILE        True if file has its `sticky' bit set.
      -p FILE        True if file is a named pipe.
      -r FILE        True if file is readable by you.
      -s FILE        True if file exists and is not empty.
      -S FILE        True if file is a socket.
      -t FD          True if FD is opened on a terminal.
      -u FILE        True if the file is set-user-id.
      -w FILE        True if the file is writable by you.
      -x FILE        True if the file is executable by you.
      -O FILE        True if the file is effectively owned by you.
      -G FILE        True if the file is effectively owned by your group.
      -N FILE        True if the file has been modified since it was last read.
    
      FILE1 -nt FILE2  True if file1 is newer than file2 (according to
                       modification date).
    
      FILE1 -ot FILE2  True if file1 is older than file2.
    
      FILE1 -ef FILE2  True if file1 is a hard link to file2.
    
    String operators:
    
      -z STRING      True if string is empty.
    
      -n STRING
         STRING      True if string is not empty.
    
      STRING1 = STRING2
                     True if the strings are equal.
      STRING1 != STRING2
                     True if the strings are not equal.
      STRING1 < STRING2
                     True if STRING1 sorts before STRING2 lexicographically.
      STRING1 > STRING2
                     True if STRING1 sorts after STRING2 lexicographically.
    
    Other operators:
    
      -o OPTION      True if the shell option OPTION is enabled.
      -v VAR     True if the shell variable VAR is set
      ! EXPR         True if expr is false.
      EXPR1 -a EXPR2 True if both expr1 AND expr2 are true.
      EXPR1 -o EXPR2 True if either expr1 OR expr2 is true.
    
      arg1 OP arg2   Arithmetic tests.  OP is one of -eq, -ne,
                     -lt, -le, -gt, or -ge.

可以从帮助中看到,test可以做文件状态的判断,文件之间的比较,以及字符串的比较,数值的比较等等。

 

使用test比较两个数字:

[root@centos-clone1 ~]# test 3 -gt 8
[root@centos-clone1 ~]# echo $?
1

3大于8,结果应该是假,所以$?的值为非0。

[root@centos-clone1 ~]# test 3 -lt 8
[root@centos-clone1 ~]# echo $?
0

反之,命令的执行状态为0,表示结果为真。

 

由于运行的结果是以命令成败与否来判断,则一般使用以下形式:

[root@centos-clone1 ~]# test 3 -gt 8 && echo "It's true"

当前面成功运行时,后面的才会执行。

也可以写成更清晰的形式:

[root@centos-clone1 ~]# [ 3 -gt 8 ] && echo "It's true"

我们看一下"[]"的信息:

[root@centos-clone1 ~]# type '['
[ is a shell builtin

发现[]是一个bash内建命令,是命令后面就必须跟一个空格。。。

[root@centos-clone1 ~]# [3 -gt 8 ] && echo "It's true"  
bash: [3: command not found
[root@centos-clone1 ~]# [ 3 -gt 8] && echo "It's true" 
bash: [: missing `]'

前中括号的后面以及后中括号的前面都必要带空格,否则会报错。

总结:只要是命令,后面必须有空格。

如果要取反:

[root@centos-clone1 ~]# [ ! 3 -gt 8 ] && echo "It's true"  

取反就在前面加"!"。

 

八、示例(编写一个自动创建用户的脚本)

#!/bin/bash
[ $# -eq 2 ] || exit 2
adduser $1
echo $2 | passwd --stdin $1 &> /dev/null
echo "Add User Seccuss..."

解释:

1)[ $# -eq 2 ] || exit 2,表示判断参数是否是2个,如果不是2个,则退出脚本。exit后面跟数字标准脚本的执行状态,0表示正确退出,1-127表示错误

2) 创建用户,用户名从第一个参数获取

3) 设置用户密码,从第二个参数获取,注意这里passwd命令要接受标准输入必须使用--stdin选项。并将命令的返回信息全部扔掉,/dev/null是一个数据黑洞。

4) 打印一个消息,表示添加成功。

 

添加用户是否存在的验证:

[root@centos-clone1 ~]# id leokale
uid=1003(leokale) gid=1004(leokale) groups=1004(leokale)
[root@centos-clone1 ~]# echo $?
0

当用户存在时id命令执行正确,返回0。

[root@centos-clone1 ~]# id leokale
id: leokale: no such user
[root@centos-clone1 ~]# echo $?
1

当用户不存在时,id命令执行失败,返回非0数字1。

所以,我们可以通过id命令的执行状态来判断该用户是否存在:

#!/bin/bash
[ ! $# -eq 2 ] && echo "number of args wrong.." && exit 2
id $1 &> /dev/null && echo "User is exist..." && exit 5
adduser $1
echo $2 | passwd --stdin $1 &> /dev/null
echo "Add User Seccuss..."

通过id命令判断指定创建的用户是否存在,如果存在,则提示用户存在,然后错误退出,退出码为5。如果用户不存在,则执行后面的逻辑,创建指定用户。

 

只有root用户才有权限添加用户,我们要考虑普通用户误运行该脚本的情况:

#!/bin/bash
[ ! $# -eq 2 ] && echo "number of args wrong.." && exit 2
id $1 &> /dev/null && echo "User is exist..." && exit 5
adduser $1 &>/dev/null && echo $2 | passwd --stdin $1 &> /dev/null && echo "Add User Seccuss..." $$ exit 0
echo "Somewhere wrong.."
exit 7

我们将创建用户,创建密码都用&&串起来,这样当创建用户失败的情况下,横向命令都不会继续执行,然后错误退出,退出码为7。

# 使用普通用户leo来执行脚本
[leo@centos-clone1 tmp]$ ./addUser number of args wrong.. [leo@centos-clone1 tmp]$ ./addUser leokale 52myself User is exist... [leo@centos-clone1 tmp]$ ./addUser sjdjkf sdf Somewhere wrong..

 

九、控制语句

1.if判断语句

查看if的帮助:

[leo@centos-clone1 tmp]$ help if
if: if COMMANDS; then COMMANDS; [ elif COMMANDS; then COMMANDS; ]... [ else COMMANDS; ] fi
    Execute commands based on conditional.
    ......
    ......

    Exit Status:
    Returns the status of the last command executed.

我们可以看到if语句的基本形式为:if 命令; then 命令; else 命令; fi。。以if开始,以fi结尾。

if语句使用示例:

[root@centos-clone1 ~]# vi test2.sh
if ls -l / &> /dev/null; then echo "OK!"; else echo "Not OK!"; fi
[root@centos-clone1 ~]# vi test2.sh
if [ 3 -gt 8 ]; then echo "OK!"; else echo "Not OK!"; fi

分行写法:

[root@centos-clone1 ~]# vi test2.sh 
if ls -l / &> /dev/null; then 
echo "OK!" else
echo "Not OK!" fi

2.for循环

查看for的帮助:

[root@centos-clone1 ~]# help for
for: for NAME [in WORDS ... ] ; do COMMANDS; done
    Execute commands for each member in a list.
    ......
    
for ((: for (( exp1; exp2; exp3 )); do COMMANDS; done
    Arithmetic for loop.
    
    Equivalent to
        (( EXP1 ))
        while (( EXP2 )); do
                COMMANDS
                (( EXP3 ))
        done
 
    ......

for循环使用示例:

[root@centos-clone1 ~]# vi test3.sh
for((i=0;i<10;i++));do echo $i;done
[root@centos-clone1 ~]# chmod +x test3.sh
[root@centos-clone1 ~]# ./test3.sh 
0
1
2
3
4
5
6
7
8
9

分行写:

[root@centos-clone1 ~]# vi test3.sh 
for((i=0;i<10;i++)); do
echo $i done

增强for循环:

[root@centos-clone1 ~]# vi test4.sh
for name in leo john "leo kale";do echo $name;done
[root@centos-clone1 ~]# ./test4.sh 
leo
john
leo kale

分行写法:

[root@centos-clone1 ~]# vi test4.sh 
for name in leo john "leo kale";do 
    echo $name
done

 3.while循环

[root@centos-clone1 ~]# vi test5.sh
while ls -l /god;do
    echo "ok"
    rm -rf /god 
done
[root@centos-clone1 ~]# ./test5.sh
total 0
ok
ls: cannot access /god: No such file or directory

预先创建一个/god目录,然后执行上述脚本,循环第一次发现有/god目录,然后执行删除操作,第二轮循环发现目录不存在,则退出。

4.case多分支

[root@centos-clone1 ~]# vi test6.sh 
name=$1

case $name in
"john")
    echo "John";;
"leo")
    echo "Leo";;
*)
    echo "wrong";;
esac
[root@centos-clone1 ~]# ./test6.sh leo
Leo
[root@centos-clone1 ~]# ./test6.sh john
John
[root@centos-clone1 ~]# ./test6.sh leokale
wrong

 

十、示例

增强For循环读取一个文件,打印每一行,并统计行数:

[root@centos-clone1 ~]# vi scanfile.sh 

#!/bin/bash
oldIFS=$IFS
IFS=$'\n'
num=0
content=`cat testfile.txt`
for i in $content;do
    echo $i
    ((num++))
done
echo "$num lines"

IFS=$oldIFS

解释:

1)首先我们备份IFS,IFS是一个环境变量,其中定义了做文本分割的符号,例如空格、换行等。

2)将IFS赋值为只有换行符,否则文件中的每一行如果存在空格,则会被自动切分成多行。

3)完成后,需要将IFS回复,不影响其他程序的运行。

 

逐步For循环方式:

[root@centos-clone1 ~]# vi scanfile.sh 
#!/bin/bash

num=0
lines=`cat testfile.txt | wc -l`
for((i=1;i<=lines;i++));do
        head -$i testfile.txt | tail -1
        ((num++))
done
echo num:$num

解释:

1)使用cat testfile.txt | wc -l获取文件行数

2) 从第1行开始for循环遍历,获取每一行内容,并打印

 

while循环方式:

[root@centos-clone1 ~]# vi scanfile.sh 
#!/bin/bash

exec 8<$0
exec 0< testfile.txt

num=0
while read line;do
        echo $line
        ((num++))
done 
echo num:$num
exec 0<&8

解释:

1)先备份准备输入

2)重定向标准输入为testfile.txt文件

3)使用read从输入流中读取一行(read对换行符敏感),循环读取

4)回复标准输入

posted @ 2019-10-23 16:18  风间悠香  阅读(462)  评论(0编辑  收藏  举报