Shell 基本常识

Shell

所有 Linux 发行版默认的 shell 都是 bash shell,在本文侧重于基础的 GNU bash shell 下面是其他几种流行的 shell

  • ash: 简单的轻量级 shell 完全兼容 bash shell

  • korn: 兼容 Bourne shell 的编程 shell

  • tcsh: 融入部分 C 语言特性

  • dash:

    • Debian Linux 发行版与其许多衍生产品 dash shell,它是 ash shell 的直系后裔,是 Unix 系统中 Bourne shell 的简易复制品

    • 在许多基于 Debian 的 Linux 发行版中,dash shell 实际上并不是默认 shell

    • 由于 dash 以简洁为目标,因此其使用的环境变量比 bash 明显要少,但 dash 环境中无法使用的 bash 特性

      • 算术运算
      • test 命令不同
      • 不支持 function 语句
  • zsh:

    • 结合 bash, korn, tcsh 的特性的高级 shell

    • 对比 bash 另一个流行的 shell,它汲取了所有现存 shell 的设计理念,增加了许多独有的特性

    • 是为程序员而设计的一款高级 shell

    • 独有特性

      • 改进的 shell 选项处理
      • shell 兼容性模式
      • 可加载模块
    • 到目前为止,zsh shell 是所有 shell 中可定制性最强的

    • 可以轻松地执行数学函数

进入命令行

在图形化桌面出现之前,系统交互的唯一方式就是通过 shell 提供的 文本命令行界面 command line interface,CLI

  • 控制台终端

    • 该模式只在显示器上提供一个简单的 shell CLI,称作 Linux 控制台,因为它模拟的早期的硬接线控制台终端
    • Linux 系统启动时会自动创建多个 虚拟控制台,虚拟控制台是运行在Linux系统内存中的终端会话,多数 Linux 发行版会启动 5~6 个(甚至更多) 虚拟控制台 代替 哑终端
    • 在大多数 Linux 发行版中,可以使用简单的按键组合来访问某个 Linux 虚拟控制台,通常必须按下Ctrl+Alt 组合键再按一个功能键(F1~F7)来进入你要使用的虚拟控制台

    注意:在 Linux 虚拟控制台中是无法运行任何图形化程序的,尽管虚拟控制台只是一个文本模式的控制台终端,但你也可以修改文字和背景色

    • setterm --inversescreen on 作用是文字色和背景色交换,使用 setterm --inversescreen off 可以关闭
    • setterm -background 将终端的背景色改为指定颜色 setterm -foreground 将终端的前景色改为指定颜色,参数: black, red, green, yellow, blue, magenta, cyan, white 共 8 种颜色
    • setterm -reset 可以恢复默认设置
  • 图形化终端

    • 虚拟控制台终端的另一种替代方案是使用 Linux 图形化桌面环境中的 终端仿真软件包,终端仿真软件包会在桌面图形化窗口中模拟控制台终端

    • 一些流行的图形化终端仿真器软件包

      • Alacritty
      • cool-retro-term
      • GNOME Terminal
      • Guake
      • Konsole
      • kitty
      • rxvt-unicode
      • Sakura
      • st
      • Terminator
      • Terminology
      • Termite
      • Tilda
      • xterm
      • Xfce4-terminal
      • Yakuake
    • 常用的 GNOME Terminal, Konsole, xterm

启动 shell

  • GNU bash shell 是一个程序,提供了对 Linux 系统的交互式访问,系统启动的 shell 程序取决于用户账户的配置,在 /etc/passwd 文件包含了所有系统用户账户以及每个用户的基本配置信息

  • 尽管 bash shell 会在登录时自行启动,但是否会出现 CLI 取决于所使用的登录方式

    • 采用的是虚拟控制台终端登录,那么 CLI 提示符会自动出现
    • 通过图形化桌面环境登录Linux系统,则需要启动图形化终端仿真器来访问 shell CLI 提示符
    • 默认的 bash shell 提示符是美元符号 $,不同的 Linux 发行版会采用不同格式的提示符,shell 提示符并非一成不变
    • 当你登录系统并获得 shell CLI 提示符后,shell 会话会从你的主目录开始
  • 大多数 Linux 发行版自带在线手册,可用于查找 shell 命令以及其他 GNU 实用工具的相关信息,man 命令可以访问 Linux 系统的手册页。

    man 命令之后跟上想要查看的命令名,就可以显示相应的手册页

    man 命令名
    
    • 当你使用 man 命令查看命令手册页的时候,其中的信息是由 分页程序 pager 来显示的

    • 可以按 q 键 退出手册页

    • 手册页将与命令相关的信息分成了多段,每一段的惯用名标准,另外有些命令使用的段名并没有在上面的惯用标准中列出

      • Name: 命令名称及简要描述
      • Synopsis: 命令语法
      • Configuration: 命令配置信息
      • Description: 命令的基本描述
      • Option: 命令选项描述
      • Exit Status: 命令退出状态
      • Return Value: 返回值
      • Errors: 错误信息
      • Environment: 环境变量
      • Files: 使用的文件
      • Versions: 版本信息
      • Conforming To: 遵循的命名标准
      • Notes: 其他帮助资料
      • Bugs: 提交 Bug 的途径
      • Example: 命令用法示例
      • Authors: 开发人员信息
      • Copyright: 源码版权信息
      • See Also: 类似命令
    • man 命令可以使用 关键字 来搜索手册页

      man -k keyword
      
    • 手册页中还有不同的节,每节都分配了一个数字,从 1~9 章节

      # 阅读方法
      man num intro       # num 是每节的数字
      
      • 1: 可执行程序或 shell 命令
      • 2: 系统调用
      • 3: 库调用
      • 4: 特殊文件
      • 5: 文件格式约定
      • 6: 游戏
      • 7: 概念,约定,杂项
      • 8: 超级用户和系统管理员相关命令
      • 9: 内核线程 routine

      Linux 系统手册页可能包含一些非标准的节编号

    • 大多数命令接受 -h 或 --help 选项

  • 了解如何在命令行中输入该命令

    COMMAND-NAME [OPTION]... [ARGUMENT]...
    
    • COMMAND-NAME 命令名称
    • OPTION 修改命令行为的选项
    • ARGUMENT 是传递给命令的参数
    • [] 代表命令的必要性,有意味可选非必要
    • ... 表示可以一次或指定多

常用命令

  • cd: 目录切换,允许绝对路径或相对路径
  • pwd: 命令可以显示出 shell 会话的当前目录
  • ls: 显示当前目录下的文件和目录,允许使用通配符
  • touch: 创建好指定的文件并将你的用户名作为该文件的属主
  • mkdir: 创建好指定的目录并将你的用户名作为该文件的属主
  • ln: 创建链接文件
  • cp: 复制文件,复制目录需要 -R 选项,格式 cp src dest,其中 src 允许使用通配符
  • mv: 移动目录或文件,可以起到重命名作用,该操作不改变文件的 inode 编号或时间戳
  • rm: 删除文件或目录

查看文件内容

  • file: 能够探测文件的内部并判断文件类型
  • cat: 显示文本文件中所有数据
  • more: 分页查看
  • less: more 升级版,能够实现在文本文件中前后翻动,还有一些高级搜索功能,还可以在完成整个文件的读取之前显示文件的内容
  • tail: 显示文件最后几行的内容,默认 10 行
  • head: 显示文件开头几行的内容,默认 10 行

系统管理命令

  • ps: 监测进程,默认只显示运行在当前终端中属于当前用户的那些进程

    • PID: 程序的 进程 ID process ID,PID
    • TTY: 从属终端
    • TIME: 其占用的 CPU 时间
    • CMD: 进程名称

    Linux 系统中使用的 GNU ps 命令支持以下3种类型的命令行选项:

    • Unix 风格选项,选项前加单连字符

      需要查看系统中运行的所有进程,可以使用 -ef 选项组合

      • -e 选项指定显示系统中运行的所有进程

      • -f 选项则扩充输出内容以显示一些有用的信息列

        • UID: 启动该进程的用户
        • PID: 进程 ID
        • PPID: 父进程的 PID(如果该进程是由另一个进程启动的)
        • C: 进程生命期中的 CPU 利用率
        • STIME: 进程启动时的系统时间
        • TTY: 进程是从哪个终端设备启动的
        • TIME: 运行进程的累计 CPU 时间
        • CMD: 启动的程序名称
      • -l 选项之后多出的信息列

        • F: 内核分配给进程的系统标志

        • S: 进程的状态

          • O 代表正在运行
          • S 代表在休眠
          • R 代表可运行,正等待运行
          • Z 代表僵化,已终止但找不到其父进程
          • T 代表停止
        • PRI: 进程的优先级(数字越大,优先级越低)

        • NI: 谦让度,用于决定优先级

        • ADDR: 进程的内存地址

        • SZ: 进程被换出时所需交换空间的大致大小

        • WCHAN: 进程休眠的内核函数地址

    • BSD 风格选项,选项前不加连字符

      在使用 BSD 风格的选项时,ps命令会自动改变输出以模仿 BSD 格式,上述很多输出列跟使用 Unix 风格选项时是一样的,但还是有一些不同之处

      • VSZ: 进程占用的虚拟内存大小(以 KB 为单位)

      • RSS: 进程在未被交换出时占用的物理内存大小

      • STAT: 代表当前进程状态的多字符状态码

        进程状态码:第一个字符采用了与Unix风格的 S 输出列 相同的值表明进程是在休眠、运行还是等待,第二个字符进一步说明了进程的状态

        • <: 该进程以高优先级运行
        • N: 该进程以低优先级运行
        • L: 该进程有锁定在内存中的页面
        • s: 该进程是控制进程
        • l: 该进程拥有多线程
        • +: 该进程在前台运行
    • GNU 长选项,选项前加双连字符

      GNU 开发人员在经过改进的新ps命令中加入了另外一些选项,其中一些 GNU 长选项复制了现有的 Unix 或 BSD 风格选项的效果,而另外一些则提供了新功能

      • --forest 选项能够使用 ASCII 字符来绘制图表以显示进程的层级信息
  • top: 可以实时显示进程信息

    在top命令运行时键入可改变top的行为

    • 键入 f 允许你选择用于对输出进行排序的字段
    • 键入 d 允许你修改 轮询间隔 polling interval
    • 键入 q 可以退出 top

    利用该工具,可以轻易找出占用系统大量资源的罪魁祸首

  • kill: 会向命令行中列出的所有 PID 发送 TERM 信号,TERM 信号会告诉进程终止运行

    • 只能使用进程的 PID 而不能使用其对应的程序名
    • 要发送进程信号,必须是进程的属主或 root 用户
    • -s 选项支持指定其他信号

    要检查 kill 命令是否生效,可以再次执行 ps 命令或 top 命令,看看那些进程是否已经停止运行

  • pkill: 可以使用程序名代替 PID 来终止进程,允许使用通配符

    注意:以 root 身份使用命令中的通配符很容易意外地将系统的重要进程终止,这可能会导致文件系统损坏

  • mount: 用于挂载存储设备,默认情况下会输出当前系统已挂载的设备列表

    命令提供了4部分信息:

    • 设备文件名
    • 设备在虚拟目录中的挂载点
    • 文件系统类型
    • 已挂载设备的访问状态

    手动挂载设备的基本命令:

    mount -t type device directory
    
    • type: 磁盘格式化所使用的文件系统类型

      Windows PC 共用移动存储设备,通常需要使用下列文件系统类型

      • vfat: Windows FAT32文件系统,支持长文件名
      • ntfs: Windows NT及后续操作系统中广泛使用的高级文件系统
      • exfat: 专门为可移动存储设备优化的Windows文件系统
      • iso9660: 标准CD-ROM和DVD文件系统

      大多数 U 盘会使用 vfat 文件系统 格式化,如果需要挂载数据 CD 或 DVD,则必须使用 iso9660 文件系统 类型

    • device: 该存储设备的设备文件位置

    • directory: 挂载点在虚拟目录中的位置

    注意:存储设备被挂载到虚拟目录,root 用户就拥有了对该设备的所有访问权限,而其他用户的访问则会被限制

  • umount: 移除可移动设备时,不能直接将设备拔下,应该先卸载

    命令的格式:

    umount [device | directory]
    

    支持通过 设备文件 或者 挂载点 来指定要卸载的设备,如果有任何程序正在使用设备上的文件,则系统将不允许卸载该设备

  • df: 查看所有已挂载磁盘的使用情况

  • du: 可以显示某个特定目录(默认情况下是当前目录)的磁盘使用情况

处理数据命令

  • sort: 对数据进行排序

    • -t 选项指定字段分隔符
    • -k 选项指定排序字段
    • -n 选项将数字按值排序
    • -M 选项将数字按月排序
  • grep: 会在输入或指定文件中逐行搜索匹配指定模式的文本

  • gzip: 用于压缩文件

  • gzcat: 用于查看压缩过的文本文件的内容

  • gunzip: 用于解压文件

Linux 基础管理命令

用户管理

  • useradd: 向 Linux 系统添加新用户

    • 默认值使用 /etc/default/useradd 文件设置
    • 安全设置在 /etc/login.defs 文件中定义
    • 用户账户管理命令需要以 root 用户账户登录或者通过 sudo 命令运行
  • userdel: 从系统中删除用户

    • 默认情况下,userdel 命令只删除 /etc/passwd 和 /etc/shadow 文件中的用户信息,属于该账户的文件会被保留
    • -r 选项,则userdel会删除用户的 $HOME 目录以及邮件目录,然而系统中仍可能存有已删除用户的其他文件
  • 修改用户

    • usermod: 提供了修改 /etc/passwd 文件中大部分字段的相关选项只需指定相应的选项即可,大部分选项与useradd命令的选项一样

      • -l: 修改用户账户的登录名
      • -p: 修改账户密码
      • -U: 解除锁定,恢复用户登录
      • -L: 可以锁定账户,使用户无法登录,无须删除账户和用户数据
      • -G: 提供向组中添加用户不会影响主要组,更改了已登录系统的用户所属的组,则该用户必须注销后重新登录,这样新的组关系才能生效
      • -g: 则指定的组名会替换掉在 /etc/passwd 文件中为该用户分配的主要组
    • passwd: 可以方便地修改用户密码,只有 root 用户才有权限修改别人的密码

    • chpasswd: 能从标准输入自动读取一系列以冒号分隔的登录名和密码对偶

    • chfn: 提供了在 /etc/passwd 文件的备注字段中保存信息的标准方法,会将用于 Unix 的 finger 命令的信息存入备注字段

    • finger: 可以非常方便地查看 Linux 系统的用户信息,安装该命令可能会使你的系统受到攻击漏洞的影响

    • chage: 命令可用于帮助管理用户账户的有效期

  • groupadd: 可用于创建新组

  • groupdel: 删除组

  • groupmod: 可以修改已有组

  • 文件权限:

    • 文件权限符号

      • r 代表对象是可读的
      • w 代表对象是可写的
      • x 代表对象是可执行的如果没有某种权限,则在该权限位会出现连字符
    • 组权限分别对应对象安全级别

      • 对象的属主
      • 对象的属组
      • 系统其他用户
    • umask: 用来设置新建文件和目录的默认权限

    • chmod: 可以修改文件和目录的安全设置,参数允许使用八进制模式或符号模式来进行安全设置

    • chown: 前者可以修改文件的属主,可以修改文件的所有符号链接文件的所属关系

      命令的格式

      chown options owner[.group] file
      
    • chgrp: 后者可以修改文件的默认属组

  • 访问控制列表 ACL

    • getfacl: 能够查看分配给文件或目录的 ACL

    • setfacl: 能够设置分配给文件或目录的 ACL

      • -m 选项修改分配给文件或目录的权限
      • -x 选项删除特定权限

      3 种格式定义规则

      u[ser]:uid:perms
      g[roup]:gid:perms
      o[ther]::perms
      
      • 要为用户分配权限,可以使用 user 格式
      • 要为组分配权限,可以使用 group 格式
      • 要为其他用户分配权限,可以使用 other 格式

管理文件系统

  • fdisk: 可以在任何存储设备上创建和管理分区,但是只能处理最大 2TB 的硬盘

    • 如果存储设备是首次分区,则会警告你该设备没有分区表
    • 是一个交互式程序,允许你输入命令来逐步完成硬盘分区操作
    • 需要指定待分区的存储设备的名称,同时还必须有超级用户权限
    • 不允许调整现有分区的大小,你能做的是删除现有分区后重新创建
  • gdisk: 如果存储设备要采用 GUID 分区表 GUID partition table,GPT,就要用到

    • 会识别存储设备所采用的分区类型
    • 在转换存储设备分区类型的时候务必小心,所选择的类型必须与系统固件兼容
    • 提供了自己的命令行提示符,允许输入命令进行分区操作
  • GNU parted: 操作命令偏向词

    • 允许调整现有的分区大小,所以可以很容易地收缩或扩大磁盘分区

将数据存储到分区之前,必须使用某种文件系统对其进行格式化,并非所有的文件系统工具都已经默认安装过,要想知道某个工具是否可用,可以使用 type 命令

  • mkefs: ext
  • mke2fs: ext2
  • mkfs.ext3: ext3
  • mkfs.ext4: ext4
  • mkreiserfs: ReiserFS
  • jfs_mkfs: JFS
  • mkfs.xfs: XFS
  • mkfs.zfs: ZFS
  • mkfs.btrfs: Btrfs

为分区创建好文件系统之后,下一步是将其挂载到虚拟目录中的某个挂载点,以便在新分区中存储数据

  • mount 命令会将新分区的文件系统添加到挂载点
  • 挂载文件系统的方法只能实现临时挂载,重启系统后就失效了,要强制 Linux 在启动时自动挂载文件系统可以将其添加到 /etc/fstab 文件中

文件系统的检查与修复,每种文件系统各自都有相应的恢复命令

  • fsck: 可以检查和修复大部分Linux文件系统类型

    • 日志文件系统的用户确实也要用到 fsck 命令,但对于 COW 文件系统需要高级修复选项
    • 只能对未挂载的文件系统执行 fsck 命令,对大多数文件系统只需先卸载文件系统,检查完成之后再重新挂载即可

LVM 管理

  • 物理卷 PV

    • pvscan: 扫描 PV
    • pvcreate: 指定了一个未使用的磁盘分区(或整个驱动器)由 LVM 使用,在这个过程中 LVM 结构、卷标和元数据都会被添加到该分区
    • pvdisplay: 显示 PV 信息
    • pvremove: 删除 PV
  • 卷组 VG

    • vgscan: 扫描 VG

    • vgcreate: 会将 物理卷 PV 加入存储池,后者随后用于构建各种逻辑卷

      • 可以存在多个卷组
      • 将一个或多个 PV 加入 卷组 VG 时,也会同时添加卷组的元数据
      • 被指定为 PV 的分区只能属于单个 VG,但被指定为 PV 的其他分区可以属于其他 VG
    • vgdisplay: 显示 VG 信息

    • vgremove: 删除 VG

    • vgextend: 拓展 VG

    • vgreduce: 缩小 VG

  • 逻辑卷 LV

    • lvscan: 扫描 LV

    • lvcreate: 逻辑卷 LV 由 VG 的 存储空间块 PE 组成

      • 可以使用文件系统格式化 LV,然后将其挂载,像普通的磁盘分区那样使用
      • 可以有多个 VG,但 LV 只能从一个指定的 VG 中创建
      • 多个 LV 可以共享单个 VG
    • lvdisplay: 显示 LV 信息,也可以使用 lvs 命令和 lvscan 命令显示系统的 LV 信息

    • lvremove: 删除 LV

    • lvextend: 拓展 LV

    • lvreduce: 缩小 LV

要想了解所有的 LVM 命令,可以在命令行中输入 lvm help

软件包管理系统

  • 基于 Debian 的系统,基本使用

    • dpkg: 是基于 Debian 的软件包管理器的核心,用于在Linux系统中安装、更新、删除 DEB 包文件

    • APT 工具集

      • apt-cache
      • apt-get
      • apt: 命令本质上是 apt-cache 命令和 apt-get 命令的前端

      apt 仓库: 仓库位置保存在文件 /etc/apt/sources.list 中

  • 基于 Red Hat 的系统

    • rpm: 是基于 Debian 的软件包管理器的核心
    • yum: 用于 Red Hat, CentOS, Fedora
    • zypper: 用于 openSUSE
    • dnf: yum 的升级版,有一些新增的特性

    dnf 仓库:

    • 配置文件 /etc/dnf/dnf.conf
    • /etc/yum.repos.d 目录中的单独文件

使用容器管理软件

  • snap: 管理 snap 格式的应用程序容器

    • 在安装 snap 的时候,snapd 程序会将其作为驱动器挂载
  • flatpak: 管理 flatpak 格式应用程序容器

理解 shell

  • shell 类型

    • 默认的交互式 shell default interactive shell 也称 登录 shell login shell,只要用户登录某个虚拟控制台终端或是在 GUI 中启动终端仿真器,该 shell 就会启动
    • 默认的系统 shell default system shell/bin/sh 用于那些需要在启动时使用的系统shell脚本
  • $0 当前 shell 的名称

  • exit 可以退出 shell

子 shell

  • 用户登录某个 虚拟控制台终端 或在 GUI 中运行 终端仿真器 时所启动的默认的交互式 shell 之后,当 CLI 提示符处输入 bash 命令(或是其他 shell 程序名)时会创建新的 shell 程序,这是一个 子 shell

    • 生成子进程时,只有部分父进程的环境被复制到了子环境中

    • bash 常用选项

      • -c string : 从 string 中读取命令进行处理
      • -i : 启动一个交互性 shell
      • -l : 做为 login shell
      • -r : 启动一个受限 shell
      • -s : 从标准输入读取命令
  • 命令分组

    • 使用 () 圆括号进程列表,生成了一个子 shell 来执行这些命令
    • 使用 {} 花括号进行命令分组并不会像进程列表那样创建子 shell
  • $BASH_SUBSHELL 变量判断是否存在子 shell

    • 返回 0,那么表明没有子 shell
    • 返回大于 0 的数字,则表明存在子 shell
  • 子 shell 在 shell 脚本中经常用于 多进程处理

  • 交互式 shell 中,一种高效的子 shell 用法是 后台模式

    • 想将命令置入后台模式,可以在命令末尾加上字符 &
    • 当其被置入后台时,在 shell CLI 提示符返回之前,屏幕上会出现 后台作业号进程 ID
    • jobs 命令能够显示当前运行在后台模式中属于你的所有进程
  • coproc: 创建协程同时做两件事:

    • 在后台生成一个子 shell
    • 在该子 shell 中执行命令
    • 除了会创建子 shell,协程基本上就是将命令置入后台
  • 外部命令(有时也称为文件系统命令)是存在于bash shell之外的程序

    • 它并不属于shell程序的一部分
    • 外部命令程序通常位于 /bin, /usr/bin, /sbin, /usr/sbin 目录中
    • 每当执行外部命令时,就会创建一个子进程,这种操作称为 衍生 forking
  • 内建命令无须使用子进程来执行

    • 已经和 shell 编译成一体,作为 shell 的组成部分存在,无须借助外部程序文件来执行
    • type 命令来判断某个命令是否为内建
  • history: 跟踪你最近使用过的命令,是一个实用的内建命令,使用 !! 执行上一条命令

  • alias: 别名允许为常用命令及其参数创建另一个名称,从而将输入量减少到最低,另一个实用的shell内建命令

    • 选项 -p 可以查看当前可用的别名
  • unalias: 删除别名

环境变量

环境变量可以存储 shell 会话和工作环境的相关信息,允许在内存中存储数据以便 shell 中运行的程序或脚本能够轻松访问到这些数据

  • 全局变量:全局环境变量对于 shell 会话和所有生成的子 shell 都是可见的

    • 可以使用 env 命令来查看全局变量,使用 printenv 命令显示个别环境变量的值
  • 局部变量:只对创建它的 shell 可见

    • set 命令可以显示特定进程的所有环境变量,既包括局部变量、全局变量
  • 引用某个环境变量时,必须在该变量名前加上美元符号 $

可以在 bash shell 中直接设置自己的变量

  • 可以使用等号为变量赋值实现 局部环境变量,值可以是数值或字符串
  • 在变量名、等号和值之间没有空格,这一点非常重要
  • export 命令以及要导出的变量名(不加 $ 符号)来实现 全局环境变量
  • 修改子 shell 中的全局环境变量并不会影响父 shell 中该变量的值
  • unset 命令能删除已有的环境变量
  • 在子进程中删除了一个全局环境变量,那么该操作 仅对子进程有效,该全局环境变量在父进程中依然可用
  • 任何由父 shell 设置但 未导出的变量都是局部变量,不会被子 shell 继承

环境变量的另一个特性是可以作为数组使用

  • 环境变量的另一个特性是可以作为数组使用
  • 要为某个环境变量设置多个值,可以把值放在 圆括号 中,值与值之间以 空格分隔
  • 要引用单个数组元素,必须使用表示其在数组中位置的 索引,索引要写在 方括号 中,且 $ 符号 之后的所有内容都要放入 花括号
  • unset 命令可以删除数组中的某个值,后跟上数组名来删除整个数组
  • 数组并不太方便移植到其他 shell 环境,有时候数组变量只会把事情搞得更复杂

默认的 shell 环境变量

  • CDPATH: 以冒号分隔的目录列表,做为 cd 命令的搜索路径
  • HOME: 当前用户主目录
  • IFS: shell 用来将文本字符串分割为字符
  • MAIL: 当前用户收件箱的文件名
  • MAILPATH: 当前用户收件箱的文件名列表
  • OPTARG: getop 命令处理的最后一个选项参数
  • OPTIND: getop 命令处理的最后一个选项参数的索引
  • PATH: shell 查找命令的目录列表,只需引用原来的 PATH 值添加冒号,然后再使用绝对路径输入新目录,对于 PATH 变量的修改只能持续到退出或重启系统
  • PS1: shell 命令行主提示符
  • PS2: shell 命令行次提示符
  • HISTFILESIZE: 历史记录列表上限,位于内存中
  • HISTSIZE: 历史记录文件上限,位于硬盘上

当你登录 Linux 系统启动 bash shell 时,默认情况下 bash 会在几个文件中查找命令。这些文件称作 启动文件环境文件

  • 登录 shell 通常会从 5 个不同的启动文件中读取命令

    • /etc/profile

      • 是系统中默认的 bash shell 的主启动文件,系统中的 每个用户 登录时都会执行这个启动文件
      • 每种发行版的 /etc/profile 文件都有不同的设置和命令
    • $HOME/.bash_profile

      • 先检查 $HOME 目录中是不是还有一个名为 .bashrc 的启动文件,有就先执行该文件中的命令
    • $HOME/.bashrc

      • 检查 /etc 目录下的通用 bashrc 文件
      • 为用户提供一个定制自己的命令别名
    • $HOME/.bash_login

    • $HOME/.profile

    $HOME 目录下的启动文件:提供用户专属的启动文件来定义该用户所用到的环境变量,Linux 发行版在环境文件方面存在的差异非常大,有些用户可能只有一个 $HOME/.bash_profile 文件,顺序 $HOME/.bash_profile -> $HOME/.bash_login -> $HOME/.profile 在 $HOME/.bashrc 文件通常通过其他文件运行

    • 作为交互式 shell 启动的 bash 并不处理 /etc/profile 文件,只检查用户 $HOME 目录中的 .bashrc 文件

    • 非交互式 shell,系统执行shell脚本时用的就是这种 shell

      • bash shell 提供了 BASH_ENV 环境变量:当shell启动一个 非交互式 shell 进程时,会检查这个环境变量以查看要执行的启动文件名,如果有指定的文件则 shell 会执行该文件里的命令,这通常包括 shell 脚本变量设置
  • 有些 Linux 发行版使用了 可拆卸式认证模块 pluggable authentication module,PAM,这种情况下 PAM 文件会在 bash shell 启动之前被处理,前者中可能会包含环境变量

    • /etc/environment
    • $HOME/.pam_environment

环境变量持久化

  • 对全局环境变量可能更倾向于将新的或修改过的变量设置放在 /etc/profile 文件中,但升级了所用的发行版则该文件也会随之更新,好在 /etc/profile.d 目录中创建一个以 .sh 结尾的文件
  • 对保存个人用户永久性 bash shell 变量的最佳地点是 $HOME/.bashrc 文件,但如果设置了 BASH_ENV 变量除非值为 $HOME/.bashrc,否则应该将 非交互式 shell 的用户变量放在别的地方

构建 shell 脚本

基本使用

  • 使用多个命令,彼此用 分号 隔开

  • 创建 shell 脚本文件

    • 创建 shell 脚本文件时,必须在文件的第一行指定要使用的 shell

      #!/bin/bash
      
      • 第一行有时被称为 shebang

      基本是 #! 加 shell 绝对路径

    • 注释使用 #

    • 使用分号将两个命令放在一行中,但在shell脚本中,可以将命令放在独立的行中

  • 使用 shell 脚本:需要 可执行权限下面查找命令规则之一

    • 将放置 shell 脚本文件的目录添加到 PATH 环境变量中
    • 在命令行中使用绝对路径或相对路径来引用 shell 脚本文件
  • echo: 输出会显示在脚本所运行的控制台显示器,可用单引号或双引号来划定字符串

  • 变量使用

    • 在脚本中,可以在环境变量名之前加上 $ 来引用这些环境变量
    • 反斜线允许 shell 脚本按照字面意义解释 $
    • 通过 ${variable} 形式引用的变量,花括号 通常用于帮助界定 $ 后的变量名
    • 变量赋值在变量、等号和值之间不能出现空格
    • 引用变量值时要加 $,对变量赋值时则不用加 $
  • 命令替换

    • 可以从命令输出中提取信息并将其赋给变量

    • 两种方法可以将命令输出赋给变量

      • 反引号
      • $()
    • 命令替换允许将 shell 命令的输出赋给变量

    • 命令替换会创建出子 shell 来运行指定命令,这是由运行脚本的 shell 所生成的一个独立的 shell,在子 shell 中运行的命令无法使用脚本中的变量

  • 输出重定向 >

    • 最基本的重定向会将命令的输出发送至文件
    • 如果输出文件已存在,则重定向运算符会用新数据覆盖已有的文件
    • 不想覆盖文件原有内容,使用 >>
  • 输入重定向 <

    • 输入重定向会将文件的内容重定向至命令
    • 还有另外一种输入重定向的方法称为 内联输入重定向 <<,这种方法无须使用文件进行重定向,只需在命令行中指定用于输入重定向的数据即可
    • 除了 << 符号,必须指定一个 文本标记 来划分输入数据的起止
  • 管道 |

    • 将一个命令的输出作为另一个命令的输入
    • 管道可以串联的命令数量没有限制
  • 执行数学运算

    • expr: 最初,Bourne shell 提供了一个专门用于处理数学表达式的命令

      • 可在命令行中执行数学运算,但是特别笨拙
      • 能够识别少量算术运算符和字符串运算符
      • 标准运算符在 expr 命令中工作得很好,但在脚本或命令行中使用时仍有问题出现
      • 那些容易被 shell 错误解释的字符被传入 expr 命令之前,需要使用 转义字符 对其进行转义
      • 为了兼容 Bourne shell,bash shell 保留了 expr 命令
    • 使用方括号

      • 在 bash 中,要将数学运算结果赋给变量,可以使用 $方括号
      • 在使用方括号执行数学运算时,无须担心 shell 会误解乘号或其他符号
      • bash shell 的数学运算符只支持整数运算,但 zsh 提供了完整的浮点数操作
    • 使用内建的 bash 计算器 bc

      • 其中内建变量 scale 控制冗长
      • 在脚本中需要结合管道使用,允许你设置变量,如果需要多个变量可以用分号来分隔它们
      • 表达式中不仅可以使用数字,还可以用shell脚本中定义好的变量
      • 这种方法适用于较短的运算,如果要进行大量运算,最好的办法是使用内联输入重定向
  • 变量 $? 来保存最后一个已执行命令的退出状态码

    • 对于成功结束的命令,其退出状态码是 0
    • 对于因错误而结束的命令,其退出状态码是一个正整数
    • 退出状态码被缩减到了 0~255 的区间

结构化命令

  • if-then-elif-then-else

    if command1
    then
        commands
    elif command2
    then
        commands
    else
        commands
    fi
    
    • if 或 elif 根据命令的退出状态码判断 then 中的命令是否执行

      • 退出状态码为 0 时执行 then 部分的命令
      • 退出状态码为非 0 退出状态码时,执行 else 中代码
    • then 与 if, elif 是配套

    • fi 为闭合开始的 if

    • elif 和 else 为可选

  • test: 测试命令,目的是更好的进行条件判断

    • 如果 test 命令中列出的条件成立,那么 test 命令就会退出并返回退出状态码 0
    • 如果条件不成立,那么 test 命令就会退出并返回非 0 的退出状态码
    test condition
    
    • condition 要测试的一系列参数和值
    • condition 部分没有会以非 0 的退出状态码

    bash shell 提供了另一种条件测试方式,可以使用 中括号 替代 test,第一个方括号之后和第二个方括号之前 必须留有空格

    test命令和测试条件可以判断 3 类条件:

    • 数值比较

      使用 -eq, -ge, -gt, -le, -lt, -ne 替代数学中的比较运算符 ==, >=, >, <=, <, != 下面是记忆

      • e 与等值相关
      • g 与大于相关
      • l 与小于相关
      • n 有否相关
      • q, t 基本比较
    • 字符串比较

      • = 比较字符串是否相同

      • != 比较字符串是否相同

      • <, > 比较两个字符串大小,使用时必须转义

        • 在比较的时候使用的是每个字符的 Unicode 编码值
        • sort 命令处理大写字母的方法刚好与 test 命令相反,比较测试中大写字母被认为是小于小写字母的
      • -n 判断字符串长度是否不为 0

      • -z 判断字符串长度是否为 0

    • 文件比较

      • -e 是否存在
      • -s 是否存在且非空
      • -d 是否为目录
      • -f 是否为文件
      • -r 是否可读
      • -w 是否可写
      • -x 是否可执行
      • -O 是否当前用户是文件属主
      • -G 是否当前用户组
      • 两个文件比较新旧,测试之前务必确保文件存在
        • -nt 是否前者新,new time
        • -ot 是否前者旧,old time
  • 复合条件测试

    • && 与运算
    • || 或运算
  • bash shell 在 if 语句中的高级特性

    • 在子 shell 中执行命令的单括号

      • test 语句中使用进程列表时,可能会出现意料之外的结果
    • 用于数学表达式的双括号

      • 双括号命令允许在比较过程中使用 高级数学表达式,任意的数学赋值或比较表达式
      • test 命令在进行比较的时候只能使用简单的算术操作
      • 双括号中表达式的不用转义处理
    • 用于高级字符串处理功能的双方括号

      • 使用双等号进行模式匹配,右边定义匹配的表达式,支持通配符或正则表达式
      • 不是所有的 shell 都支持双方括号
  • case: 比较变量寻找特定的值

    case variable in
    pattern1 | pattern2) commands1;;
    pattern3) commands2;;
    *) commands3;;
    esac
    
    • 将指定变量与不同模式进行比较
    • 竖线运算符在一行中分隔出多个模式
    • 星号会捕获所有与已知模式不匹配的值
    • esac 进行闭合 case
  • for: 循环处理

    for var in list
    do
        commands
    done
    
    • list 是迭代列表,每次迭代中变量 var 会包含列表中的当前值

    • list 中值之间是以 空格 分隔的

      -环境变量 内部字段分隔符 IFS可以关闭分隔规则

      • 需要修改 IFS 的值时,注意将其恢复原状
      • 一种安全的做法是在修改IFS之前保存原来的IFS值,之后再恢复它
      • 指定多个 IFS 字符,则只需在赋值语句中将这些字符写在一起即可
    • 变量包含了用于迭代的值列表可以用于迭代列表,值列表中能追加或者拼接

    • do-done 中为循环体

    • 最后一次迭代结束后,变量 var 的值在 shell 脚本的剩余部分依然有效

    • list 中复杂的数据处理

      • 使用转义字符
      • 使用双引号来划分值
    • 从命令中读取值列表

    • 使用通配符读取目录

      • 此时变量 var 放入双引号内,目录名和文件名中包含 空格 是完全合法的
      • 允许列出多个目录通配符
      • 即使文件或目录不存在,for 语句也会尝试把列表处理完,最好在处理之前先测试一下文件或目录
    • 支持仿 C 语言风格的 for 命令,但注意是使用 (()) 而不是 C 语言的 (),有些地方与bash shell 标准的 for 命令并不一致

      • 变量赋值可以有空格
      • 迭代条件中的变量不以美元符号开头
      • 迭代过程的算式不使用expr命令格式

      因此,在脚本中使用仿 C 语言的 for 循环时要小心

  • while: 某种程度上糅合了 if 语句和 for 循环

    该命令返回的退出状态码为0,就循环执行一组命令

    while test command
    do
        commands
    done
    
    • 判断部分类似 if
    • 循环体使用与 for 相同
    • 修改测试条件中用到的变量,否则就会陷入死循环
    • 允许在 while 语句行定义多个测试命令,但只有最后一个测试命令的退出状态码会被用于决定是否结束循环
    • 支持嵌套
  • until: 与 while 命令工作的方式完全相反,注意测试部分是反的即可

  • 循环控制

    • break: 退出循环,后面可以指定数字,数字是要跳出的循环层级,默认 1
    • continue: 提前中止某次循环,也允许通过命令行参数指定要继续执行哪一级循环
  • 处理循环的输出

    • 对循环的输出使用管道或进行重定向,这可以通过在 done 命令之后添加一个处理命令来实现

处理输入输出

  • 传递参数: 向 shell 脚本传递数据的最基本方法是使用命令行参数,命令行参数允许运行脚本时在命令行中添加数据

    • 参数之间是以空格分隔的

    • bash shell 会将所有的命令行参数都指派给 位置变量

      • 位置变量的名称都是标准数字
      • $0 对应脚本名,$1 对应第一个命令行参数,以此类推直到 $9
      • 在超过 9 个参数之后,必须在变量名两侧加上花括号,比如 $
      • 运行脚本时使用的是绝对路径,那么位置变量 $0 就会包含整个路径
      • basename: 只要是用于去除路径和文件后缀部分的文件名或者目录名
    • 在使用位置变量之前一定要检查是否为空

  • 特殊参数变量

    • $# 含有脚本运行时携带的命令行参数的个数
    • 那么变量 ${$#} 应该就代表了最后一个位置变量,不能在花括号内使用 $,必须将 $ 换成 !
    • $* 变量会将所有的命令行参数视为一个单词,变量会将这些参数视为一个整体
    • $@ 变量会将所有的命令行参数视为同一字符串中的多个独立的单词,以便你能遍历并处理全部参数
    • $$ 当前 PID
  • shift: 移动参数

    • 会根据命令行参数的相对位置进行移动
    • 默认情况下会将每个位置的变量值都向左移动一个位置
    • 变量 $1 的值则会被删除,变量 $0 的值不会改变
    • 如果某个参数被移出,那么它的值就被丢弃了无法再恢复
    • 也可以一次性移动多个位置,指明要移动的位置数即可
  • 处理选项

    • 提取单个参数时,使用 case 语句
    • 在Linux中这个特殊字符是 双连字符 --,shell 会用双连字符表明选项部分结束
    • 选项占用了两个位置,所以还需要使用shift命令多移动一次

    getopt: 能够识别命令行参数,简化解析过程,将命令行中选项和参数处理后只生成一个输出

    getopt optstring parameters
    
    • optstring:

      • 定义了有效的命令行选项字母以及是否需要参数值
      • 需要参数值的选项字母后面加一个 冒号
      • 未包含你指定的选项,则在默认情况下,getopt 命令会产生一条错误消息,使用 -q 可以忽略
    • parameters: 参数列表

    set: 有一个选项是 双连字符 --,可以将 位置变量 的值替换成 set 命令所指定的值

    set -- $(getopt optstring "$@")
    
    • optstring: 是你设计的命令行选项
    • getopt 命令并不擅长处理 带空格和引号的参数值,它会将空格当作参数分隔符

    getopts: 是 bash shell 的内建命令,比 getopt 多了一些扩展功能,能够和已有的 shell 位置变量配合默契

    getopts [:]optstring variable
    
    • getopts 每次只处理一个检测到的命令行参数

    • 在处理完所有的参数后,getopts 会退出并返回一个大于 0 的退出状态码,适合用在解析命令行参数的循环中

      • : 为可选,类似 getopt 命令 -p 参数,有则不显示错误消息
      • optstring 值与 getopt 命令中使用的值类似
      • variable 每次处理时存储它们的变量名
    • getopts 涉及两个环境变量

      • OPTARG 环境变量保存带参选项的参数值
      • OPTIND 环境变量保存着参数列表中正在处理的参数位置
    • getopts 命令会移除起始的 连字符,所以在 case 语句中不用连字符

    • 可以在参数值中加入空格判断引号界限,能将选项字母和参数值写在一起,在两者之间不加空格

    • 还可以将在命令行中找到的所有 未定义的选项 统一输出成 问号

    • 知道何时停止处理选项,并将参数留给你处理,处理每个选项时,getopts 会将 OPTIND 环境变量值增 1,可以使用 shift 命令和 OPTIND 值来移动参数

  • 获取用户输入

    • read: 从标准输入或另一个文件描述符中接受输入

      • 获取输入后,read 命令会将数据存入变量

      • 如果指定多个变量,则输入的每个数据值都会分配给变量列表中的下一个变量

      • 如果变量数量不够,那么剩下的数据就全部分配给最后一个变量

      • 不指定任何变量,这会将接收到的 所有数据 都放进特殊环境变量 REPLY

      • -p 选项,允许直接指定提示符

      • -t 选项,指定一个计时器判断是否输入超时,单位秒

      • -n 选项,统计输入的字符数,当字符数达到预设值时,就自动退出

      • -s 选项,避免在输入的数据出现在屏幕上

      读取文件

      • 从指定文件中读取一行文本,当文件中没有内容可读时,会退出并返回非 0 退出状态码
  • 标准文件描述符:Linux 系统会将每个对象当作文件来处理,这包括输入和输出

    • 文件描述符是一个非负整数,唯一会标识的是会话中打开的文件

      • 0: STDIN 文件描述符代表 shell 的标准输入
      • 1: STDOUT 文件描述符代表 shell 的标准输出
      • 2: STDERR 文件描述符处理错误消息
    • 每个进程一次最多可以打开 9 个文件描述符

    • 在默认情况下,STDERR 和 STDOUT 指向同一个地方

    • STDERR 并不会随着 STDOUT 的重定向发生改变

    • 可以将 文件描述符 索引值放在重定向符号之前,只重定向对应信息,两者必须紧挨着

      • 1> 输出重定向标准输出
      • 2> 输出重定向错误消息
    • bash shell 提供特殊的重定向符 &> 将 STDERR 和 STDOUT 的输出重定向

  • 在脚本中重定向输出

    • 临时重定向 &

      • 在重定向到文件描述符时,必须在文件描述符索引值之前加一个 &
      • 非常适合在脚本中生成错误消息
    • 永久重定向 exec

      • 在脚本执行期间重定向某个特定文件描述符
      • exec 会启动一个新 shell
      • 适合脚本中有大量数据需要重定向
      • 允许将 STDIN 重定向为文件
  • 替代性文件描述符

    • 替代性文件描述符从 3~8 共6个,均可用作输入或输出重定向,任意一个都可以分配给文件并用在脚本中
    • 使用 exec 将替代性文件描述符指向文件,此重定向就会一直有效,直至重新分配
    • 恢复已重定向的文件描述符,你可以将另一个文件描述符分配给标准文件描述符
    • 可以打开单个文件描述符兼做输入和输出,这样就能用同一个文件描述符对文件进行读和写两种操作,任何读或写都会从文件指针上次的位置开始
  • 关闭文件描述符

    • 如果创建了新的输入文件描述符或输出文件描述符,那么 shell 会在脚本退出时自动将其关闭
    • 手动关闭文件描述符,只需将其重定向到特殊符号 &-
    • 一旦关闭了文件描述符,就不能在脚本中向其写入任何数据,否则 shell 会发出错误消息
  • lsof: 会列出整个 Linux 系统打开的所有文件描述符

    • -p 允许指定 PID
    • -d 允许指定要显示的文件描述符编号
    • -a 可用于对另外两个选项的结果执行 AND 运算
  • 抑制命令输出

    • 重定向到一个名为 null 文件的特殊文件
    • 输出到 null 文件的任何数据都不会被保存,全部会被丢弃
    • null文件的标准位置是 /dev/null
    • 输入重定向中将 /dev/null,实现快速清除现有文件中的数据
  • 使用临时文件

    • Linux 系统有一个专供临时文件使用的 特殊目录 /tmp

    • 大多数 Linux 发行版配置系统在启动时会自动删除 /tmp 目录的所有文件

    • 系统中的任何用户都有权限读写 /tmp 目录中的文件

    • mktemp: 专门用于创建临时文件

      • 所创建的临时文件不使用默认的 umask 值
      • 作为临时文件属主,你拥有该文件的读写权限,但其他用户无法访问
      • 使用方法只需指定一个文件名模板即可,同时在文件名末尾要加上 6 个 X
      • 命令会任意地将 6 个 X 替换为同等数量的字符,以保证文件名在目录中是唯一的
      • 命令的输出正是它所创建的文件名,方便在脚本中使用
      • -t 选项会强制在系统的临时目录中创建文件,返回所创建的临时文件的完整路径名
      • -d 选项会创建一个临时目录
  • 记录消息

    • tee

      • 就像是连接管道的 T 型接头,它能将来自 STDIN 的数据同时送往两处

        • STDOUT
        • 命令行所指定的文件名
      • 默认情况下,会在每次使用时覆盖指定文件的原先内容

      • -a 选项: 将数据追加到指定文件中

脚本控制

  • 处理信号

    • Linux 系统和应用程序可以产生超过 30 个信号,信号与值在不同版本可能会存在差异,可以通过 kill-l 选项查看

    • bash shell 会忽略收到的任何 SIGQUIT 信号和 SIGTERM 信号,保障交互式 shell 不会被意外终止

      • SIGQUIT 信号 3: 停止进程
      • SIGTERM 信号 15: 尽可能的终止进程,不一定成功比较温和
    • bash shell 会处理收到的所有 SIGHUP 信号和 SIGINT 信号

      • SIGHUP 信号 1: 挂起进程
      • SIGINT 信号 2: 中断进程,Linux 内核将不再为 shell 分配 CPU 处理时间
    • 产生信号: bash shell 允许使用键盘上的组合键来生成两种基本的 Linux 信号

      • Ctrl+C 组合键会生成 SIGINT 信号

      • Ctrl+Z 组合键会生成 SIGTSTP 信号

        • SIGTSTP 信号 20: 停止 shell 中运行的任何进程,还能从上次停止的位置继续运行,可以使用 kill 发送信息 SIGKILL 信号或 SIGCONT 信号进行控制
        • SIGKILL 信号 9: 强制终止进程
        • SIGCONT 信号 18: 在 SIGSTOP, SIGTSTP 后恢复
        • 用 ps 命令可以查看已停止的进程,在 S 列停止状态显示为 T
    • 捕获信号

      trap 命令可以指定 shell 脚本需要侦测并拦截的 Linux 信号

      trap commands signals
      
      • commands 部分列出想要与信号绑定的行为,如果是 -- 会恢复信号的默认行为

      • signals 部分列出想要捕获的信号,多个信号之间以空格分隔,可以使用信号的值或信号名

      • 为了保证脚本中的关键操作不被打断,请使用带有空操作命令的 trap 以及要捕获的信号列表

      • 要捕获 shell 脚本的退出,只需在 trap 命令后加上 EXIT 信号,提前退出脚本依然能捕获

  • 后台模式运行

    • 在后台模式中,进程运行时不和终端会话的 STDIN, STDOUT, STDERR 关联
    • 脚本在后台运行,不占用终端会话
    • 后台模式运行shell脚本只需在脚本名后面加上 &
    • 当后台进程运行时仍然会使用 终端显示器 来显示 STDOUT 和 STDERR 消息,最好是进行重定向避免这种杂乱的输出
  • 在非控制台下运行脚本

    • 即便退出了终端会话,也在终端会话让脚本一直以后台模式运行到结束

    • nohup: 能阻断发给特定进程的 SIGHUP 信号,当退出终端会话时可以避免进程退出

      • 命令会解除终端与进程之间的关联,因此进程不再同 STDOUT 和 STDERR 绑定在一起
      • 命令会自动将 STDOUT 和 STDERR 产生的消息重定向到一个名为 nohup.out 的文件中
      • nohup.out 文件一般在 当前工作目录 中创建,否则会在 $HOME 目录 中创建
      • 运行了另一个命令,那么该命令的输出会被追加到已有的 nohup.out 文件中
  • 作业控制: 包括启动、停止、终止、恢复

    • jobs: 作业控制命令

      • 命令输出中的加号和减号

        • 带有加号的作业为默认作业,如果作业控制命令没有指定作业号,则引用的就是该作业
        • 带有减号的作业会在默认作业结束之后成为下一个默认作业
        • 带加号的作业只能有一个,带减号的作业也只能有一个
      • -l 选项: 查看作业的 PID

    • 删除已停止的作业,那么使用 kill 命令向其 PID 发送 SIGKILL 信号即可

    • bg: 以后台模式重启作业,存在多个作业需要在后加上作业号

    • fg: 以前台模式重启作业

  • 调整谦让度

    • 调度优先级是指内核为进程分配的 CPU 时间

    • shell 启动的所有进程的调度优先级默认都是相同的

    • 调度优先级是一个整数值,取值范围从-20(最高优先级)到+19(最低优先级)

    • 在默认情况下,bash shell 以优先级 0 来启动所有进程

    • nice: 允许在启动命令时设置其调度优先级

      • 命令会阻止普通用户提高命令的优先级,只有 root 用户或者特权用户才能提高作业的优先级
    • renice: 指定已运行进程的 PID 来改变其优先级

      • 只能对属主为自己的进程使用 renice 且只能降低调度优先级
      • root 用户和特权用户可以使用任意进程的优先级做任意调整

定时运行作业

  • at: 允许指定Linux系统何时运行脚本

    • at 的守护进程 atd 在后台运行,在作业队列中检查待运行的作业

    • atd 守护进程会检查系统的一个特殊目录,通常位于 /var/spool/at 或 /var/spool/cron/atjobs

    • 默认情况下,atd 守护进程每隔 60 秒检查一次这个目录

    • 在默认情况下,命令会将 STDIN 的输入放入队列

    • -f 选项: 指定用于从中读取命令

    • 命令能识别多种时间格式,具体参见 /usr/share/doc/at/timespec 文件

    • 使用命令时,该作业会被提交至 作业队列,针对不同优先级有 52 种作业队列

      • 作业队列的字母排序越高,此队列中的作业运行优先级就越低
      • 默认情况下,提交的作业会被放入 a 队列
    • -q 选项: 指定其他的队列

    • 任何送往 STDOUT 或 STDERR 的输出都会通过 邮件系统 传给该用户,最好在脚本中进行重定向

    • -M 选项: 以禁止作业产生的输出信息

  • atq: 可以查看系统中有哪些作业在等待

  • atrm: 删除等待中的作业,指定要删除的作业号即可

  • cron: 程序调度需要定期执行的作业,相比 at 具有周期性

    • 在后台运行,并会检查一个特殊的表(时间表),从中获知已安排执行的作业
    • 时间表格式: minutepasthour hourofday dayofmonth month dayofweek command
    • 时间表允许使用特定值、取值范围或者通配符来指定各个字段
    • 命令列表必须指定要运行的命令或脚本的完整路径
    • 会以提交作业的用户身份运行该脚本,因此你必须有访问该脚本以及输出文件的合理权限
    • 每个用户都可以使用自己的 cron 时间表运行已安排好的任务
    • 在默认情况下,用户的 cron 时间表文件并不存在
  • anacron: 弥补 Linux 系统处于关闭状态时,cron 程序不会再去运行那些错过的作业

    • anacron 判断出某个作业错过了设置的运行时间,它会尽快运行该作业
    • 只处理位于 cron 目录的程序
    • 它通过时间戳来判断作业是否在正确的计划间隔内运行了,每个 cron 目录都有一个时间戳文件,该文件位于 /var/spool/anacron
    • 命令使用自己的时间表(通常位于 /etc/anacrontab)来检查作业目录

    anacron 时间表的基本格式: period delay identifier command

    • period: 定义了作业的运行频率,单位 day
    • delay: 指定了在系统启动后 anacron 程序需要等待多少分钟再开始运行错过的脚本
    • 不会运行位于 /etc/cron.hourly 目录的脚本,因为命令不处理执行时间需求少于一天的脚本
    • identifier: 是一个独特的非空字符串,作用是标识出现在日志消息和错误 email 中的作业
    • command: 包含了 run-parts 程序和一个 cron 脚本目录名
  • 启动 shell 时运行脚本

    • 应该将需要在登录时运行的脚本放在 $HOME/.bash_profile

    • 如果需要某个脚本在两个时刻都运行可以将其放入 .bashrc

      • 一次是当用户登录 bash shell 时
      • 另一次是当用户启动 bash shell 时
  • source: 这是另一种运行 bash 脚本的方法,称为 源引

shell 函数

  • bash shell 提供的用户自定义函数功能

  • 创建函数

    • 使用关键字 function

      function name{
          commands
      }
      
      • 函数名称唯一,脚本中的函数名不能重复
      • 如果定义了同名函数,那么新定义就会覆盖函数原先的定义
    • bash shell 脚本中定义函数的方式创建函数

      name(){
          commands
      }
      
      • 函数名后的空括号表明正在定义的是一个函数,这种语法的命名规则和第一种语法一样
  • 调用函数

    • 只需像其他 shell 命令一样写出函数名

    • 函数可以视为一个小型脚本,运行结束时会返回一个退出状态码

    • 函数的退出状态码是函数中最后一个命令返回的退出状态码

      • $? 可以确定函数的退出状态码,提取函数返回值之前执行了其他命令,那么函数的返回值会丢失

      • return: 以特定的退出状态码退出函数

        • 函数执行一结束就立刻读取返回值
        • 退出状态码必须介于 0~255
    • 可以将命令的输出保存到 shell 变量中一样,也可以将函数的 STDOUT 输出保存到 shell 变量中

    • 函数可以使用 标准的位置变量 来表示在命令行中传给函数的任何参数

      • $0 变量保存函数名

      • 函数参数依次保存在 $1, $2 等变量中

      • $# 可以确定传给函数的参数数量

      • 要在函数中使用脚本的命令行参数,必须在调用函数时手动将其传入

      • 向函数传递数组

        • 试图将数组变量作为函数参数进行传递,则函数只会提取数组变量的第一个元素
        • 须先将数组变量拆解成多个数组元素,然后将这些数组元素作为函数参数传递,返回数组变量也采用类似的方法
  • 变量的作用域

    • 全局变量

      • 在 shell 脚本内任何地方都有效的变量
      • 默认情况下,在脚本中定义的任何变量都是全局变量
      • 在函数外定义的变量可在函数内正常访问
    • 局部变量

      • 无须在函数中使用全局变量,任何在函数内部使用的变量都可以被声明为局部变量
      • 变量声明之前加上 local 关键字即可,保证了变量仅在该函数中有效,可以轻松地将函数变量和脚本变量分离开
  • 函数递归

    • 函数可以调用自己来得到结果
    • 通过递归对复杂的方程进行逐级规约,直到基准值
  • 创建库

    • bash shell 允许创建函数库文件,然后在多个脚本中引用此库文件
    • source: 会在当前shell的上下文中执行命令,而不是创建新的shell并在其中执行命令,这样脚本就可以使用库中的函数
    • source命令有个别名,称作 点号操作符 .
    • 在 .bashrc 文件中定义函数,可长期在命令行复用函数,只需将函数放在文件末尾即可,也可以源引库文件
    • GNU shtool shell 脚本函数库,提供了一些简单的 shell 脚本函数,可用于实现日常的 shell 功能

shell 脚本高级技巧

sed & gawk

  • sed 编辑器

    • 被称作 流编辑器,根据事先设计好的一组规则编辑数据流

    • 可以执行下列操作

      • 从输入中读取 一行 数据
      • 根据所提供的编辑器命令 匹配数据
      • 按照命令 修改 数据流中的数据
      • 将新的数据输出到 STDOUT,编辑器并不会修改文本文件的数据
    • 在流编辑器匹配并针对一行数据执行所有命令之后,会重复这个过程直到处理完数据流后结束运行

    • 命令的格式

      sed options script file
      
      • options

        • -e 选项额外 sed 命令,执行多个命令

          • 两个命令都应用于文件的每一行数据,命令之间必须以 分号 分隔
          • 命令末尾和分号之间不能出现 空格
        • -f 选项在单独的文件中指定 sed 命令,目的是大量要执行时使用

          • 指定文件中一条命令应于文件每一行
          • .sed 作为 sed 脚本文件的扩展名,便于识别
        • -n 选项会抑制 sed 编辑器的输出

      • script: 指定了应用于流数据中的单个命令

    • 默认情况下,会将指定的命令应用于 STDIN 输入流中,可以直接将数据通过管道传入

    • sed 命令

      • 替换命令 s: [address]s/替换目标/替换内容/flags

        替换标识

        • 数字: 指明新文本将替换行中的 第几处匹配
        • g: 指明新文本将替换行中 所有的匹配
        • p: 指明打印出替换后的行
        • w file: 将替换的结果写入文件
        • sed 编辑器允许选择其他字符作为替换命令的替代分隔符,/ 不是绝对的

        行寻址 address

        • 数字模式

          • n: 表示特定行,$ 标识符表示最后一行
          • n,m: 表示 n 行到 m 行的范围
        • 正则表达式模式

          • /pattern/command: pattern 匹配表达式
        • 可以对特定地址的多个命令分组

          address {
              sed commands
          }
          
      • 删除命令 d: 后面通常不接任何

        [address]d
        
      • 插入命令 i: 会在指定行前增加一行,每行新文本末尾使用反斜线 \

        [address]i\
        strings\
        ...\
        strings
        
      • 附加命令 a: 会在指定行后增加一行,每行新文本末尾使用反斜线 \

        [address]a\
        strings\
        ...\
        strings
        
      • 取代命令 c: 修改行,将范围内取代内容,它跟插入和附加命令的工作机制一样

        [address]c\
        strings\
        ...\
        strings
        
      • 转换命令 y: 唯一可以处理单个字符,inchars 和 outchars 进行一对一的映射

        [address]y/inchars/outchars
        
      • 写入命令 w: 向文件写入行

        [address]w filename
        
      • 读取命令 w: 将一条独立文件中的数据插入数据流

        [address]r filename
        
      • 命令 F: 告知 sed 打印出当前正在处理的文件名

        [address]F
        

      所以命令相同部分 [address]command

    • 打印

      • p 命令: 打印文本行
      • = 命令: 打印行号
      • l 命令: 可以打印数据流中的文本和不可打印字符,行尾的美元符号表示换行符,
    • 进阶使用

  • gawk 编辑器

    • 相比 sed 增加了一种编程语言,而不仅仅是编辑器命令

      • 定义变量 来保存数据
      • 使用算术和字符串 运算符 来处理数据
      • 使用 结构化编程概念 为数据处理添加处理逻辑
      • 提取文件中的数据将其 重新排列组合,最后生成 格式化 报告
    • 命令的格式

      gawk options program file
      
      • options

        • -F 指定行中分隔符
        • -f 从脚本文件中读取 gawk 命令,gawk 脚本建议以 .gawk 为后缀
        • -v 定义变量
        • -L 指定兼容模式或警告级别
      • program: gawk 脚本

      • file: 处理数据,没有会从 STDIN 接收数据

    • gawk 脚本用一对花括号来定义

      • print: 会将文本打印到 STDOUT
      • STDIN 接入数据,会会反复直到 EOF 字符为止,EOF 字符表示文件末尾
      • Ctrl+D 组合键可以生成 EOF 字符
    • 特性之一是会自动为每一行的各个数据元素分配一个变量

      • $0 代表整个文本行
      • $1 代表文本行中的第一个数据字段,其中 $2, $3, ..., $n 以此内推
      • 文本行中的 数据字段 是通过 字段分隔符 来划分的
      • 默认情况下,字段分隔符是任意的 空白字符
    • BEGIN: 会强制 gawk 在读取数据前执行 BEGIN 关键字之后指定的脚本

    • END: 允许指定一段脚本在 gawk 处理完数据后执行这段脚本

    • 特殊变量 FS: 这是定义字段分隔符的另一种方法

  • sed, gawk 职能

    • sed 更适合编辑匹配到的文本
    • gawk 更适合格式化文本,对文本进行较复杂格式处理

正则表达式

  • 正则表达式是由正则表达式引擎实现的,最流行的是以下两种

    • POSIX基础正则表达式 BRE 引擎,大多数 Linux 工具至少符合 POSIX BRE 引擎规范
    • POSIX扩展正则表达式 ERE 引擎,提供了高级模式符号和特殊符号
  • 特殊字符

    • BRE 基础 basic

      • \ 转义字符

      • 锚点字符

        • ^ 行首
        • $ 行尾
      • . 可以匹配除换行符之外的任意单个字符

      • [] 字符组,如果字符组中的某个字符出现在了数据流中,那就能匹配该模式

      • [^] 排除型字符组,匹配字符组中没有的字符

        • 区间,比如 0-9 a-z A-Z 等范围化
      • 特殊的字符组 [[:BRE:]] 其中的 BRE 允许下列词

        • alnum: 任意字母或数字字符
        • alpha: 任意字母字符
        • digit: 0~9 的数字
        • lower: 小写字母
        • upper: 大写字母
        • print: 可打印字符
        • punct: 标点符号
        • space: 任意空白符
        • blank: 空格或制表符
      • * 表明该字符必须在匹配模式的文本中出现 0~n 次

    • ERE 拓展 extended

      • ? 表明前面的字符可以出现 0~1 次

      • + 表明前面的字符可以出现 1~n 次

      • {} 允许为正则表达式指定具体的可重复次数

        • {n} 恰好出现 n 次
        • {n,m} 恰好出现 n~m 次
      • | 以或运算进行匹配

      • () 表达式分组,每一组会被视为一个整体

了解图形化 shell 编程

  • 创建文本菜单

    • 传统思路

      • clear: 清除使用终端会话的终端设置信息
      • echo 命令使用 -e 选项,可以打印非可打印字符
      • read 获取用户输入
    • select: 能够帮助我们自动完成这些工作

      select variable in list
      do
          commands
      done
      
      • list: 是由空格分隔的菜单项列表,该列表构成了整个菜单
      • 命令会将每个列表项显示成一个带编号的菜单项
      • PS3 环境变量 定义的特殊提示符,指示用户做出选择
      • 字符串才是要在 case 语句中进行比较的内容,而不是跟菜单选项相关联的数字
  • 创建文本窗口部件

    • dialog 软件包: 能够用 ANSI 转义控制字符,在文本环境中创建标准的窗口对话框

      • 使用命令行选项来决定生成哪种窗口部件

      • 要在命令行中指定某个特定部件,需要使用双连字符格式

      • 每个dialog部件都提供了两种输出形式

        • 使用 STDERR,部件返回了数据会将数据发送给 STDERR
        • 使用退出状态码
        • $? 变量可以确定用户选择了 dialog 部件中的哪个按钮
  • 图形化窗口部件

    • kdialog 软件包为 KDE 桌面提供了图形化窗口部件
    • zenity 软件包为 GNOME 桌面提供了图形化窗口部件
posted @ 2023-01-09 15:28  sha0dow  阅读(307)  评论(0编辑  收藏  举报