初识Linux（八）------ 正则表达式与文件格式化处理
正则表达式 （Regular Expression, RE, 或称为常规表示法）是通过一些特殊字符的排列，用以“查找/替换/删除” 文字字符串， 简单的说，正则表达式就是用在字串的处理上面的一项“表示式”。正则表达式并不是一个工具程序， 而是一个字符串处理的标准依据，如果您想要以正则表达式的方式处理字符串，就得要使用支持正则表达式的工具程序才行， 这类的工具程序很多，例如 vi, sed, awk 等等。
1. 基础正则表达式
既然正则表达式是处理字串的一种表示方式，那么对字符排序有影响的语系数据就会对正则表达式的结果有影响！ 此外，正则表达式也需要支持工具程序来辅助才行！所以，我们这里就先介绍一个最简单的字串截取功能的工具程序，那就是 grep。 前一章已经介绍过 grep 的相关选项与参数，本章着重在较进阶的 grep 选项说明， 介绍完 grep 的功能之后，就进入正则表达式的特殊字符的处理能力了。
1.1 语系对正则表达式的影响
为什么语系的数据会影响到正则表达式的输出结果呢？我们知道，文件其实记录的仅有 0 与 1，我们看到的字符文字与数字都是通过编码表转换来的。由于不同语系的编码数据并不相同，所以就会造成数据撷取结果的差异了。 举例来说，在英文大小写的编码顺序中，zh_CN.big5 及 C 这两种语系的输出结果分别如下：
- LANG=C 时：0 1 2 3 4 ... A B C D ... Z a b c d ...z
- LANG=zh_TW 时：0 1 2 3 4 ... a A b B c C d D ... z Z
上面的顺序是编码顺序，我们可以很清楚的发现这两种语系明显不一样。如果你想要截取大写字符而使用 [A-Z] 时， 会发现 LANG=C 确实可以仅捉到大写字符 （因为是连续的） ，但是如果 LANG=zh_CN.big5 时，就会发现到， 连同小写的 b-z 也会被截取出来！因为就编码的顺序来看， big5 语系可以截取到“ A b B c C ... z Z ”这一堆字符。所以，使用正则表达式时，需要特别留意当时环境的语系为何， 否则可能会发现与别人不相同的结果。
由于一般我们在练习正则表达式时，使用的是相容于 POSIX 的标准，因此就使用“ C ”这个语系。 因此，下面的很多练习都是使用“ LANG=C ”这个语系数据来进行的，另外，为了要避免这样编码所造成的英文与数字的截取问题，因此有些特殊的符号我们得要了解一下的，这些符号主要有下面这些意义：
1
尤其上表中的[:alnum:], [:alpha:], [:upper:], [:lower:], [:digit:] 这几个一定要知道代表什么意思，因为他要比 a-z 或 A-Z 的用途要确定的多。
1.2 grep 的一些进阶选项
[dmtsai@study ~]$ grep [-acinv] [--color=auto] '搜寻字串' filename 选项与参数： -a ：将 binary 文件以 text 文件的方式搜寻数据 -c ：计算找到 '搜寻字串' 的次数 -i ：忽略大小写的不同，所以大小写视为相同 -n ：顺便输出行号 -v ：反向选择，亦即显示出没有 '搜寻字串' 内容的那一行！ --color=auto ：可以将找到的关键字部分加上颜色的显示喔！
[dmtsai@study ~]$ grep [-A] [-B] [--color=auto] '搜寻字串' filename 选项与参数： -A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来； -B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；
需要说明的是“grep 在数据中查找一个字串时，是以 "整行" 为单位来进行数据的截取的！”也就是说，假如一个文件内有 10 行，其中有两行具有你所搜寻的字串，则将那两行显示在屏幕上，其他的就丢弃了。
范例一：用 dmesg 列出核心信息，再以 grep 找出内含 qxl 那行 [dmtsai@study ~]$ dmesg | grep 'qxl' [ 0.522749] [drm] qxl: 16M of VRAM memory size [ 0.522750] [drm] qxl: 63M of IO pages memory ready （VRAM domain） [ 0.522750] [drm] qxl: 32M of Surface memory size [ 0.650714] fbcon: qxldrmfb （fb0） is primary device [ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device # dmesg 可列出核心产生的信息！包括硬件侦测的流程也会显示出来。 # 使用的显卡是 QXL 这个虚拟卡，通过 grep 来 qxl 的相关信息，可发现如上信息。 范例二：承上题，要将捉到的关键字显色，且加上行号来表示： [dmtsai@study ~]$ dmesg | grep -n --color=auto 'qxl' 515:[ 0.522749] [drm] qxl: 16M of VRAM memory size 516:[ 0.522750] [drm] qxl: 63M of IO pages memory ready （VRAM domain） 517:[ 0.522750] [drm] qxl: 32M of Surface memory size 529:[ 0.650714] fbcon: qxldrmfb （fb0） is primary device 539:[ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device # 除了 qxl 会有特殊颜色来表示之外，最前面还有行号！其实颜色显示已经是默认在 alias 当中了！ 范例三：承上题，在关键字所在行的前两行与后三行也一起捉出来显示 [dmtsai@study ~]$ dmesg | grep -n -A3 -B2 --color=auto 'qxl' # 你会发现关键字之前与之后的数行也被显示出来！这样可以让你将关键字前后数据捉出来进行分析啦！
1.3 基础正则表达式字符
例题一、查找特定字符串
[dmtsai@study ~]$ grep -n 'the' regular_express.txt 8:I can't finish the test. 12:the symbol '*' is represented as start. 15:You are the best is mean you are the no. 1. 16:The world <Happy> is the same with "glad". 18:google is the best tools for search keyword.
那如果想要“反向选择”呢？也就是说，当该行没有 'the' 这个字串时才显示在屏幕上
[dmtsai@study ~]$ grep -vn 'the' regular_express.txt
例题二、利用中括号 [ ] 来查找集合字符
如果我想要搜寻 test 或 taste 这两个单字时，可以发现到，其实她们有共通的 't?st' 存在～这个时候，我可以这样来查找：
[dmtsai@study ~]$ grep -n 't[ae]st' regular_express.txt 8:I can't finish the test. 9:Oh! The soup taste good.
其实 [ ] 里面不论有几个字符，他都仅代表某“一个”字符。
如果想要查找到有 oo 的字符串，但是，我不想要 oo 前面有 g ，此时，可以利用在集合字符的反向选择 [^] 来达成：
[dmtsai@study ~]$ grep -n '[^g]oo' regular_express.txt 2:apple is my favorite food. 3:Football game is not use feet only. 18:google is the best tools for search keyword. 19:goooooogle yes!
但是第 18 行明明有 google 的 goo 啊～别忘记了，因为该行后面出现了 tool 的 too ，所以该行也被列出来～ 也就是说， 18 行里面虽然出现了我们所不要的字符串 （goo） 但是由于有需要的字符串 （too） ， 因此，是符合字符串查找的。
至于第 19 行，同样的，因为 goooooogle 里面的 oo 前面可能是 o ，例如： go（ooo）oogle ，所以，这一行也是符合需求的！
再来，假设我 oo 前面不想要有小写字符，所以，我可以这样写 [^abcd....z]oo ， 但是这样似乎不怎么方便，由于小写字符的 ASCII 上编码的顺序是连续的， 因此，我们可以将之简化为下面这样：
[dmtsai@study ~]$ grep -n '[^a-z]oo' regular_express.txt 3:Football game is not use feet only.
也就是说，当我们在一组集合字符中，如果该字符组是连续的，例如大写英文/小写英文/数字等等， 就可以使用[a-z],[A-Z],[0-9]等方式来书写，那么如果我们的要求字串是数字与英文呢？ 那就将他全部写在一起，变成：[a-zA-Z0-9]。
但由于考虑到语系对于编码顺序的影响，因此除了连续编码使用减号“ - ”之外， 你也可以使用如下的方法来取得前面两个测试的结果：
[dmtsai@study ~]$ grep -n '[^[:lower:]]oo' regular_express.txt # 那个 [:lower:] 代表的就是 a-z 的意思！请参考前两小节的说明表格 [dmtsai@study ~]$ grep -n '[[:digit:]]' regular_express.txt
例题三、行首与行尾字符 ^ $
我们在例题一当中，可以查询到一行字串里面有 the 的，那如果我想要让 the 只在行首的那一行列出呢？ 这个时候就得要使用定位字符了！我们可以这样做：
[dmtsai@study ~]$ grep -n '^the' regular_express.txt 12:the symbol '*' is represented as start.
^ 符号，在字符集合符号（括号[ ]）之内与之外是不同的，在 [ ] 内代表“反向选择”，在 [ ] 之外则代表定位在行首的意义！
如果我想要找出来，行尾结束为小数点 （.） 的那一行，该如何处理：
[dmtsai@study ~]$ grep -n '\.$' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 4:this dress doesn't fit me. 10:motorcycle is cheap than car. 11:This window is clear. 12:the symbol '*' is represented as start. 15:You are the best is mean you are the no. 1. 16:The world <Happy> is the same with "glad". 17:I like dog. 18:google is the best tools for search keyword. 20:go! go! Let's go.
特别注意到，因为小数点具有其他意义（下面会介绍），所以必须要使用转义字符（\）来加以解除其特殊意义！ 不过，你或许会觉得奇怪，但是第 5~9 行最后面也是 . 啊～怎么无法打印出来？ 这里就牵涉到 Windows 平台的软件对于换行符的判断问题了！我们使用 cat -A 将第五行拿出来看， 你会发现：
[dmtsai@study ~]$ cat -An regular_express.txt | head -n 10 | tail -n 6 5 However, this dress is about $ 3183 dollars.^M$ 6 GNU is free air not free beer.^M$ 7 Her hair is very beauty.^M$ 8 I can't finish the test.^M$ 9 Oh! The soup taste good.^M$ 10 motorcycle is cheap than car.$
我们在之前谈到过换行符在 Linux 与 Windows 上的差异， 在上面的显示中我们可以发现 5~9 行为 Windows 的断行字符 （^M$） ，而正常的 Linux 应该仅有第 10 行显示的那样 （$） 。所以，那个 . 自然就不是紧接在 $ 之前，也就捉不到 5~9 行了。
那如果我想找出空白行呢？
[dmtsai@study ~]$ grep -n '^$' regular_express.txt 22:
只有行首跟行尾 （^$）这样就可以找出空白行啦！
再来，假设你已经知道在一个脚本 （shell script） 或者是配置文件当中，空白行与开头为 # 的那一行是注解，因此如果你要将数据列出给别人参考时， 可以将这些数据省略掉以节省保贵的纸张，那么你可以怎么作呢？ 我们以 /etc/rsyslog.conf 这个文件来作范例：
[dmtsai@study ~]$ cat -n /etc/rsyslog.conf # 在 CentOS 7 中，结果可以发现有 91 行的输出，很多空白行与 # 开头的注解行 [dmtsai@study ~]$ grep -v '^$' /etc/rsyslog.conf | grep -v '^#' # 结果仅有 14 行，其中第一个“ -v '^$' ”代表“不要空白行”， # 第二个“ -v '^#' ”代表“不要开头是 # 的那行”
另外，你可能也会问，那为何不要出现 # 的符号的那行就直接舍弃呢？没办法！因为某些注解是与设置写在同一行的后面， 如果你只是抓 # 就予以去除，那就会将某些设置也同时移除了。
例题四、任意一个字符 . 与重复字符 *
在之前的章节 bash 当中，我们知道通配符 * 可以用来代表任意（0或多个）字符， 但是在正则表达式中并不是通配符，两者之间是不相同的。这两个符号在正则表达式的意义如下：
- . （小数点）：代表“一定有一个任意字符”的意思；
- * （星星号）：代表“重复前一个字符， 0 到无穷多次”的意思，为组合形态
假设我需要找出 g??d 的字符串，亦即共有四个字符， 起头是 g 而结束是 d ，我可以这样做：
[dmtsai@study ~]$ grep -n 'g..d' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 9:Oh! The soup taste good. 16:The world <Happy> is the same with "glad".
因为强调 g 与 d 之间一定要存在两个字符，因此，第 13 行的 god 与第 14 行的 gd 就不会被列出来。
再来，如果我想要列出有 oo, ooo, oooo 等等的数据， 也就是说，至少要有两个（含） o 以上，该如何是好？是 o* 还是 oo* 还是 ooo* 呢？
因为 * 代表的是“重复 0 个或多个前面的 RE 字符”的意义， 因此，“o*”代表的是：“拥有空字符或一个 o 以上的字符”， 特别注意，因为允许空字符（就是有没有字符都可以的意思），因此，“ grep -n 'o*' regular_express.txt ”将会把所有的数据都打印出来屏幕上
那如果是“oo*”呢？则第一个 o 肯定必须要存在，第二个 o 则是可有可无的多个 o ， 所以，凡是含有 o, oo, ooo, oooo 等等，都可以被列出来～
同理，当我们需要“至少两个 o 以上的字串”时，就需要 ooo* ，亦即是：
[dmtsai@study ~]$ grep -n 'ooo*' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 9:Oh! The soup taste good. 18:google is the best tools for search keyword. 19:goooooogle yes!
如果我想要找出 g 开头与 g 结尾的字串，当中的字符可有可无，那该如何是好？是“g*g”吗？
[dmtsai@study ~]$ grep -n 'g*g' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 3:Football game is not use feet only. 9:Oh! The soup taste good. 13:Oh! My god! 14:The gd software is a library for drafting programs. 16:The world <Happy> is the same with "glad". 17:I like dog. 18:google is the best tools for search keyword. 19:goooooogle yes! 20:go! go! Let's go.
但测试的结果竟然出现这么多行？太诡异了吧？其实一点也不诡异，因为 g*g 里面的 g* 代表“空字符或一个以上的 g” 在加上后面的 g ，因此，整个 RE 的内容就是 g, gg, ggg, gggg ， 因此，只要该行当中拥有一个以上的 g 就符合所需了！
那该如何得到我们的 g....g 的需求呢？呵呵！就利用任意一个字符“.”， 亦即是：“g.*g”的作法，因为 * 可以是 0 或多个重复前面的字符，而 . 是任意字符，所以： .* 就代表零个或多个任意字符”的意思。
[dmtsai@study ~]$ grep -n 'g.*g' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 14:The gd software is a library for drafting programs. 18:google is the best tools for search keyword. 19:goooooogle yes! 20:go! go! Let's go.
例题五、限定连续 RE 字符范围 { }
在上个例题当中，我们可以利用 . 与 RE 字符及 * 来设置 0 个到无限多个重复字符， 那如果我想要限制一个范围区间内的重复字符数呢？举例来说，我想要找出两个到五个 o 的连续字串，该如何作？这时候就得要使用到限定范围的字符 {} 了。 但因为 { 与 } 的符号在 shell 是有特殊意义的，因此， 我们必须要使用转义字符 \ 来让他失去特殊意义才行。 至于 { } 的语法是这样的，假设我要找到两个 o 的字串，可以是：
[dmtsai@study ~]$ grep -n 'o\{2\}' regular_express.txt 1:"Open Source" is a good mechanism to develop programs. 2:apple is my favorite food. 3:Football game is not use feet only. 9:Oh! The soup taste good. 18:google is the best tools for search keyword. 19:goooooogle yes!
这样看似乎与 ooo* 的字符没有什么差异啊？因为第 19 行有多个 o 依旧也出现了！ 好，那么换个查找的字符串，假设我们要找出 g 后面接 2 到 5 个 o ，然后再接一个 g 的字串，他会是这样：
[dmtsai@study ~]$ grep -n 'go\{2,5\}g' regular_express.txt 18:google is the best tools for search keyword.
很好，第 19 行终于没有被取用了（因为 19 行有 6 个 o 啊！）。 那么，如果我想要的是 2 个 o 以上的 goooo....g 呢？除了可以是 gooo*g ，也可以是：
[dmtsai@study ~]$ grep -n 'go\{2,\}g' regular_express.txt 18:google is the best tools for search keyword. 19:goooooogle yes!
再次强调：“正则表达式的特殊字符”与一般在命令行输入指令的“通配符”并不相同， 例如，在通配符当中的 * 代表的是“ 0 ~ 无限多个字符”的意思，但是在正则表达式当中， * 则是“重复 0 到无穷多个的前一个 RE 字符”的意思～使用的意义并不相同，不要搞混了！
举例来说，不支持正则表达式的 ls 这个工具中，若我们使用 “ls -l * ” 代表的是任意文件名的文件，而 “ls -l a* ”代表的是以 a 为开头的任何文件名的文件， 但在正则表达式中，我们要找到含有以 a 为开头的文件，则必须要这样：（需搭配支持正则表达式的工具）
ls | grep -n '^a.*'
1.4 sed 工具
sed 本身也是一个管道命令，可以分析 standard input ！ 而且 sed 还可以将数据进行替换、删除、新增、截取特定行等等的功能。
[dmtsai@study ~]$ sed [-nefr] [动作] 选项与参数： -n ：使用安静（silent）模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。 但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行（或者动作）才会被列出来。 -e ：直接在命令行界面上进行 sed 的动作编辑； -f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作； -r ：sed 的动作支持的是延伸型正则表达式的语法。（默认是基础正则表达式语法） -i ：直接修改读取的文件内容，而不是由屏幕输出。 动作说明： [n1[,n2]]function n1, n2 ：不见得会存在，一般代表“选择进行动作的行数”，举例来说，如果我的动作 是需要在 10 到 20 行之间进行的，则“ 10,20[动作行为] ” function 有下面这些： a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现（目前的下一行）～ c ：替换， c 的后面可以接字串，这些字串可以替换 n1,n2 之间的行！ d ：删除，因为是删除啊，所以 d 后面通常不接任何东西； i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现（目前的上一行）； p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～ s ：替换，可以直接进行替换的工作，通常这个 s 的动作可以搭配正则表达式！ 例如 1,20s/old/new/g 就是啦！
以行为单位的新增/删除功能
范例一：将 /etc/passwd 的内容列出并且打印行号，同时，请将第 2~5 行删除！ [dmtsai@study ~]$ nl /etc/passwd | sed '2,5d' 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown .....（后面省略）.....
注意的是， sed 后面接的动作，请务必以 ‘ ’两个单引号括住。
如果题型变化一下，举例来说，如果只要删除第 2 行，可以使用“ nl /etc/passwd | sed '2d' ”来达成， 至于若是要删除第 3 到最后一行，则是“ nl /etc/passwd | sed '3,$d' ”的啦，那个“ $ ”代表最后一行！
范例二：承上题，在第二行后（亦即是加在第三行）加上“drink tea”字样 [dmtsai@study ~]$ nl /etc/passwd | sed '2a drink tea' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin drink tea 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin .....（后面省略）.....
那如果是要在第二行前呢？“ nl /etc/passwd | sed '2i drink tea' ”就对啦！就是将“ a ”变成“ i ”即可。增加一行很简单，那如果是要增将两行以上呢？
范例三：在第二行后面加入两行字，例如“Drink tea or .....”与“drink beer?” [dmtsai@study ~]$ nl /etc/passwd | sed '2a Drink tea or ......\ > drink beer ?' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin Drink tea or ...... drink beer ? 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin .....（后面省略）.....
可以新增好几行”但是每一行之间都必须要以反斜线“ \ ”来进行新行的增加。
以行为单位的替换与显示功能
范例四：我想将第2-5行的内容取代成为“No 2-5 number”呢？ [dmtsai@study ~]$ nl /etc/passwd | sed '2,5c No 2-5 number' 1 root:x:0:0:root:/root:/bin/bash No 2-5 number 6 sync:x:5:0:sync:/sbin:/bin/sync .....（后面省略）.....
我们以前想要列出第 11~20 行， 得要通过“head -n 20 | tail -n 10”之类的方法来处理，很麻烦～ sed 则可以简单的直接取出你想要的那几行，是通过行号来识别的，看看下面的范例先：
范例五：仅列出 /etc/passwd 文件内的第 5-7 行 [dmtsai@study ~]$ nl /etc/passwd | sed -n '5,7p' 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
部分数据的查找并替换的功能
基本上 sed 的查找与替换的与 vi 相当的类似！他有点像这样：
sed 's/要被取代的字串/新的字串/g'
我们使用下面这个取得 IP 数据的范例，一段一段的来处理给看看。
步骤一：先观察原始信息，利用 /sbin/ifconfig 查询 IP 为何？ [dmtsai@study ~]$ /sbin/ifconfig eth0 eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255 inet6 fe80::5054:ff:fedf:e174 prefixlen 64 scopeid 0x20<link> ether 52:54:00:df:e1:74 txqueuelen 1000 （Ethernet） .....（以下省略）..... # 192.168.1.100 那一行，利用关键字捉出那一行！ 步骤二：利用关键字配合 grep 截取出关键的一行数据 [dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet ' inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255 # 接下来，我们要将开始到 addr: 通通删除， # 就是像下面这样： # inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255 # 上面的删除关键在于“ ^.*inet ”，正则表达式出现！ ^_^ 步骤三：将 IP 前面的部分予以删除 [dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g' 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255 # 仔细与上个步骤比较一下，前面的部分不见了！接下来则是删除后续的部分，亦即： 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255 # 此时所需的正则表达式为：“ ' *netmask.*$ ” 步骤四：将 IP 后面的部分予以删除 [dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g' \ > | sed 's/ *netmask.*$//g' 192.168.1.100
直接修改文件内容（危险动作）
sed 甚至可以直接修改文件的内容，而不必使用管道命令或数据流重导向！ 不过，由于这个动作会直接修改到原始的文件，所以请你千万不要随便拿系统配置文件来测试。
范例六：利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 ! [dmtsai@study ~]$ sed -i 's/\.$/\!/g' regular_express.txt # 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由屏幕输出喔！ 范例七：利用 sed 直接在 regular_express.txt 最后一行加入“# This is a test” [dmtsai@study ~]$ sed -i '$a # This is a test' regular_express.txt # 由于 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增！
2. 扩展正则表达式
事实上，只要了解基础型的正则表达式大概就已经相当足够了，不过，某些时刻为了要简化整个指令操作， 了解一下使用范围更广的扩展正则表达式的表示式会更方便。举个简单的例子好了，在上节的例题三的最后一个例子中，我们要去除空白行与行首为 # 的行，使用的是
grep -v '^$' regular_express.txt | grep -v '^#'
需要使用到管道命令来查找两次，那么如果使用扩展正则表达式，我们可以简化为：
egrep -v '^$|^#' regular_express.txt
扩展正则表达式可以通过群组功能“ | ”来进行一次查找，那个在单引号内的管道意义为“或 or”，这是否变的更简单了？此外，grep 默认仅支持基础正则表达式，如果要使用延伸型正则表达式，你可以使用 grep -E ， 不过更建议直接使用 egrep ，直接区分指令比较好记忆。其实 egrep 与 grep -E 是类似命令别名的关系。
另外，要特别强调的是，那个 ! 在正则表达式当中并不是特殊字符， 所以，如果你想要查出来文件中含有 ! 与 > 的字行时，可以这样：
grep -n '[!>]' regular_express.txt
3. 文件的格式化与相关处理
下面这些动作可以将你的信息进行排版的操作， 不需要重新以 vim 去编辑，通过数据流重导向配合下面介绍的 printf 功能，以及 awk 指令， 就可以让你的信息以你想要的模样来输出了。
3.1 格式化打印： printf
[dmtsai@study ~]$ printf '打印格式' 实际内容 选项与参数： 关于格式方面的几个特殊样式： \a 警告声音输出 \b 倒退键（backspace） \f 清除屏幕 （form feed） \n 输出新的一行 \r 亦即 Enter 按键 \t 水平的 [tab] 按键 \v 垂直的 [tab] 按键 \xNN NN 为两位数的数字，可以转换数字成为字符。 关于 C 程序语言内，常见的变量格式 %ns 那个 n 是数字， s 代表 string ，亦即多少个字符； %ni 那个 n 是数字， i 代表 integer ，亦即多少整数码数； %N.nf 那个 n 与 N 都是数字， f 代表 floating （浮点），如果有小数码数， 假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！
接下来我们来进行几个常见的练习
Name Chinese English Math Average DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.3
范例一：将刚刚上头数据的文件 （printf.txt） 内容仅列出姓名与成绩：（用 [tab] 分隔） [dmtsai@study ~]$ printf '%s\t %s\t %s\t %s\t %s\t \n' $（cat printf.txt） Name Chinese English Math Average DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.33
范例二：将上述数据关于第二行以后，分别以字串、整数、小数点来显示： [dmtsai@study ~]$ printf '%10s %5i %5i %5i %8.2f \n' $（cat printf.txt | grep -v Name） DmTsai 80 60 92 77.33 VBird 75 55 80 70.00 Ken 60 90 70 73.33
3.2 awk：好用的数据处理工具
awk 也是一个非常好的数据处理工具，相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个“字段”来处理。因此，awk 相当的适合处理小型的数据处理。awk 通常运行的模式是这样的：
[dmtsai@study ~]$ awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
awk 后面接两个单引号并加上大括号 { } 来设置想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个指令的 standard output 。 但如前面说的， awk 主要是处理“每一行的字段内的数据”，而默认的“字段的分隔符号为 "空白键" 或 "[tab]键" 。
举例来说，我们用 last 可以将登陆者的数据取出来，结果如下所示：
[dmtsai@study ~]$ last -n 5 <==仅取出前五行 dmtsai pts/0 192.168.1.100 Tue Jul 14 17:32 still logged in dmtsai pts/0 192.168.1.100 Thu Jul 9 23:36 - 02:58 （03:22） dmtsai pts/0 192.168.1.100 Thu Jul 9 17:23 - 23:36 （06:12） dmtsai pts/0 192.168.1.100 Thu Jul 9 08:02 - 08:17 （00:14） dmtsai tty1 Fri May 29 11:55 - 12:11 （00:15）
若我想要取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开，则会变成这样：
[dmtsai@study ~]$ last -n 5 | awk '{print $1 "\t" $3}' dmtsai 192.168.1.100 dmtsai 192.168.1.100 dmtsai 192.168.1.100 dmtsai 192.168.1.100 dmtsai Fri
但是，第五行的内容怪怪的～这是因为数据格式的问题。所以在使用 awk 的时候，请先确认一下你的数据当中，如果是连续性的数据，请不要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判。
由上面这个例子可知，在 awk 的括号内，每一列的每个字段都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说， dmtsai 是 $1 ，因为他是第一列，至于 192.168.1.100 是第三列， 所以他就是 $3 。后面以此类推，还有个变量，那就是 $0 ，$0 代表“一整列数据”的意思～以上面的例子来说，第一行的 $0 代表的就是“dmtsai .... ”那一列。由此可知，刚刚上面五行当中，整个 awk 的处理流程是：
- 读入第一行，并将第一行的数据填入 $0, $1, $2.... 等变量当中；
- 依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；
- 做完所有的动作与条件类型；
- 若还有后续的“行”的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。
经过这样的步骤，你会知道， awk 是“以行为一次处理的单位”， 而“以字段为最小的处理单位”。好了，那么 awk 怎么知道我到底这个数据有几行？有几栏呢？这就需要 awk 的内置变量的帮忙。
我们继续以上面 last -n 5 的例子来做说明，如果我想要：
- 列出每一行的帐号（就是 $1）；
- 列出目前处理的行数（就是 awk 内的 NR 变量）
- 并且说明，该行有多少字段（就是 awk 内的 NF 变量）
则可以这样：
[dmtsai@study ~]$ last -n 5| awk '{print $1 "\t lines: " NR "\t columns: " NF}' dmtsai lines: 1 columns: 10 dmtsai lines: 2 columns: 10 dmtsai lines: 3 columns: 10 dmtsai lines: 4 columns: 10 dmtsai lines: 5 columns: 9 # 注意，在 awk 内的 NR, NF 等变量要用大写，且不需要有 $
要注意，awk 后续的所有动作是以单引号“ ' ”括住的，由于单引号与双引号都必须是成对的， 所以， awk 的格式内容如果想要以 print 打印时，记得非变量的文字部分，包含上一小节 printf 提到的格式中，都需要使用双引号来定义出来，因为单引号已经是 awk 的指令固定用法了！
awk 的逻辑运算字符
举例来说，在 /etc/passwd 当中是以冒号 ":" 来作为字段的分隔， 该文件中第一字段为帐号，第三字段则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出帐号与第三栏， 那么可以这样做：
[dmtsai@study ~]$ cat /etc/passwd | awk '{FS=":"} $3 < 10 {print $1 "\t " $3}' root:x:0:0:root:/root:/bin/bash bin 1 daemon 2 ....（以下省略）....
不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先设置 awk 的变量啊！ 利用 BEGIN 这个关键字来做：
[dmtsai@study ~]$ cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}' root 0 bin 1 daemon 2 ......（以下省略）......
而除了 BEGIN 之外，还有 END 。另外，如果要用 awk 来进行“计算功能”呢？以下面的例子来看， 假设我有一个薪资数据表文件名为 pay.txt ，内容是这样的：
Name 1st 2nd 3th VBird 23000 24000 25000 DMTsai 21000 20000 23000 Bird2 43000 42000 41000
如何计算每个人的总额呢？而且我还想要格式化输出。我们可以这样考虑：
- 第一行只是说明，所以第一行不要进行加总 （NR==1 时处理）；
- 第二行以后就会有加总的情况出现 （NR>=2 以后处理）
[dmtsai@study ~]$ cat pay.txt | \ > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" } > NR>=2{total = $2 + $3 + $4 > printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}' Name 1st 2nd 3th Total VBird 23000 24000 25000 72000.00 DMTsai 21000 20000 23000 64000.00 Bird2 43000 42000 41000 126000.00
上面的例子有几个重要事项应该要先说明的：
- awk 的指令间隔：所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分号“;”间隔， 或者直接以 [Enter] 按键来隔开每个指令，例如上面的范例中，鸟哥共按了三次 [enter]
- 逻辑运算当中，如果是“等于”的情况，则务必使用两个等号“==”！
- 格式化输出时，在 printf 的格式设置当中，务必加上 \n ，才能进行分行！
- 与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。
awk 的动作内 { } 也是支持 if （条件） 的，举例来说，上面的指令可以修改成为这样：
[dmtsai@study ~]$ cat pay.txt | \ > awk '{if（NR==1） printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"} > NR>=2{total = $2 + $3 + $4 > printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
3.3 文件比对工具
什么时候会用到文件的比对？通常是“同一个软件包的不同版本之间，比较配置文件与原始文件的差异”。 很多时候所谓的文件比对，通常是用在 ASCII 纯文本文件的比对上的。那么比对文件的指令最常见的就是 diff 。另外，除了 diff 比对之外，我们还可以借由 cmp 来比对非纯文本文件。同时，也能够借由 diff 创建的分析文件， 以处理补丁 （patch） 功能的文件。
diff
diff 就是用在比对两个文件之间的差异的，并且是以行为单位来比对的。一般是用在 ASCII 纯文本文件的比对上。 由于是以行为比对的单位，因此 diff 通常是用在同一的文件（或软件）的新旧版本差异上。
[dmtsai@study ~]$ diff [-bBi] from-file to-file 选项与参数： from-file ：一个文件名，作为原始比对文件的文件名； to-file ：一个文件名，作为目的比对文件的文件名； 注意，from-file 或 to-file 可以 - 取代，那个 - 代表“Standard input”之意。 -b ：忽略一行当中，仅有多个空白的差异（例如 "about me" 与 "about me" 视为相同 -B ：忽略空白行的差异。 -i ：忽略大小写的不同。
还可以比对不同目录下的相同文件名的内容。
cmp
相对于 diff 的广泛用途， cmp 似乎就用的没有这么多了～ cmp 主要也是在比对两个文件，他主要利用“字节”单位去比对， 因此，当然也可以比对 binary file。
[dmtsai@study ~]$ cmp [-l] file1 file2
选项与参数：
-l ：将所有的不同点的字节处都列出来。因为 cmp 默认仅会输出第一个发现的不同点
patch
我们前面提到，diff 可以用来分辨两个版本之间的差异， 举例来说，我们创建 passwd.old 及 passwd.new 两个不同版本的文件。 那么，如果要“升级”呢？就是“将旧的文件升级成为新的文件”时，应该要怎么做呢？ 其实也不难啦！就是“先比较先旧版本的差异，并将差异文件制作成为补丁文件，再由补丁文件更新旧文件”即可。
范例一：以 /tmp/testpw 内的 passwd.old 与 passwd.new 制作补丁文件 [dmtsai@study testpw]$ diff -Naur passwd.old passwd.new > passwd.patch [dmtsai@study testpw]$ cat passwd.patch --- passwd.old 2015-07-14 22:37:43.322535054 +0800 <==新旧文件的信息 +++ passwd.new 2015-07-14 22:38:03.010535054 +0800 @@ -1,9 +1,8 @@ <==新旧文件要修改数据的界定范围，旧文件在 1-9 行，新文件在 1-8 行 root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin -adm:x:3:4:adm:/var/adm:/sbin/nologin <==左侧文件删除 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin -sync:x:5:0:sync:/sbin:/bin/sync <==左侧文件删除 +no six line <==右侧新文件加入 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
一般来说，使用 diff 制作出来的比较文件通常使用扩展名为 .patch 。至于内容就如同上面介绍的样子。 基本上就是以行为单位，看看哪边有一样与不一样的，找到一样的地方，然后将不一样的地方取代掉。 以上面为例，新文件看到 - 会删除，看到 + 会加入。
[dmtsai@study ~]$ patch -pN < patch_file <==更新 [dmtsai@study ~]$ patch -R -pN < patch_file <==还原 选项与参数： -p ：后面可以接“取消几层目录”的意思。 -R ：代表还原，将新的文件还原成原来旧的版本。
范例二：将刚刚制作出来的 patch file 用来更新旧版数据 [dmtsai@study testpw]$ patch -p0 < passwd.patch patching file passwd.old [dmtsai@study testpw]$ ll passwd* -rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new -rw-r--r--. 1 dmtsai dmtsai 2035 Jul 14 23:30 passwd.old <==文件一模一样！ 范例三：恢复旧文件的内容 [dmtsai@study testpw]$ patch -R -p0 < passwd.patch [dmtsai@study testpw]$ ll passwd* -rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new -rw-r--r--. 1 dmtsai dmtsai 2092 Jul 14 23:31 passwd.old # 文件就这样恢复成为旧版本啰
为什么这里会使用 -p0 呢？因为我们在比对新旧版的数据时是在同一个目录下， 因此不需要减去目录。如果是使用整体目录比对 （diff 旧目录 新目录） 时， 就得要依据创建 patch 文件所在目录来进行目录的删减。
3.4 文件打印准备： pr
如果你曾经使用过一些图形接口的文书处理软件的话，那么很容易发现，当我们在打印的时候， 可以同时选择与设置每一页打印时的标头，也可以设置页码。那么，如果我是在 Linux 下面打印纯文本文件呢 可不可以具有标题？可不可以加入页码？使用 pr 就能够达到这个功能了。不过， pr 的参数实在太多了，这里也说不完，略
突然有一天假期结束，时来运转，人生才是真正开始了。
