Linux笔记：3-正规表示法与文件格式化处理

正规表示法与文件格式化处理

正规表示法与文件格式化处理

正规表示法就是用在字符串的处理上面的一项『表示式』。正规表示法并不是一个工具程序，而是一个字符串处理的标准依据，如果您想要以正规表示法的方式处理字符串，就得要使用支持正规表示法的工具程序才行，这类的工具程序很多，例如 vi, sed, awk 等等。

但例如 cp, ls 等指令并未支持正规表示法，所以就只能使用 bash 自己本身的通配符而已。

正规表示法的字符串表示方式依照不同的严谨度而分为： 基础正规表示法与延伸正规表示法。
延伸型正规表示法除了简单的一组字符串处理之外，还可以作群组的字符串处理 。

注意：
『正规表示法与通配符是完全不一样的东西！』这很重要。

因为『通配符 (wildcard) 代表的是 bash 操作接口的一个功能』，但正规表示法则是一种字符串处理的表示方式。注意两者的区别。

基础正规表示法

正规表示法是处理字符串的一种表示方式，那么对字符排序有影响的语系数据就会对正规表示法的结果有影响。
此外，正规表示法也需要支持工具程序来辅助才行

以grep为例，介绍基础正规表示法

语系对正规表示法的影响

由于不同语系的编码数据并不相同，所以就会造成数据撷取结果的差异了。
比如zh_TW.big5 及 C 这两种语系的输出结果分别如下：

LANG=C 时：0 1 2 3 4 ... A B C D ... Z a b c d ...z

LANG=zh_TW 时：0 1 2 3 4 ... a A b B c C d D ... z Z

使用正规表示法时，需要特别留意当时环境的语系为何， 否则可能会发现与别人不相同的撷取结果。

兼容于 POSIX 的标准的特殊符号：

特殊符号	代表意义
[:alnum:]	代表英文大小写字符及数字，亦即 0-9, A-Z, a-z
[:alpha:]	代表任何英文大小写字符，亦即 A-Z, a-z
[:cntrl:]	代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]	代表数字而已，亦即 0-9
[:graph:]	除了空格符 (空格键与 [Tab] 按键) 外的其他所有按键
[:lower:]	代表小写字符，亦即 a-z
[:print:]	代表任何可以被打印出来的字符
[:punct:]	代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
[:upper:]	代表大写字符，亦即 A-Z
[:space:]	任何会产生空白的字符，包括空格键, [Tab], CR 等等
[:xdigit:]	代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字符

grep 的一些进阶选项

[dmtsai@study ~]$ grep [-A] [-B] [--color=auto] '搜寻字符串' filename
选项与参数：
-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；
-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；
--color=auto 可将正确的那个撷取数据列出颜色

范例一：用 dmesg 列出核心讯息，再以 grep 找出内含 qxl 那行
[dmtsai@study ~]$ dmesg | grep 'qxl'
[ 0.522749] [drm] qxl: 16M of VRAM memory size
[ 0.522750] [drm] qxl: 63M of IO pages memory ready (VRAM domain)
[ 0.522750] [drm] qxl: 32M of Surface memory size
[ 0.650714] fbcon: qxldrmfb (fb0) is primary device
[ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device
# dmesg 可列出核心产生的讯息！包括硬件侦测的流程也会显示出来。
# 鸟哥使用的显卡是 QXL 这个虚拟卡，透过 grep 来 qxl 的相关信息，可发现如上信息。

范例二：承上题，要将捉到的关键词显色，且加上行号来表示：
[dmtsai@study ~]$ dmesg | grep -n --color=auto 'qxl'
515:[ 0.522749] [drm] qxl: 16M of VRAM memory size
516:[ 0.522750] [drm] qxl: 63M of IO pages memory ready (VRAM domain)
517:[ 0.522750] [drm] qxl: 32M of Surface memory size
529:[ 0.650714] fbcon: qxldrmfb (fb0) is primary device
539:[ 0.668487] qxl 0000:00:02.0: fb0: qxldrmfb frame buffer device
# 除了 qxl 会有特殊颜色来表示之外，最前面还有行号喔！其实颜色显示已经是默认在 alias 当中了！

范例三：承上题，在关键词所在行的前两行与后三行也一起捉出来显示
[dmtsai@study ~]$ dmesg | grep -n -A3 -B2 --color=auto 'qxl'
# 你会发现关键词之前与之后的数行也被显示出来！这样可以让你将关键词前后数据捉出来进行分析啦！

grep 是一个很常见也很常用的指令，他最重要的功能就是进行字符串数据的比对，然后将符合用户需求的字符串打印出来。
需要说明的是『grep 在数据中查寻一个字符串时，是以 "整行" 为单位来进行数据的撷取的！』也就是说，假如一个文件内有 10 行，其中有两行具有你所搜寻的字符串，则将那两行显示在屏幕上，其他的就丢弃了。

基础正规表示法字符汇整 (characters)

正规表示法特殊字符汇整如下：

RE 字符	意义与范例
^word	意义：待搜寻的字符串(word)在行首！范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n '^#' regular_express.txt
word$	意义：待搜寻的字符串(word)在行尾！范例：将行尾为 ! 的那一行打印出来，并列出行号 grep -n '!$' regular_express.txt
.	意义：代表『一定有一个任意字符』的字符！范例：搜寻的字符串可以是 (eve) (eae) (eee) (e e)，但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！ grep -n 'e.e' regular_express.txt
\	意义：跳脱字符，将特殊符号的特殊意义去除！范例：搜寻含有单引号 ' 的那一行！ grep -n ' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符范例：找出含有 (es) (ess) (esss) 等等的字符串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为『.』！ grep -n 'ess' regular_express.txt
[list]	意义：字符集合的 RE 字符，里面列出想要撷取的字符！范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』，例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
[n1-n2]	意义：字符集合的 RE 字符，里面列出想要撷取的字符范围！范例：搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，你的编码需要设定正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] grep -n '[A-Z]' regular_express.txt
[^list]	意义：字符集合的 RE 字符，里面列出不要的字符串或范围！范例：搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。例如，我不要大写字符，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思，因为每一行均有非大写字符，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt
	意义：连续 n 到 m 个的『前一个 RE 字符』意义：若为 {n} 则是连续 n 个的前一个 RE 字符，意义：若是 {n,} 则是连续 n 个以上的前一个 RE 字符！范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) grep -n 'go{2,3}g' regular_express.txt

再次强调：『正规表示法的特殊字符』与一般在指令列输入指令的『通配符』并不相同，例如，在通配符当中的 * 代表的是『 0 ~ 无限多个字符』的意思，但是在正规表示法当中， * 则是『重复 0到无穷多个的前一个 RE 字符』的意思～使用的意义并不相同，不要搞混。

sed 工具

sed 本身也是一个管线命令，可以分析 standard input 的啦！而且 sed还可以将数据进行取代、删除、新增、撷取特定行等等的功能

[dmtsai@study ~]$ sed [-nefr] [动作]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。
	但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是由屏幕输出。

动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些咚咚：
a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！
	例如 1,20s/old/new/g 就是啦！

案例：

以行为单位的新增/删除功能

范例一：将 /etc/passwd 的内容列出并且打印行号，同时，请将第 2~5 行删除！
[dmtsai@study ~]$ nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略)

范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[dmtsai@study ~]$ nl /etc/passwd | sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
.....(后面省略)

范例三：在第二行后面加入两行字，例如『Drink tea or .....』与『drink beer?』
[dmtsai@study ~]$ nl /etc/passwd | sed '2a Drink tea or ......\
> drink beer ?'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
.....(后面省略)
# 这个范例的重点是『我们可以新增不只一行喔！可以新增好几行』但是每一行之间都必须要以反斜杠『 \ 』来进行新行的增加在,多行新增的情况下， \ 是一定要的

以行为单位的取代与显示功能

范例四：我想将第 2-5 行的内容取代成为『No 2-5 number』呢？
[dmtsai@study ~]$ nl /etc/passwd | sed '2,5c No 2-5 number'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
.....(后面省略)

范例五：仅列出 /etc/passwd 文件内的第 5-7 行
[dmtsai@study ~]$ nl /etc/passwd | sed -n '5,7p'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

部分数据的搜寻并取代的功能

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代的功能喔！基本上sed 的搜寻与取代的与 vi 相当的类似！他有点像这样：

sed 's/要被取代的字符串/新的字符串/g'

步骤一：先观察原始讯息，利用 /sbin/ifconfig 查询 IP 为何？
[dmtsai@study ~]$ /sbin/ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
        inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
        inet6 fe80::5054:ff:fedf:e174 prefixlen 64 scopeid 0x20<link>
        ether 52:54:00:df:e1:74 txqueuelen 1000 (Ethernet)
.....(以下省略).....
# 因为我们还没有讲到 IP ，这里你先有个概念即可啊！我们的重点在第二行，
# 也就是 192.168.1.100 那一行而已！先利用关键词捉出那一行！

步骤二：利用关键词配合 grep 撷取出关键的一行数据
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet '
inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 当场仅剩下一行！要注意， CentOS 7 与 CentOS 6 以前的 ifconfig 指令输出结果不太相同，
# 鸟哥这个范例主要是针对 CentOS 7 以后的喔！接下来，我们要将开始到 addr: 通通删除，
# 就是像底下这样：
# inet 192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 上面的删除关键在于『 ^.*inet 』啦！正规表示法出现！ ^_^

步骤三：将 IP 前面的部分予以删除
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g'
192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 仔细与上个步骤比较一下，前面的部分不见了！接下来则是删除后续的部分，亦即：
192.168.1.100 netmask 255.255.255.0 broadcast 192.168.1.255
# 此时所需的正规表示法为：『 ' *netmask.*$ 』就是啦！
步骤四：将 IP 后面的部分予以删除
[dmtsai@study ~]$ /sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g' \
> | sed 's/ *netmask.*$//g'
192.168.1.100

# sed 与正规表示法的配合练习
# 假设我只要 MAN 存在的那几行数据， 但是含有 # 在内的批注我不想要，而且空白行我也不要

步骤一：先使用 grep 将关键词 MAN 所在行取出来
[dmtsai@study ~]$ cat /etc/man_db.conf | grep 'MAN'
# MANDATORY_MANPATH manpath_element
# MANPATH_MAP path_element manpath_element
# MANDB_MAP global_manpath [relative_catpath]
# every automatically generated MANPATH includes these fields
....(后面省略)....

步骤二：删除掉批注之后的数据！
[dmtsai@study ~]$ cat /etc/man_db.conf | grep 'MAN'| sed 's/#.*$//g'
MANDATORY_MANPATH /usr/man
....(后面省略)....
# 从上面可以看出来，原本批注的数据都变成空白行啦！所以，接下来要删除掉空白行

[dmtsai@study ~]$ cat /etc/man_db.conf | grep 'MAN'| sed 's/#.*$//g' | sed '/^$/d'
MANDATORY_MANPATH /usr/man
MANDATORY_MANPATH /usr/share/man
MANDATORY_MANPATH /usr/local/share/man
....(后面省略)....

直接修改文件内容(危险动作)

sed 甚至可以直接修改文件的内容，而不必使用管线命令或数据流重导向。

范例六：利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
[dmtsai@study ~]$ sed -i 's/\.$/\!/g' regular_express.txt
# 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由屏幕输出喔！
# 这个范例是用在取代！请您自行 cat 该文件去查阅结果啰！
范例七：利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』
[dmtsai@study ~]$ sed -i '$a # This is a test' regular_express.txt
# 由于 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增啰！

延伸正规表示法

事实上，一般只要了解基础型的正规表示法大概就已经相当足够了，不过，某些时刻为了要简化整个指令操作，了解一下使用范围更广的延伸型正规表示法的表示式会更方便。

grep 预设仅支持基础正规表示法，如果要使用延伸型正规表示法，你可以使用 grep -E ，不过更建议直接使用 egrep

延伸正规表示法的特殊符号：

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符范例：搜寻 (god) (good) (goood)... 等等的字符串。那个 o+ 代表『一个以上的 o 』所以，底下的执行成果会将第 1, 9, 13 行列出来。 egrep -n 'go+d' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符范例：搜寻 (gd) (god) 这两个字符串。那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？想想看，这是为什么喔！ ^_ egrep -n 'go?d' regular_express.txt
\|	意义：用或( or )的方式找出数个字符串范例：搜寻 gd 或 good 这两个字符串，注意，是『或』！所以，第 1,9,14 这三行都可以被打印出来喔！那如果还想要找出 dog 呢？ egrep -n 'gd\|good' regular_express.txt egrep -n 'gd\|good\|dog' regular_express.txt
()	意义：找出『群组』字符串范例：搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以，我就可以将 la 与 oo 列于 ( ) 当中，并以 \| 来分隔开来，就可以啦！ egrep -n 'g(la\|oo)d' regular_express.txt
()+	意义：多个重复群组的判别范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo 'AxyzxyzxyzxyzC' \| egrep 'A(xyz)+C' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～

文件的格式化与相关处理

格式化打印： printf

[dmtsai@study ~]$ printf '打印格式' 实际内容
选项与参数：
关于格式方面的几个特殊样式：
        \a 	 警告声音输出
        \b 	 退格键(backspace)
        \f 	 清除屏幕 (form feed)
        \n 	 输出新的一行
        \r   亦即 Enter 按键
        \t   水平的 [tab] 按键
        \v 	 垂直的 [tab] 按键
        \xNN NN 为两位数的数字，可以转换数字成为字符。
关于 C 程序语言内，常见的变数格式
        %ns   那个 n 是数字， s 代表 string ，亦即多少个字符；
        %ni   那个 n 是数字， i 代表 integer ，亦即多少整数字数；
        %N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数字数，
              假设我共要十个位数，但小数点有两位，即为 %10.2f 啰！

格式化以下文件（printf.txt）：

Name   Chinese 	English 	Math 	Average
DmTsai 80 		60 			92 		77.33
VBird  75 		55 			80 		70.00
Ken    60 		90 			70 		73.33

范例一：将刚刚上头数据的文件 (printf.txt) 内容仅列出姓名与成绩：(用 [tab] 分隔)
[dmtsai@study ~]$ printf '%s\t %s\t %s\t %s\t %s\t \n' $(cat printf.txt)
Name 	Chinese 		English 	Math Average
DmTsai 	80 		60 		92 		77.33
VBird 	75 		55 		80 		70.00
Ken 	60 		90 		70 		73.33

由于 printf 并不是管线命令，因此我们得要透过类似上面的功能，将文件内容先提出来给 printf 作为后续的资料才行。如上所示，我们将每个数据都以 [tab] 作为分隔，但是由于 Chinese 长度太长，导致 English 中间多了一个 [tab] 来将资料排列整齐；结果就看到资料对齐结果的差异了

在 printf 后续的那一段格式中，%s 代表一个不固定长度的字符串，而字符串与字符串中间就以 \t 这个 [tab] 分隔符来处理。

每个字段的长度不固定会造成上述的困扰，那我将每个字段固定就好；
所以我们就将数据给他进行固定字段长度的设计。

范例二：将上述资料关于第二行以后，分别以字符串、整数、小数点来显示：
[dmtsai@study ~]$ printf '%10s %5i %5i %5i %8.2f \n' $(cat printf.txt | grep -v Name)
DmTsai 	80 	60 	92 	77.33
 VBird 	75 	55 	80 	70.00
   Ken 	60 	90 	70 	73.33

上面的格式共分为五个字段；
%10s代表的是一个长度为 10 个字符的字符串字段，
%5i 代表的是长度为 5 个字符的数字字段，
至于那个 %8.2f 则代表长度为 8 个字符的具有小数点的字段，其中小数点有两个字符宽度。

%8.2f 的意义:
字符宽度： 12345678
%8.2f 意义：00000.00
全部的宽度仅有 8 个字符，整数部分占有 5 个字符，小数点本身 (.) 占一位，小数点下的位数则有两位。

awk：好用的数据处理工具

相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个『字段』来处理。
因此，awk 相当的适合处理小型的数据数据处理

awk 是『以行为一次处理的单位』，而『以字段为最小的处理单位』。

awk 通常运作的模式是这样的：

[dmtsai@study ~]$ awk '条件类型 1{动作 1} 条件类型 2{动作 2} ...' filename

awk 后面接两个单引号并加上大括号 {} 来设定想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个指令的 standard output 。

awk 主要是处理『每一行的字段内的数据』，而默认的『字段的分隔符为 "空格键" 或 "[tab]键" 』

例子：用 last 可以将登入者的数据取出来

[dmtsai@study ~]$ last -n 5 <==仅取出前五行
dmtsai pts/0 192.168.1.100 Tue Jul 14 17:32 still logged in
dmtsai pts/0 192.168.1.100 Thu Jul 9 23:36 - 02:58 (03:22)
dmtsai pts/0 192.168.1.100 Thu Jul 9 17:23 - 23:36 (06:12)
dmtsai pts/0 192.168.1.100 Thu Jul 9 08:02 - 08:17 (00:14)
dmtsai tty1 Fri May 29 11:55 - 12:11 (00:15)

#若我想要取出账号与登入者的 IP ，且账号与 IP 之间以 [tab] 隔开，则会变成这样：
[dmtsai@study ~]$ last -n 5 | awk '{print $1 "\t" $3}'
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai 192.168.1.100
dmtsai Fri

# 第五行的内容怪怪的~这是因为数据格式的问题
# 所以～使用 awk的时候，请先确认一下你的数据当中，如果是连续性的数据，请不要有空格或 [tab] 在内，否则，就会像这个例子这样，会发生误判、

在 awk 的括号内，每一行的每个字段都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说，dmtsai 是 $1 ，因为他是第一栏嘛！至于 192.168.1.100是第三栏，所以他就是 $3 啦！后面以此类推；
还有个变数喔！那就是 $0 ，$0 代表『一整列资料』的意思～以上面的例子来说，第一行的 $0 代表的就是『dmtsai .... 』那一行。

整个 awk 的处理流程是：

读入第一行，并将第一行的资料填入 $0, $1, $2.... 等变数当中；

依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；

做完所有的动作与条件类型；

若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止

awk 的内建变量：

变量名称	代表意义
NF	每一行 ($0) 拥有的字段总数
NR	目前 awk 所处理的是『第几行』数据
FS	目前的分隔字符，默认是空格键

我们继续以上面 last -n 5 的例子来做说明，如果我想要：

列出每一行的账号(就是 $1)；

列出目前处理的行数(就是 awk 内的 NR 变量)

并且说明，该行有多少字段(就是 awk 内的 NF 变量)

awk 的逻辑运算字符

运算单元	运算单元
>	大于
>	小于
>=	大于或等于
<=	小于或等于
==	等于
!=	等于

# 在 /etc/passwd 当中是以冒号 ":" 来作为字段的分隔， 该文件中第一字段为账号，第三字则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出账号与第三栏，

[dmtsai@study ~]$ cat /etc/passwd | awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'
root:x:0:0:root:/root:/bin/bash
bin 1
daemon 2
....(以下省略)....

第一行没有正确的显示出来，这是因为我们读入第一行的时候，那些变数 $1,$2... 默认还是以空格键为分隔的，所以虽然我们定义了 FS=":" 了，但是却仅能在第二行后才开始生效。

可以预先设定 awk 的变量啊！利用 BEGIN这个关键词。
除了 BEGIN 之外，我们还有 END

[dmtsai@study ~]$ cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'
root 0
bin 1
daemon 2
......(以下省略)

awk的计算功能

假设我有一个薪资数据表档名为 pay.txt ，如何帮我计算每个人的总额？

Name 		1st 		2nd 		3th
VBird 		23000 		24000 		25000
DMTsai 		21000 		20000 		23000
Bird2 		43000 		42000 		41000

计算思路如下：

第一行只是说明，所以第一行不要进行加总 (NR==1 时处理)；

第二行以后就会有加总的情况出现 (NR>=2 以后处理)

[dmtsai@study ~]$ cat pay.txt | \
> awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" }
> NR>=2{total = $2 + $3 + $4
> printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
Name 		1st 		2nd 		3th 		Total
VBird 		23000 		24000 		25000 		72000.00
DMTsai 		21000 		20000 		23000 		64000.00
Bird2 		43000 		42000 		41000 		126000.00

上面的例子有几个重要事项应该要先说明的：

awk 的指令间隔：所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分号『;』间隔，或者直接以 [Enter] 按键来隔开每个指令，例如上面的范例中，鸟哥共按了三次 [enter] 喔！

逻辑运算当中，如果是『等于』的情况，则务必使用两个等号『==』！

格式化输出时，在 printf 的格式设定当中，务必加上 \n ，才能进行分行！

与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。

awk的动作内 {} 也是支持 if (条件) 的

举例来说，上面的指令可以修订成为这样：

[dmtsai@study ~]$ cat pay.txt | \
> awk '{if(NR==1) printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
> NR>=2{total = $2 + $3 + $4
> printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}

文件比对工具

什么时候会用到文件的比对？通常是『同一个软件包的不同版本之间，比较配置文件与原始档的差异』。
很多时候所谓的文件比对，通常是用在 ASCII 纯文本档的比对上的。

最常见的就是 diff，除了 diff 比对之外，我们还可以利用 cmp 来比对非纯文本档！同时，也能够利用 diff 建立的分析文档，以处理补丁 (patch) 功能的文件。

diff

diff 就是用在比对两个文件之间的差异的，并且是以行为单位来比对的。
一般是用在 ASCII 纯文本档的比对上。由于是以行为比对的单位，因此 diff 通常是用在同一的文件(或软件)的新旧版本差异上。

举例来说，假如我们要将 /etc/passwd 处理成为一个新的版本，处理方式为：将第四行删除，第六行则取代成为『no six line』，新的文件放置到 /tmp/test 里面

[dmtsai@study ~]$ mkdir -p /tmp/testpw <==先建立测试用的目录
[dmtsai@study ~]$ cd /tmp/testpw
[dmtsai@study testpw]$ cp /etc/passwd passwd.old
[dmtsai@study testpw]$ cat /etc/passwd | sed -e '4d' -e '6c no six line' > passwd.new
# 注意一下， sed 后面如果要接超过两个以上的动作时，每个动作前面得加 -e 才行！
# 透过这个动作，在 /tmp/testpw 里面便有新旧的 passwd 文件存在了！

[dmtsai@study ~]$ diff [-bBi] from-file to-file
选项与参数：
from-file ：一个档名，作为原始比对文件的档名；
to-file ：一个档名，作为目的比对文件的档名；
注意，from-file 或 to-file 可以 - 取代，那个 - 代表『Standard input』之意。

-b ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about    me" 视为相同
-B ：忽略空白行的差异。
-i ：忽略大小写的不同。

范例一：比对 passwd.old 与 passwd.new 的差异：
[dmtsai@study testpw]$ diff passwd.old passwd.new
4d3 <==左边第四行被删除 (d) 掉了，基准是右边的第三行
< adm:x:3:4:adm:/var/adm:/sbin/nologin <==这边列出左边(<)文件被删除的那一行内容
6c5 <==左边文件的第六行被取代 (c) 成右边文件的第五行
< sync:x:5:0:sync:/sbin:/bin/sync <==左边(<)文件第六行内容
---
> no six line <==右边(>)文件第五行内容
# 很聪明吧！用 diff 就把我们刚刚的处理给比对完毕了

你不要用 diff 去比对两个完全不相干的文件，因为比不出内容；
diff 也可以比对整个目录下的差异；

cmp

cmp 主要也是在比对两个文件，他主要利用『字节』单位去比对，因此，当然也可以比对 binary file ；
diff 主要是以『行』为单位比对， cmp 则是以『字节』为单位去比对，这并不相同。

[dmtsai@study ~]$ cmp [-l] file1 file2
选项与参数：
-l ：将所有的不同点的字节处都列出来。因为 cmp 预设仅会输出第一个发现的不同点。

范例一：用 cmp 比较一下 passwd.old 及 passwd.new
[dmtsai@study testpw]$ cmp passwd.old passwd.new
passwd.old passwd.new differ: char 106, line 4

第一个发现的不同点在第四行，而且字节数是在第 106 个字节处！这个 cmp 也可以用来比对 binary。

patch

patch 这个指令与 diff 可是有密不可分的关系

我们前面提到，diff 可以用来分辨两个版本之间的差异，举例来说，刚刚我们所建立的 passwd.old 及 passwd.new 之间就是两个不同版本的文件。
如果要『升级』，就是『将旧的文件升级成为新的文件』，可以利用patch指令，『先比较新旧版本的差异，并将差异档制作成为补丁档，再由补丁档更新旧文件』即可。

范例一：以 /tmp/testpw 内的 passwd.old 与 passwd.new 制作补丁文件
[dmtsai@study testpw]$ diff -Naur passwd.old passwd.new > passwd.patch
[dmtsai@study testpw]$ cat passwd.patch
--- passwd.old 2015-07-14 22:37:43.322535054 +0800 <==新旧文件的信息
+++ passwd.new 2015-07-14 22:38:03.010535054 +0800
@@ -1,9 +1,8 @@ <==新旧文件要修改数据的界定范围，旧档在 1-9 行，新檔在 1-8 行
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
-adm:x:3:4:adm:/var/adm:/sbin/nologin <==左侧文件删除
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
-sync:x:5:0:sync:/sbin:/bin/sync <==左侧文件删除
+no six line <==右侧新档加入
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

一般来说，使用 diff 制作出来的比较文件通常使用扩展名为 .patch

# 因为 CentOS 7 预设没有安装 patch 这个软件，因此得要依据之前介绍的方式来安装一下软件！
# 请记得拿出原本光盘并放入光驱当中，这时才能够使用底下的方式来安装软件！
[dmtsai@study ~]$ su -
[root@study ~]# mount /dev/sr0 /mnt
[root@study ~]# rpm -ivh /mnt/Packages/patch-2.*
[root@study ~]# umount /mnt
[root@study ~]# exit
# 透过上述的方式可以安装好所需要的软件，且无须上网。接下来让我们开始操作 patch 啰！

[dmtsai@study ~]$ patch -pN < patch_file <==更新
[dmtsai@study ~]$ patch -R -pN < patch_file <==还原
选项与参数：
-p ：后面可以接『取消几层目录』的意思。
-R ：代表还原，将新的文件还原成原来旧的版本。

范例二：将刚刚制作出来的 patch file 用来更新旧版数据
[dmtsai@study testpw]$ patch -p0 < passwd.patch
patching file passwd.old
[dmtsai@study testpw]$ ll passwd*
-rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new
-rw-r--r--. 1 dmtsai dmtsai 2035 Jul 14 23:30 passwd.old <==文件一模一样！

范例三：恢复旧文件的内容
[dmtsai@study testpw]$ patch -R -p0 < passwd.patch
[dmtsai@study testpw]$ ll passwd*
-rw-rw-r--. 1 dmtsai dmtsai 2035 Jul 14 22:38 passwd.new
-rw-r--r--. 1 dmtsai dmtsai 2092 Jul 14 23:31 passwd.old
# 文件就这样恢复成为旧版本啰

posted @ 2023-05-28 23:58 CD、小月阅读(108) 评论(0) 编辑收藏举报

刷新页面返回顶部

RE 字符	意义与范例
^word	意义：待搜寻的字符串(word)在行首！范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n '^#' regular_express.txt
word$	意义：待搜寻的字符串(word)在行尾！范例：将行尾为 ! 的那一行打印出来，并列出行号 grep -n '!$' regular_express.txt
.	意义：代表『一定有一个任意字符』的字符！范例：搜寻的字符串可以是 (eve) (eae) (eee) (e e)，但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！ grep -n 'e.e' regular_express.txt
\	意义：跳脱字符，将特殊符号的特殊意义去除！范例：搜寻含有单引号 ' 的那一行！ grep -n ' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符范例：找出含有 (es) (ess) (esss) 等等的字符串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号，因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为『.』！ grep -n 'ess' regular_express.txt
[list]	意义：字符集合的 RE 字符，里面列出想要撷取的字符！范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』，例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
[n1-n2]	意义：字符集合的 RE 字符，里面列出想要撷取的字符范围！范例：搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，你的编码需要设定正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] grep -n '[A-Z]' regular_express.txt
[^list]	意义：字符集合的 RE 字符，里面列出不要的字符串或范围！范例：搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。例如，我不要大写字符，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思，因为每一行均有非大写字符，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt
	意义：连续 n 到 m 个的『前一个 RE 字符』意义：若为 {n} 则是连续 n 个的前一个 RE 字符，意义：若是 {n,} 则是连续 n 个以上的前一个 RE 字符！范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串，亦即 (goog)(gooog) grep -n 'go{2,3}g' regular_express.txt

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符范例：搜寻 (god) (good) (goood)... 等等的字符串。那个 o+ 代表『一个以上的 o 』所以，底下的执行成果会将第 1, 9, 13 行列出来。 egrep -n 'go+d' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符范例：搜寻 (gd) (god) 这两个字符串。那个 o? 代表『空的或 1 个 o 』所以，上面的执行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？想想看，这是为什么喔！ ^_ egrep -n 'go?d' regular_express.txt
\|	意义：用或( or )的方式找出数个字符串范例：搜寻 gd 或 good 这两个字符串，注意，是『或』！所以，第 1,9,14 这三行都可以被打印出来喔！那如果还想要找出 dog 呢？ egrep -n 'gd\|good' regular_express.txt egrep -n 'gd\|good\|dog' regular_express.txt
()	意义：找出『群组』字符串范例：搜寻 (glad) 或 (good) 这两个字符串，因为 g 与 d 是重复的，所以，我就可以将 la 与 oo 列于 ( ) 当中，并以 \| 来分隔开来，就可以啦！ egrep -n 'g(la\|oo)d' regular_express.txt
()+	意义：多个重复群组的判别范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo 'AxyzxyzxyzxyzC' \| egrep 'A(xyz)+C' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字符串的意思～

一纾

Linux笔记：3-正规表示法与文件格式化处理

正规表示法与文件格式化处理

基础正规表示法

语系对正规表示法的影响

grep 的一些进阶选项

基础正规表示法字符汇整 (characters)

sed 工具

延伸正规表示法

文件的格式化与相关处理

格式化打印： printf

awk：好用的数据处理工具

文件比对工具

公告