正则表达式与文件格式化处理
一、基础正则表达式
1、语系对正则表达式的影响
由于语系的编码数据并不相同，所以就会造成数据选取结果的区别。举例来说， 在英文大小写的编码顺序中，zh_CN.big5及C这两种语系的输出结果分别如下：
LANG=C时，0 1 2 ...A B C ... Z a b c...z
LANG=zh_CN时， 0 1 2...a A b B c C ... z Z
特殊符号表：
| 特殊符号 | 代表意义 |
| [:alnum:] | 代表英文大小写字符及数字， 即0-9，A-Z， a-z |
| [:alpha:] | 代表任何英文大小写字符，即A-Z，a-z |
| [:blank:] | 代表空格键与【tab】 |
| [:cntrl:] | 代表键盘上面的控制按键，即包括CR，LF，Tab，Del等 |
| [:digit:] | 代表数字而已，即0-9 |
| [:graph:] | 除了空格符（空格键与【Tab】按键）外的其他所有按键 |
| [:lower:] | 代表小写字符， 即a-z |
| [:print:] | 代表任何可以被打印出来的字符 |
| [:punct:] | 代表标点符号（punctuation symbol）, 即" ' ?!; : #$ |
| [:upper:] | 代表大写字符，即A-Z |
| [:space:] | 任何会产生空白的字符，包括空格键【Tab】CR等 |
| [:xdigit:] | 代表十六进制的数字类型，因此包括0-9，A-F，a-f的数字与字符 |
2、grep的一些高级参数
grep [-A] [-B] [--color==auto] ‘搜寻字符串’ filename
-A: 后面可加数字，为after的意思，出了列出该行外， 后续的n行也列出来
-B： 后面可加数字，为befer的意思，出了列出该行外，前面的n行也列出来
注： ^在[]内代表“反向选择”， 在[]之外代表定位在行首的意义。
.(小数点)： 代表一定有一个任意字符的意思
*（星号）‘：代表重复前一个0到无穷多次的意思， 为组合形态
“.*”: 代表零个或多个任意字符的意思。
限定连续RE字符范围{}：
因为{与}的符号在shell是有特殊意义的，因此我们必须用转义字符
如： grep -n 'o\{2\}' regular_express.txt 找到两个o的字符串
3、基础正则表达式字符（characters）
| RE字符 | 意义 |
| ^word | 待查找的字符串（word）在行首 |
| word$ | 将查找的字符串（word）在行尾 |
| . | 代表一定有一个任意字符的字符 |
| \ | 转义字符，将特殊符号得特殊意义去除 |
| * | 重复零个到无穷多个的前一个字符 |
| [list] | 从字符集合的RE字符里面找出想要选取的字符 |
| [n1-n2] | 从字符集合的RE字符里面找出想要选取的字符范围 |
| [^list] | 从字符集合的RE字符里面找出不要的字符串或范围 |
| \{n,m\} | 连续n到m个的前一个RE字符， 若为\{n\}则是连续n个的前一个RE字符， 若为\{n,\}则是连续n个以上的前一个RE字符 |
二、sed工具
sed本身也是一个管道命令，可以分析standard input的， 而且sed还可以将数据进行替换、删除、新增、选取特定行等的功能
sed [-nefr] [动作]
参数：
-n: 使用安静（silent）模式。在一般sed的用法中， 所有来自STDIN的数据一般都会被列出到屏幕上。但如果加上-n参数后，则只有经过sed特殊处理的那一行（或者操作）才会被列出来
-e：直接在命令行模式上进行sed的动作编辑
-f： 直接将sed的动作写在一个文件内， -f filename则可以执行filename内的sed动作
-r： sed的动作支持的是扩展型正则表达式的语法
-i： 直接修改读取的文件内容，而不是由屏幕输出。
动作说明：[n1] [,n2] function
n1,n2 : 不见得会存在，一般代表选择进行动作的行数，举例来说，如果我的动作是需要在10到20行之间进行的，则“10,20[动作行为]”
function有下面这些参数：
a： 新增，a的后面可以接字符串， 而这些字符串会在新的一行出现（目前的下一行）
c: 替换，c的后面可以接字符串， 这些字符串可以替换n1，n2之间的行
d： 删除，后面通常不接任何参数
i： 插入， i 的后面可以接字符串， 而这些字符串会在新的一行出现（目前的上一行）
p: 打印， 也就是将某个选择的数据打印出来。通常p会与参数sed -n一起运行
s： 替换，可以直接进行替换的工作。通常这个s的动作可以搭配正则表达式！
sed的几个功能：
a、以行为单位的新增/删除功能
b、以行为单位的替换与显示功能
c、部分数据的查找并替换的功能
除了整行的处理模式之外，sed还可以用行为单位进行部分数据的查找并替换的功能。基本行sed的查找与替换的与vi相当类似，它有点像这样：
sed 's//要被替换的字符串/新的字符串g'
d、直接修改文件内容（危险操作）
sed甚至可以直接修改文件的内容，而不必使用管道命令或数据流重定向。
例: sed -i 's/\.$/\!/g' regular_express.txt
sed的“-i”参数可以直接修改文件内容
三、扩展正则表达式
grep默认仅支持基础正则表达式，如果要使用扩展型正则表达式，可以使用grep -E 不过建议直接使用egrep
| RE字符 | 意义与范例 |
| + |
意义：重复一个或一个以上的前一个RE字符 范例：查找（god）（good）（goood）等的字符串。那个o+代表一个以上的o,: egrep -n 'go+d' regular_express.txt |
| ? |
意义：零个或一个的前一个RE字符 范例： 查找gd或god这两个字符串： egrep -n 'go?d' regular_express.txt |
| | |
意义： 用或（or）的方式找出数个字符串 范例：查找gd或good这两个字符串 egrep -n 'gd|good' regular_express.txt |
| () |
意义：找出“组”字符串 范例： 查找（glad）或（good）这两个字符串 egrep -n 'g(la|oo)d' regular_express.txt |
| ()+ |
意义：多个重复组的判别 范例： echo 'AxyzxyzxyzC' | egrep 'A(xyz)+C' |
四、文件的格式化与相关处理
1、格式化打印：printf
printf '打印格式' 实际内容
参数：
关于格式方面的几个特殊样式：
\a 警告声音输出
\b 退格键（backspace）
\f 清除屏幕（form feed）
\n 输出新的一行
\r 亦即Enter按键
\t 水平的[tab]按键
\v 垂直的[tab]按键
\xNN NN为两位数的数字，可以转换数字成为字符
关于C程序语言内， 常见的变量格式：
%ns 那个n是数字，s代表string， 即多少个字符
%ni 那个n是数字， i代表integer，即多少整数字数
%N.nf 那个n与N都是数字，f代表floating（浮点）N代表数位，n代表有几个小数位
2、awk：好用的数据处理工具
awk：比较倾向于将一行分成数个‘字段’来处理，适合处理小型的数据数据处理
awk '条件类型1{动作1} 条件类型2{动作2}...' filename
如： last -n 5 | awk '{print $1 "\t" $3}'
整个awk的处理流程：
a. 读入第一行， 并将第一行的数据填入$0, $1，$2等变量中， $0代表一整行数据的意思
b. 依据条件类型的限制， 判断是否需要进行后面的动作
c. 做完所有的动作与条件类型
d. 若还有后续的“行”的数据， 则重复上面1~3的步骤，直到所有的数据都读完为止
awk是以行为一次处理的单位， 而以字段为最小的处理单位
awk的内置变量：
| 变量名称 | 代表意义 |
| NF |
第一行（$0）拥有的字段总数 |
| NR | 目前awk所处理的是“第几行”数据 |
| FS | 目前的分隔字符，默认是空格键 |
awk的条件类型： 逻辑运算符
| 运算符 | 代表意义 |
| > | 大于 |
| < | 小于 |
| >= | 大于等于 |
| <= | 小于等于 |
| == | 等于 |
| != | 不等于 |
与bash shell 的变量不同，在awk中， 变量可以直接使用，不需要加上$符号
awk的动作内{}也是支持if(条件)的
3、文件比较工具
a、diff: 就是用在比较两个文件之间的区别的，并且是以行为单位来比较的，通常是用在同一的文件（或软件）的新旧版本区别上。
diff [-bBi] from-file to-file
参数： from-file: 一个文件名， 作为欲比较文件的文件名
to-file: 一个文件名， 作为目的比较文件的文件名
注意， from-file或to-file可以用-替换，代表standard input
-b: 忽略一行当中仅有多个空白的区别
-B： 忽略空白行的区别
-i: 忽略大小写的不同
diff 也可以比较整个目录下的区别
b、cmp： 主要也是比较两个文件，它主要利用“字节”单位去比较，也可以比较二进制文件
cmp [-s] file1 file2
参数：
-s: 将所有的不同点的字节处都列出来，因为cmp默认仅会输出第一个发现的不同点。
c、 patch： diff可以用来分辨两个版本之间的区别，而patch就可以将旧的文件升级为新的文件：
先将比较新旧版本的区别，并将区别文件制作成为补丁文件，再由补丁文件更新旧文件即可。
patch -pN < patch_file <==更新
patch -R -pN < patch_file <==还原
-p: 后面的N表示取消几层目录的意思
-R： 代表还原， 将新的文件还原成原来旧的版本
例：制作补丁文件：
diff -Naur passwd.old passwd.new > passwd.patch
将patch file用来更新旧的数据
patch -p0 < passwd.patch
恢复旧文件的内容
patch -R -p0 < passwd.patch
4、文件打印准备：pr
