Shell编程基础教程5--文本过滤、正则表达式、相关命令
5.文本过滤、正则表达式、相关命令
5.1.正则表达式（什么是正则表达式？正则表达式怎么进行匹配？常用命令）
简介：
一种用来描述文本模式的特殊语法
由普通字符（例如字符a到z）以及特殊字符（成为元字符，如/、*、?等）组成
匹配的字符串
文本过滤工具在某种情况下都支持正则表达式
基本元字符集及其含义
^ 只匹配行首，例子 ^a 表示匹配以a开头的
$ 只匹配行尾，例子 txt$ 表示匹配以txt结尾的
* 匹配0或多个此单字符，
[] 只匹配[]内的字符。可以是一个单字符，也可以是字符序列。可以使用-表示[]内字符序列范围，如用[1-5]代表[12345]
\ 只用来屏蔽一个元字符的特殊含义，例子 \* 可以屏蔽*作为元字符的含义，使其就表示*字符本身，\$、\^等等例子
. 只匹配任意单字符
pattern\{n\} 只用来匹配前面pattern出现次数。n为次数
pattern\{n,\} 含义同上，但是次数最少为n
pattern\{n,m\} 含义同上，但是pattern出现次数在n与m之间
例子
. 可以匹配任意单字符
...x..x..x
drwxrwxrw- 不匹配
-rw-rw-rw- 不匹配
-rwxr-xr-x 匹配
-rwxrwxrwx 匹配
....XC....
3452XC763D 匹配
4352XC433 不匹配
3452XD7654 不匹配
^ 只允许在一行的开始匹配字符或单词
^d
drwxrwxrw- 匹配
-rwxrwxr-x 不匹配
^...1
3482XC763D 不匹配
23DDDDxs11 不匹配
3451XD7633 匹配
3D11XC9871 匹配
$ 与 ^ 正相反，它在行尾匹配字符串或字符，$符号放在匹配单词后面
trouble$ 匹配以单词trouble结尾的所有字符
^$ 匹配空行
^.$ 匹配只含有一个字符的行
* 可以匹配任意字符0次或多次重复表达
10133*1
101331 匹配
10133921 匹配
10133As1 匹配
\ 用于屏蔽一个特殊字符
特殊字符有"，'，||，^，*，+等等，元字符基本都是特殊字符
\*\.pas 该正则表达式匹配以*.pas结尾的所有字符或文件
[] 用于匹配一个范围或集合
逗号将括号内要匹配的不同字符串分开
用 - 表示一个字符串范围，表明字符串范围从 - 左边字符开始，到 - 右边字符结束
例子
[0123456789]或[0-9] 假定要匹配任意一个数字
[a-z] 任意小写字母
[A-Za-z] 任意大小写字母
[A-Za-z0-9] 匹配任意字母或数字
[S,s] 匹配大小写s
\{\} 用于匹配模式结果出现的次数
A\{2\}B A出现2次，AAB
A\{4,\}B A至少出现4次，AAAAB、AAAAAB……
A\{2,4\}B A出此案次数为2到4次，AAB、AAAB、AAAAB
[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\} 匹配IP地址
5.2.find介绍（文件查找）
简介
一个查找命令
查找具有某些特征文件的命令
可遍历当前目录甚至整个文件系统来查找某些文件或目录
遍历大的文件系统时，因为耗时比较长，一般放在后台执行，并将结果重定向到一个文件
命令格式
find pathname -options [-print -exec -ok]
pathname find命令所查找的目录路径。例如用.表示当前目录，用/来表示系统根目录
-print find命令将匹配的文件输出到标准输出
-exec find命令将匹配的文件执行该参数所给出的shell命令，相应命令的形式为 command {} \; 。注意{}和\;之间的空格
-ok和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出体术，让用户来确定是否执行
find的命令选项
-name 按照文件名查找文件
-perm 按照文件权限来查找文件
-user 按照文件属主来查找文件
-group 按照文件所属的组来查找文件
-mtime -n +n 按照文件的更改时间来查找文件，-n表示文件更改时间距离现在n天以内， +n 表示文件更改时间距离现在n天以前。find命令还有-atime和-ctime选项，但是它们都和-mtime选项相似
-size n[c] 查找文件长度为n块的文件，带有 c 时表示文件长度以字节计
-nogroup 查找无有效所属组的文件，即该文件所述的组在/etc/groups中不存在
-nouser 查找无有效数组的文件，即该文件的属主在/etc/passwd中不存在
-newer "file1" ! -newer "file2" 查找更改时间比文件file1新但是比file2旧的文件
-type 查找某一类型的文件，例如：
b 块设备文件
d 目录
c 字符设备文件
p 管道文件
l 符号链接文件
f 普通文件
man find 来查看更多更为详细的关于find命令的信息
示例：
使用name选项
可以使用某种文件名模式来匹配文件，记住要用引号将文件名模式引起来
find -name "*.txt" -print 没写任何路径，就是默认当前路径
find ./ -name "*.txt" -print
find ./ -name "[A-Z]*" -print
find /etc -name "host*" -print
使用perm选项
find ./ -perm 755 -print
使用user和nouser选项
find `pwd` -user root -print 反引号里的命令，`pwd`表示执行pwd命令获取的路径作为find查找的路径
find / -nouser -print
nohup find / -nouser -print > nouser.log 在后台执行（使用nohup）find命令，并将结果重定向到nouser.log文件中
使用group和nogroup
find ./ -group perfect -print
find / -nogroup -print
按照更改时间查找文件
find /var -mtime -5 -print
find /var/ -mtime +3 -print
查找比某个文件新或旧的文件
find `pwd` -newer "myfile" ! -new "myfile123" -print
使用type选项
find /etc -type d -print
find /etc -type l -print
使用size选项
find ./ -size +1000000c -print c表示单位是字符、字节
find ./ -size +10 -print 没有c表示单位是块
使用depth选项
使用find命令时，可能希望先匹配所有的文件，再在子目录里查找
find / -name "CON.FILE" -depth -print
使用exec或ok来执行shell命令
find ./ -type f -exec ls -l{} \; 查找本目录下的所有的普通文件，并逐个对查找出来的这些文件进行ls -l操作
find ./ -name "*.log" -mtime +5 -ok rm{} \; 常用于删除一定天数之前的日志文件
xargs命令
在使用find命令的-exec选项处理匹配到的文件时，find命令将所有匹配到的文件一起传递给exec。不幸的是，有些系统对能够传递给-exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现一处错误。错误信息通常是“参数列太长”或者“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。-exec会发起多个进程，而xargs不会多个，只用一个，就会减少系统资源的消耗
find ./ -perm -7 -print | xargs chmod o-w xargs的作用是将 find ./ -perm -7 -print 的结果传给 chmod o-w 命令来进行执行
find ./ -type f print | xargs file
5.3.grep介绍（文本过滤）
简介：
grep是Unix和Linux中使用最广泛的命令之一
对文本文件进行模式查找
对文本进行按行的匹配
grep有三种变形
Grep：标砖grep命令
Egrep：扩展grep，支持基本以及扩展的正则表达式
Fgrep：快速grep
grep一般格式：
grep [选项] 基本正则表达式 [文件]
其中基本正则表达式最好采用双引号括起来，一是防止被误认为是shell命令，二是可以用来查找多个单词组成的字符串
grep命令选项
-c 只输出匹配行的计数
-i 不区分大小写（只适用于单字符）
-h 查询多文件时不显示文件名
-H 查询多文件时显示文件名
-l 查询多文件时只输出包含匹配字符的文件名
-n 显示匹配行及行号
-s 不显示不存在或无匹配文本的错误信息
-v 显示不包含匹配文本的所有行，功能就是过滤某些文本
例子
grep "jenny" *.txt 从所有 txt 文件中查找存在 jenny 的行有哪些
grep "sort it" * 在所有文件中查找存在 sort it 的行有哪些
grep -c "2004" myfile 输出 myfile 中有多少行匹配到 2004
grep -n "2004" myfile 输出 myfile 中匹配 2004 的行及行号
grep -i "Jul" myfile 输出 myfile 中匹配 Jul 的行，Jul 不区分大小写
grep -v "2004:22" myfile 过滤掉myfile中含有 2004:22 的行，只输出不含有 2004:22 的行
grep "2004:22:5[0-9]" myfile 输出 myfile 中含有 2004:22:50 到 2004:22:59 的行
grep "^[^210]" myfile 输出 myfile 中开头不是 2 也不是 1 也不是 0 的行
grep "H*P" myfile 输出匹配正则表达式 H*P 模式的行
grep "[5-8][6-9][0-3]" myfile
grep "4\{2\}" myfile
grep "4\{2,\}" myfile
grep "4\{2,4\}" myfile 输出匹配正则表达式 4\{2,4\} 模式的行，该模式的含义是 4 连续出现的次数是 2到4 次
grep "^$" myfile 输出匹配正则表达式 ^$ 模式的行，^$ 的含义是空行
grep "\?" myfile \? 转义 ?
grep "^d" lsout.txt ^d 表示以 d 开头
grep "^[^d]" lsout.txt ^[^d] 表示不以d开头
grep命令类名和等价的正则表达式
[[:upper:]] [A-Z]
[[:alnum:]] [0-9a-zA-Z]
[[:lower:]] [a-z]
[[:space:]] 空格或tab键
[[:digit:]] [0-9]
[[:alpha:]] [a-zA-Z]
例子
grep "5[[:digit:]][[:digit:]]" myfile 其中的正则表达式表示 500 到 599 的数字范围
5.4.awk介绍
简介：
可从文件或字符串中基于指定规则浏览和抽取信息
是一种自解释的编程语言
三种方式调用awk：
命令行方式：awk [-F filed-spearator] 'command' input-files
awk脚本：所有awk命令插入一个文件，并令awk程序可执行，然后用awk命令解释器作为脚本的首行，以便通过键入脚本名称来调用它
awk命令插入一个单独文件：awk -f awk-script-file input-files
awk脚本由各种操作和模式组成
模式和动作：
模式部分决定动作语句何时触发及出发事件（BEGIN，END）
动作对数据进行处理，放在大括号{}内指明（print）
分隔符、域和记录
awk执行时，其浏览域标记为$1、$2....$n。这种方法称为域标识。$0为所有域
例如一行数据 2005 computer is expensive ，默认分隔符是 空格，那么这一行就有4个域，第一个是 2005，第二个是 computer，第三个是 is，第四个是 expensive
注意执行时不要混淆符号 $ 和 shell提示符 $ ，它们是不同的
例子1：
awk '{print $0}' score.txt | tee score.out 将score.txt文件中的所有信息打印出来，在屏幕上输出信息，并且也将信息输入到score.out文件中
awk -F : '{print $1"\t"$4}' score.txt 注意 -F : 作用是将分隔符从默认分隔符 空格 变成 : ，这条命令表示在屏幕上输出 score.txt 文件中以:为分隔符分割后每行中第一个域和第四个域的内容，第一个域和第四个域的内容在输出信息中以 \t 也就是 tab跳隔符分割，在输出域的时候，分隔符:不会输出
awk 'BEGIN {print "IP Date\n--------"}{print $1"\t"$4}END{"end-of-report"}' score.txt BEGIN {print "IP Date\n--------"}打印一些报告头，END{"end-of-report"}打印一些报告尾，{print $1"\t"$4}打印在score.txt中模式匹配的主体信息
awk特殊字符
awk中的特殊字符：+、?，+表示匹配任意字符，?表示匹配单个字符
匹配操作符：~、!~，~表示匹配，!~表示不匹配
例子2：
cat score.txt | awk '$0~/218.79.13.196/' 在score.txt中查找出所有匹配 218.79.13.196 的行，注意匹配模式放在//里面
awk '$1!~/218.79.13.196/' score.txt 在score.txt中，以默认分隔符空格来划分每一行，输出第一个域不匹配(!~)218.79.13.196的行
awk '{if($1=="218.79.131.96") print $0}' score.txt 在score.txt中，以默认分隔符空格来划分每一行，如果(if)第一个域($1)等于(==)218.79.13.196，就打印这一行的所有信息(也就是这一行的所有域$0)
5.5.sed介绍
简介：
sed不与初始化文件打交道，也就是绝对不会更改原文件的内容，它操作的只是一个拷贝，然后所有的改动如果没有重定向到一个文件，将输出到屏幕
sed是一个重要的文本过滤工具，使用一行命令或者使用管道与grep与awk相结合
非交互性文本流编辑
调用sed的三种方式
使用sed命令行格式为：sed [选项] sed命令 输入文件
使用sed脚本文件格式为：sed [选项] -f sed脚本文件 输入文件
sed脚本文件 [选项] 输入文件
补充：不管是使用shell命令行方式或是脚本文件方式，如果没有指定输入文件，sed从标准输入中接受输入，一般是键盘或重定向结果
sed命令选项如下：
-n 不打印没匹配到的行
-c 下一命令是编辑命令
-f 如果正在调用sed脚本文件
sed在文件中查询文本的方式
使用行号，可以是一个简单数字，或是一个行号范围
x x为一行好
x,y 表示行号范围从x到y
使用正则表达式
/pattern/ 查询包含模式的行
/pattern/pattern/ 查询包含两个模式的行
/pattern/,x 在给定行号上查询包含模式的行
x,/pattern/ 通过行号和模式查询匹配行，从第x行开始一直匹配到有/pattern/的行结束
x,y! 查询不包含执行行号x和y的行
基本sed编辑命令
p 打印匹配行
= 显示文件名
a\ 在定位行号后附加新文本信息
i\ 在定位行号前附加新文本信息
d 删除定位行
c\ 用新文本替换定位文本
s 使用替换模式替换相应模式
r 从另一个文件中读文本
w 写文本到一个文件
q 第一个模式匹配完成后退出或立即退出
l 显示与八进制ASCII代码等价的控制字符
{} 在定位行执行的命令组
n 从另一个文件中读文本下一行，并附加在下一行
g 将模式2粘贴到/pattern n/
y 传送字符
例子：
sed '2p' score.txt 基本sed编辑命令p表示打印匹配行，所以这句就是打印第2行，但是没有-n(-n指的是不打印没匹配的行)，所以还是会打印所有的行
sed -n '2p' score.txt 基本sed编辑命令p表示打印匹配行，而且还有-n参数，所以这句就是打印第2行
sed -n '1,4p' score.txt 基本sed编辑命令p表示打印匹配行，所以 1,4p 表示打印第1到第4行，-n表示不打印不匹配的行
sed -n '/los/p' myfile.txt -n表示不打印不匹配的行，所以就是打印匹配 los 字符串的行，以为/los/后有p编辑命令，就是打印匹配行
sed -n '4,/los/' myfile.txt
sed -n '/^$/=' myfile
sed -n -e '/^$/p' -e '/^$=' myfile
sed -n '/chinaitlab/a\shenzhen' myfile.txt
sed -n '/chinaitlab/i\shenzhen' myfile.txt
sed -n '/chinaitlab/c\chinaitlab shenzhen' myfile.txt
sed '1,2d, myfile.txt 删除1到2行的内容
sed 's/chinaitlab/chinaitlab shenzhen/g' myfile.txt
sed -n 's/chinaitlab/& hello/p' myfile.txt 在有chinaitlab的行前面插入 hello
sed -n 's/chinaitlab/hello &/p' myfile.txt 在有chinaitlab的行后面插入 hello
sed 'lr ctrl.txt' myfile.txt
sed '/china/q' myfile.txt
sed -n '/china/l' myfile.txt
5.6.合并与分割（sort、uniq、join、cut、paste、split）
sort [options] files
许多不同的域按照不同的列顺序排序
-c 测试文件是否已经分类
-m 合并两个分类文件
-u 删除所有复制行
-o 存储sort结果的输出文件名
-t 域分隔符；用非空格或tab键分隔域
+n n为域名，使用此域名开始分类，sort中的域是从0开始的，不同于awk（awk的域是从1开始的，0表示所有域）
n 指定分类是域上的数字分类项
-r 比较逆序
例子：
sort -c myfile 检查myfile有没有排序
sort -u myfile 如果myfile有重复的行，就合并这些行为一行
sort -r myfile 以逆序排序
sort -t "/" +2 myfile 以/作为分隔符，并以第2个域来排序
sort -t "/" +2n myfile 以/作为分隔符，并以第2个域按数字排序，+2n中的 n 就是指按数字排序，如果没有n，那么173排在19的后面，因为是逐个比较每个字符，如果有n，就是比较数字173和19的大小来排序
uniq [options] files
从一个文本文件中去除或禁止重复行，关于重复的行，统计只对邻近的行有效
-u 只显示不重复行
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数
-f n n为数字，前n个域被忽略，只比较第n以及第n之后的域，如果某一行域的个数少于n，就不输出该行
例子：
uniq -c myfile.txt
uniq -d myfile.txt
uniq -f 2 myfile.txt
uniq -d myfile.txt
join [options] file1 file2
用来讲来自两个分类文本文件的行连接在一起
-an n为数字，用于连接时从文件n中显示不匹配行
-o n.m 连接域，n为文件名，m为域名
-j n m n为文件名，m为域名。使用其他域做连接域
t 域分隔符，用来设置非空格或tab键的域分隔符
例子
join -a1 -a2 address.txt town
join -o 2.2,1.1 address.txt town
join -j1 1 -j2 1 address.txt town
split
用于将大文件分割成小文件
命令格式
split -output_file-size input-filename output-filename
-b n 每个分割文件的大小为n(k,m)
-C n 每个分割文件一行最多n个字节数
-l n 每个分割文件的行数
-n 同-l n
例子
split -10 ls_out.txt split
cut
用于从标准输入或文本文件中剪切列或域
paste
将按行将不同文件行信息放在一行
