Linux shell学习笔记(一)
一、什么是正则表达式
正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。
在linux中，通配符是由shell解释的，而正则表达式则是由命令解释的，下面我们就为大家介绍三种文本处理工具/命令：grep、sed、awk，它们三者均可以解释正则。
二 grep(过滤搜索)
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。
1．命令格式：
grep [option] pattern file
2．命令功能：
用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活。
3．命令参数：
-a --text #不要忽略二进制的数据。 -A<显示行数> --after-context=<显示行数> #除了显示符合范本样式的那一列之外，并显示该行之后的内容。 -b --byte-offset #在显示符合样式的那一行之前，标示出该行第一个字符的编号。 -B<显示行数> --before-context=<显示行数> #除了显示符合样式的那一行之外，并显示该行之前的内容。 -c --count #计算符合样式的列数。 -C<显示行数> --context=<显示行数>或-<显示行数> #除了显示符合样式的那一行之外，并显示该行之前后的内容。 -d <动作> --directories=<动作> #当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。 -e<范本样式> --regexp=<范本样式> #指定字符串做为查找文件内容的样式。 -E --extended-regexp #将样式为延伸的普通表示法来使用。 -f<规则文件> --file=<规则文件> #指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。 -F --fixed-regexp #将样式视为固定字符串的列表。 -G --basic-regexp #将样式视为普通的表示法来使用。 -h --no-filename #在显示符合样式的那一行之前，不标示该行所属的文件名称。 -H --with-filename #在显示符合样式的那一行之前，表示该行所属的文件名称。 -i --ignore-case #忽略字符大小写的差别。 -l --file-with-matches #列出文件内容符合指定的样式的文件名称。 -L --files-without-match #列出文件内容不符合指定的样式的文件名称。 -n --line-number #在显示符合样式的那一行之前，标示出该行的列数编号。 -q --quiet或--silent #不显示任何信息。 -r --recursive #此参数的效果和指定“-d recurse”参数相同。 -s --no-messages #不显示错误信息。 -v --revert-match #显示不包含匹配文本的所有行。 -V --version #显示版本信息。 -w --word-regexp #只显示全字符合的列。 -x --line-regexp #只显示全列符合的列。 -y #此参数的效果和指定“-i”参数相同。
4．正则表达式
grep的规则表达式: ^ #锚定行的开始 如：'^grep'匹配所有以grep开头的行。 $ #锚定行的结束 如：'grep$'匹配所有以grep结尾的行。 . #匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。 * #匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。 .* #一起用代表任意字符。 [] #匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。 [^] #匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。 \(..\) #标记匹配字符，如'\(love\)'，love被标记为1。 \< #锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。 \> #锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。 x\{m\} #重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。 x\{m,\} #重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。 x\{m,n\} #重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。 \w #匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。 \W #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。 \b #单词锁定符，如: '\bgrep\b'只匹配grep。
5.POSIX字符
为了在不同国家的字符编码中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符类，如[:alnum:]是[A-Za-z0-9]的另一个写法。要把它们放到[]号内才能成为正则表达式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符类。
[:alnum:] #文字数字字符 [:alpha:] #文字字符 [:digit:] #数字字符 [:graph:] #非空字符（非空格、控制字符） [:lower:] #小写字符 [:cntrl:] #控制字符 [:print:] #非空字符（包括空格） [:punct:] #标点符号 [:space:] #所有空白字符（新行，空格，制表符） [:upper:] #大写字符 [:xdigit:] #十六进制数字（0-9，a-f，A-F）
6.扩展的正则表达式语法
若要支持：
grep需加-E （或者使用到扩展符号时加\）
sed需加-r （或者使用到扩展符号时加\）
awk，perl本身支持扩展这则表达式（也就是说awk中如果要引用(为普通字符要[(]如此使用。）
| 扩展RE字符 | 意义与范例 |
| + | 意义：重复一个或一个以上的前一个RE字符 o+代表一个以上的o |
| ? | 意义：零个或一个的前一个RE字符 o?代表空或o |
| | | 意义：用或(or)的方式找出数个字符串，两边的字符串不能加额外的空格， ABC|DEF表示ABC或DEF，A(BC|DE)F表示ABCF或ADEF 范例：去除空白行和行首为#的行 grep -Env '^$|^#' regular_express.txt |
| () | 意义：找出“组”字符串，[]的引申 范例：查找glad或good这两个字符串，因为g与d是重复的，所以可以将la与oo以或的方式列于()中 grep -En 'g(la|oo)d' regular_express.txt |
| ()+ | 意义：重复一个或一个以上的前一个“组” |
| {n} {n,} {n,m} |
与普通正则表达式含义一致，只是在支持扩展正则表达式中要用此形式，即awk、grep -E、sed -r 中使 |
7.应用实例
1. grep退出状态： 0: 表示成功； 1: 表示在所提供的文件无法找到匹配的pattern； 2: 表示参数中提供的文件不存在。 见如下示例： /> grep 'root' /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin /> echo $? 0 /> grep 'root1' /etc/passwd #用户root1并不存在 /> echo $? 1 /> grep 'root' /etc/passwd1 #这里的/etc/passwd1文件并不存在 grep: /etc/passwd1: No such file or directory /> echo $? 2 2. grep中应用正则表达式的实例： 需要说明的是下面所涉及的正则表达式在上一篇中已经给出了详细的说明，因此在看下面例子的时候，可以与前一篇的正则说明部分结合着看。 /> cat testfile northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 /> grep NW testfile #打印出testfile中所有包含NW的行。 northwest NW Charles Main 3.0 .98 3 34 /> grep '^n' testfile #打印出以n开头的行。 northwest NW Charles Main 3.0 .98 3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 /> grep '4$' testfile #打印出以4结尾的行。 northwest NW Charles Main 3.0 .98 3 34 /> grep '5\..' testfile #打印出第一个字符是5，后面跟着一个.字符，在后面是任意字符的行。 western WE Sharon Gray 5.3 .97 5 23 southern SO Suan Chin 5.1 .95 4 15 northeast NE AM Main Jr. 5.1 .94 3 13 central CT Ann Stephens 5.7 .94 5 13 /> grep '\.5' testfile #打印出所有包含.5的行。 north NO Margot Weber 4.5 .89 5 9 /> grep '^[we]' testfile #打印出所有以w或e开头的行。 western WE Sharon Gray 5.3 .97 5 23 eastern EA TB Savage 4.4 .84 5 20 /> grep '[^0-9]' testfile #打印出所有不是以0-9开头的行。 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 /> grep '[A-Z][A-Z] [A-Z]' testfile #打印出所有包含前两个字符是大写字符，后面紧跟一个空格及一个大写字母的行。 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 注：在执行以上命令时，如果不能得到预期的结果，即grep忽略了大小写，导致这一问题的原因很可能是当前环境的本地化的设置问题。对于以上命令，如果我将当前语言设置为en_US的时候，它会打印出所有的行，当我将其修改为中文环境时，就能得到我现在的输出了。 /> export LANG=zh_CN #设置当前的语言环境为中文。 /> export LANG=en_US #设置当前的语言环境为美国。 /> export LANG=en_Br #设置当前的语言环境为英国。 /> grep '[a-z]\{9\}' testfile #打印所有包含每个字符串至少有9个连续小写字符的字符串的行。 northwest NW Charles Main 3.0 .98 3 34 southwest SW Lewis Dalsass 2.7 .8 2 18 southeast SE Patricia Hemenway 4.0 .7 4 17 northeast NE AM Main Jr. 5.1 .94 3 13 #第一个字符是3，紧跟着一个句点，然后是任意一个数字，然后是任意个任意字符，然后又是一个3，然后是制表符，然后又是一个3，需要说明的是，下面正则中的\1表示\(3\)。 /> grep '\(3\)\.[0-9].*\1 *\1' testfile northwest NW Charles Main 3.0 .98 3 34 /> grep '\<north' testfile #打印所有以north开头的单词的行。 northwest NW Charles Main 3.0 .98 3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 /> grep '\<north\>' testfile #打印所有包含单词north的行。 north NO Margot Weber 4.5 .89 5 9 /> grep '^n\w*' testfile #第一个字符是n，后面是任意字母或者数字。 northwest NW Charles Main 3.0 .98 3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 3. 扩展grep(grep -E 或者 egrep)： 使用扩展grep的主要好处是增加了额外的正则表达式元字符集。下面我们还是继续使用实例来演示扩展grep。 /> egrep 'NW|EA' testfile #打印所有包含NW或EA的行。如果不是使用egrep，而是grep，将不会有结果查出。 northwest NW Charles Main 3.0 .98 3 34 eastern EA TB Savage 4.4 .84 5 20 /> grep 'NW\|EA' testfile #对于标准grep，如果在扩展元字符前面加\，grep会自动启用扩展选项-E。 northwest NW Charles Main 3.0 .98 3 34 eastern EA TB Savage 4.4 .84 5 20 /> egrep '3+' testfile /> grep -E '3+' testfile /> grep '3\+' testfile #这3条命令将会打印出相同的结果，即所有包含一个或多个3的行。 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 northeast NE AM Main Jr. 5.1 .94 3 13 central CT Ann Stephens 5.7 .94 5 13 /> egrep '2\.?[0-9]' testfile /> grep -E '2\.?[0-9]' testfile /> grep '2\.\?[0-9]' testfile #首先含有2字符，其后紧跟着0个或1个点，后面再是0和9之间的数字。 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 eastern EA TB Savage 4.4 .84 5 20 /> egrep '(no)+' testfile /> grep -E '(no)+' testfile /> grep '\(no\)\+' testfile #3个命令返回相同结果，即打印一个或者多个连续的no的行。 northwest NW Charles Main 3.0 .98 3 34 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 /> grep -E '\w+\W+[ABC]' testfile #首先是一个或者多个字母，紧跟着一个或者多个非字母数字，最后一个是ABC中的一个。 northwest NW Charles Main 3.0 .98 3 34 southern SO Suan Chin 5.1 .95 4 15 northeast NE AM Main Jr. 5.1 .94 3 13 central CT Ann Stephens 5.7 .94 5 13 /> egrep '[Ss](h|u)' testfile /> grep -E '[Ss](h|u)' testfile /> grep '[Ss]\(h\|u\)' testfile #3个命令返回相同结果，即以S或s开头，紧跟着h或者u的行。 western WE Sharon Gray 5.3 .97 5 23 southern SO Suan Chin 5.1 .95 4 15 /> egrep 'w(es)t.*\1' testfile #west开头，其中es为\1的值，后面紧跟着任意数量的任意字符，最后还有一个es出现在该行。 northwest NW Charles Main 3.0 .98 3 34
带命令匹配模式:
/> grep -n '^south' testfile #-n选项在每一个匹配行的前面打印行号。 3:southwest SW Lewis Dalsass 2.7 .8 2 18 4:southern SO Suan Chin 5.1 .95 4 15 5:southeast SE Patricia Hemenway 4.0 .7 4 17 /> grep -i 'pat' testfile #-i选项关闭了大小写敏感。 southeast SE Patricia Hemenway 4.0 .7 4 17 /> grep -v 'Suan Chin' testfile #打印所有不包含Suan Chin的行。 northwest NW Charles Main 3.0 .98 3 34 western WE Sharon Gray 5.3 .97 5 23 southwest SW Lewis Dalsass 2.7 .8 2 18 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 north NO Margot Weber 4.5 .89 5 9 central CT Ann Stephens 5.7 .94 5 13 /> grep -l 'ss' testfile #-l使得grep只打印匹配的文件名，而不打印匹配的行。 testfile /> grep -c 'west' testfile #-c使得grep只打印有多少匹配模板的行。 3 /> grep -w 'north' testfile #-w只打印整个单词匹配的行。 north NO Margot Weber 4.5 .89 5 9 /> grep -C 2 Patricia testfile #打印匹配行及其上下各两行。 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13 /> grep -B 2 Patricia testfile #打印匹配行及其前两行。 southwest SW Lewis Dalsass 2.7 .8 2 18 southern SO Suan Chin 5.1 .95 4 15 southeast SE Patricia Hemenway 4.0 .7 4 17 /> grep -A 2 Patricia testfile #打印匹配行及其后两行。 southeast SE Patricia Hemenway 4.0 .7 4 17 eastern EA TB Savage 4.4 .84 5 20 northeast NE AM Main Jr. 5.1 .94 3 13
