shell常用正则表达式
-
NF(number of field)表示一行中的区域(列)数量,$NF取最后一个区域。
-
$符号表示取某个列(区域),$1,$2,$NF
-
NR (number of record) 行号,awk对每一行的记录号都有一个内置变量NR来保存,每处理完一条记录NR的值就会自动+1
-
FS(-F)field separator 列分隔符,以什么把行分隔成多列
1 2 3 4 5 6 7 8 | [root@creditease awk ] # awk -F "#" '{print $NF}' awk.txt GKL$123 GKL$213 GKL$321 [root@creditease awk ] # awk -F '[#$]' '{print $NF}' awk.txt 123 213 321 |
3.2 条件动作基本的条件和动作
1 2 3 4 5 6 | [root@creditease awk ] # cat awk.txt ABC #DEF#GHI#GKL$123 BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 [root@creditease awk ] # awk -F "#" 'NR==1{print $1}' awk.txt ABC |
awk中$0表示整行
1 2 3 4 | [root@creditease awk ] # awk '{print $0}' awk_space.txt ABC DEF GHI GKL$123 BAC DEF GHI GKL$213 CBA DEF GHI GKL$321 |
3.7 FNR
FNR与NR类似,不过多文件记录不递增,每个文件都从1开始(后边处理多文件会讲到)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | [root@creditease awk ] # awk '{print NR}' awk.txt awk_space.txt 1 2 3 4 5 6 [root@creditease awk ] # awk '{print FNR}' awk.txt awk_space.txt 1 2 3 1 2 3 |
awk支持的正则表达式元字符
在指定行或者某一列中进行匹配,用下列两个操作符
正则匹配操作符 | |
---|---|
~ | 用于对记录或区域的表达式进行匹配。 |
!~ | 用于表达与~相反的意思。 |
awk默认不支持的元字符,和需要添加参数才能支持的元字符
实例:
1 2 3 4 | [root@creditease awk ] # cat awk.txt ABC #DEF#GHI#GKL$123 BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 |
显示包含321的行
1 2 | [root@creditease awk ] # awk '/321/{print $0}' awk.txt CBA #DEF#GHI#GKL$321 |
以#为分隔符,显示第一列以B开头或最后一列以1结尾的行
1 2 3 | [root@creditease awk ] # awk -F "#" '$1~/^B/{print $0}$NF~/1$/{print $0}' awk.txt BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 |
以#为分隔符,显示第一列以B或C开头的行
1 2 3 4 5 6 7 8 9 10 11 12 | [root@creditease awk ] # awk -F "#" '$1~/^B|^C/{print $0}' awk.txt BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 [root@creditease awk ] # awk -F "#" '$1~/^[BC]/{print $0}' awk.txt BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 [root@creditease awk ] # awk -F "#" '$1~/^(B|C)/{print $0}' awk.txt BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 [root@creditease awk ] # awk -F "#" '$1!~/^A/{print $0}' awk.txt BAC #DEF#GHI#GKL$213 CBA #DEF#GHI#GKL$321 |
转载自:
http://www.cnblogs.com/linhaifeng/p/6596660.html 和 http://www.blogjava.net/jasmine214--love/archive/2011/10/12/361040.html
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | ^ 行首 $ 行尾 . 除了换行符以外的任意单个字符 * 前导字符的零个或多个 .* 所有字符 [] 字符组内的任一字符 [^] 对字符组内的每个字符取反(不匹配字符组内的每个字符) ^[^] 非字符组内的字符开头的行 [a-z] 小写字母 [A-Z] 大写字母 [a-Z] 小写和大写字母 [0-9] 数字 \< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词 \> 单词尾 |
扩展正则 sed 加 -r 参数 或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持 但不包含{n,m}
可以使用--posix支持
1 2 | [root@MiWiFi-R3-srv ~] # awk '/ro{1,3}/{print}' /etc/passwd [root@MiWiFi-R3-srv ~] # awk --posix '/ro{1,3}/{print}' /etc/passwd |
1 2 | sed -n '/roo\?/p' /etc/passwd sed -rn '/roo?/p' /etc/passwd |
? 前导字符零个或一个
+ 前导字符一个或多个
abc或def
1 | abc|def |
abcf 或 adef
1 | a( bc |de)f |
x出现m次
1 | x\{m\} |
x出现m次至多次(至少m次)
1 | x\{m,\} |
x出现m次至n次
1 | x\{m,n\} |
元字符及其在正则表达式上下文中的行为:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转义符。 ^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的Multiline 属性,^ 也匹配 ’\n’ 或 ’\r’ 之后的位置。 $ 匹配输入字符串的结束位置。如果设置了 RegExp 对象的Multiline 属性,$ 也匹配 ’\n’ 或 ’\r’ 之前的位置。 * 匹配前面的子表达式零次或多次。 + 匹配前面的子表达式一次或多次。+ 等价于 {1,}。 ? 匹配前面的子表达式零次或一次。? 等价于 {0,1}。 {n} n 是一个非负整数,匹配确定的n 次。 {n,} n 是一个非负整数,至少匹配n 次。 {n,m} m 和 n 均为非负整数,其中n <= m。最少匹配 n 次且最多匹配 m 次。在逗号和两个数之间不能有空格。 ? 当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时,匹配模式是非贪婪的。<br> 非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。 . 匹配除 “\n” 之外的任何单个字符。要匹配包括 ’\n’ 在内的任何字符,请使用象 ’[.\n]’ 的模式。 (pattern) 匹配pattern 并获取这一匹配。 (?:pattern) 匹配pattern 但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。 (?=pattern) 正向预查,在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。 (?!pattern) 负向预查,与(?=pattern)作用相反 x|y 匹配 x 或 y。 [xyz] 字符集合。 [^xyz] 负值字符集合。 [a-z] 字符范围,匹配指定范围内的任意字符。 [^a-z] 负值字符范围,匹配任何不在指定范围内的任意字符。 |
posix定义的字符分类
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 | [:alnum:] #Alphanumeric characters. #匹配范围为 [a-zA-Z0-9] 任何字母或数字 [:alpha:] #Alphabetic characters. #匹配范围为 [a-zA-Z] 任何字母 [:blank:] #Space or tab characters. #匹配范围为 空格或制表符([\t ]) [:cntrl:] #Control characters. #匹配控制键 例如 ^M 要按 ctrl+v 再按回车 才能输出; #ASCII控制字符(ASCII 0~31 和 ASCII 127) [:digit:] #Numeric characters. #匹配所有数字 [0-9] 任何数字 [:graph:] #Characters that are both printable and visible. (A space is print- able, but not visible, while an a is both.) #匹配所有可见字符 ,不包含空格和TAB [:lower:] #Lower-case alphabetic characters. #小写 [a-z] 任何小写字母 [:print:] #Printable characters (characters that are not control characters.) #匹配所有可见字符 包括空格和TAB #能打印到纸上的所有符号 [:punct:] #Punctuation characters (characters that are not letter, digits, con- trol characters, or space characters). #特殊输入符号 +-=)(*&^%$#@!~`|\"'{}[]:;?/>.<, #注意它不包含空格和TAB #这个集合不等于^[a-zA-Z0-9] #不属于[:alnum:]和[:cntrl:]的任何字符 [:space:] #Space characters (such as space, tab, and formfeed, to name a few). #任何空白字符,包括空格([\f\n\r\t\v ]) [:upper:] #Upper-case alphabetic characters. #大写 [A-Z] 任何大写字母 [:xdigit:] #Characters that are hexadecimal digits. #16进制数 [0-f] 任何十六进制数字 |
使用方法:
[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd
=============================================
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | “^\d+$” #非负整数(正整数 + 0) “^[0-9]*[1-9][0-9]*$” #正整数 “^((-\d+)|(0+))$” #非正整数(负整数 + 0) “^-[0-9]*[1-9][0-9]*$” #负整数 “^-?\d+$” #整数 “^\d+(\.\d+)?$” #非负浮点数(正浮点数 + 0) “^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$” #正浮点数 “^((-\d+(\.\d+)?)|(0+(\.0+)?))$” #非正浮点数(负浮点数 + 0) “^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$” #负浮点数 “^(-?\d+)(\.\d+)?$” #浮点数 “^[A-Za-z]+$” #由26个英文字母组成的字符串 “^[A-Z]+$” #由26个英文字母的大写组成的字符串 “^[a-z]+$” #由26个英文字母的小写组成的字符串 “^[A-Za-z0-9]+$” #由数字和26个英文字母组成的字符串 “^\w+$” #由数字、26个英文字母或者下划线组成的字符串 “^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$” #email地址 “^[a-zA-z]+: // (\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$” #url /^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/ # 年-月-日 /^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/ # 月/日/年 “^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$” #Emil /^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/ #电话号码 “^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$” #IP地址 |
28、提取信息中的IP地址:(\d+)\.(\d+)\.(\d+)\.(\d+)
35、IP:(\d+)\.(\d+)\.(\d+)\.(\d+)
7、正浮点数:^((0-9)+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)| ([0-9]*[1-9][0-9]*))$
8、非正浮点数:^((-\d+\.\d+)?)|(0+(\.0+)?))$
9、负浮点数:^(-((正浮点数正则式)))$
或:^http:\/\/[A-Za-z0-9]+\.[A-Za-z0-9]+[\/=\?%\-&_~`@[\]\’:+!]*([^& lt;>\"\"])*$
匹配中文字符的正则表达式: [\u4e00-\u9fa5]
匹配中文字符的正则表达式: [u4e00-u9fa5]
18、中文:^[\u0391-\uFFE5]+$
匹配双字节字符(包括汉字在内):[^\x00-\xff]
匹配空行的正则表达式:\n[\s| ]*\r
匹配HTML标记的正则表达式:/<(.*)>.*<\/\1>|<(.*) \/>/
匹配首尾空格的正则表达式:(^\s*)|(\s*$)
匹配网址URL的正则表达式:^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$
匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
匹配国内电话号码:
(\d{3}-|\d{4}-)?(\d{8}|\d{7})?
19、电话号码:^((\(\d{2,3}\))|(\d{3}\-))?(\(0\d{2,3}\)|0\d{2,3}-)?[1-9] \d{6,7}(\-\d{1,4})?$
29、提取信息中的中国手机号码:(86)*0*13\d{9}
30、提取信息中的中国固定电话号码:(\(\d{3,4}\)|\d{3,4}-|\s)?\d{8}
31、提取信息中的中国电话号码(包括移动和固定电话):(\(\d{3,4}\)|\d{3,4}-|\s)?\d{7,14}
20、手机号码:^((\(\d{2,3}\))|(\d{3}\-))?13\d{9}$
36、电话区号:/^0\d{2,3}$/
匹配腾讯QQ号:^[1-9]*[1-9][0-9]*$
匹配双字节字符(包括汉字在内):[^x00-xff]
匹配空行的正则表达式:n[s| ]*r
匹配HTML标记的正则表达式:/<(.*)>.*</1>|<(.*) />/
匹配首尾空格的正则表达式:(^s*)|(s*$)
利用正则表达式限制网页表单里的文本框输入内容:
用正则表达式限制只能输入中文:onkeyup=”value=value.replace(/[^u4E00-u9FA5]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^u4E00-u9FA5]/g,”))”
用正则表达式限制只能输入全角字符: onkeyup=”value=value.replace(/[^uFF00-uFFFF]/g,”)” onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^uFF00-uFFFF]/g,”))”
用正则表达式限制只能输入数字:onkeyup=”value=value.replace(/[^d]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”
用正则表达式限制只能输入数字和英文:onkeyup=”value=value.replace(/[W]/g,”) “onbeforepaste=”clipboardData.setData(’text’,clipboardData.getData(’text’).replace(/[^d]/g,”))”
=========常用正则表达式
匹配网址URL的正则表达式:http://(/[\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?
sql语句:^(select|drop|delete|create|update|insert).*$
元字符(meta character)是一种Perl风格的正则表达式,只有一部分文本处理工具支持它,并不是所有的文本处理工具都支持。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 | \b 匹配一个单词边界,也就是指单词和空格间的位置。 \B 匹配非单词边界。 \cx 匹配由x指明的控制字符。 \d 匹配一个数字字符。等价于 [0-9]。 \D 匹配一个非数字字符。等价于 [^0-9]。 \f 匹配一个换页符。等价于 \x0c 和 \cL。 \n 匹配一个换行符。等价于 \x0a 和 \cJ。 \r 匹配一个回车符。等价于 \x0d 和 \cM。 \s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\ v ]。 \S 匹配任何非空白字符。等价于 [^ \f\n\r\t\ v ]。 \t 匹配一个制表符。等价于 \x09 和 \cI。 \ v 匹配一个垂直制表符。等价于 \x0b 和 \cK。 \w 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。 \W 匹配任何非单词字符。等价于 ’[^A-Za-z0-9_]’。 \xn 匹配 n,其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。 \num 匹配 num,其中num是一个正整数。对所获取的匹配的引用。 \n 标识一个八进制转义值或一个后向引用。如果 \n 之前至少 n 个获取的子表达式,则 n 为后向引用。否则,如果 n 为八进制数字 (0-7),则 n 为一个八进制转义值。 \nm 标识一个八进制转义值或一个后向引用。 如果 \nm 之前至少有is preceded by at least nm 个获取得子表达式,则 nm 为后向引用。 如果 \nm 之前至少有 n 个获取,则 n 为一个后跟文字 m 的后向引用。 如果前面的条件都不满足,若 n 和 m 均为八进制数字 (0-7),则 \nm 将匹配八进制转义值 nm。 \nml 如果 n 为八进制数字 (0-3),且 m 和 l 均为八进制数字 (0-7),则匹配八进制转义值 nml。 \un 匹配 n,其中 n 是一个用四个十六进制数字表示的Unicode字符。 |
17、邮政编码:^[1-9]\d{5}$
22、匹配首尾空格:(^\s*)|(\s*$)(像vbscript那样的trim函数)
23、匹配HTML标记:<(.*)>.*<\/\1>|<(.*) \/>
24、匹配空行:\n[\s| ]*\r
25、提取信息中的网络链接:(h|H)(r|R)(e|E)(f|F) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?
26、提取信息中的邮件地址:\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
27、提取信息中的图片链接:(s|S)(r|R)(c|C) *= *(’|”)?(\w|\\|\/|\.)+(’|”| *|>)?
32、提取信息中的中国邮政编码:[1-9]{1}(\d+){5}
33、提取信息中的浮点数(即小数):(-?\d*)\.?\d+
34、提取信息中的任何数字 :(-?\d*)(\.\d+)?
37、腾讯QQ号:^[1-9]*[1-9][0-9]*$
38、帐号(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
39、中文、英文、数字及下划线:^[\u4e00-\u9fa5_a-zA-Z0-9]+$
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步