linux-grep

 

1. grep
    1.1 grep的与或非举例
    1.2 其他常用例子
    1.3 更多选项
2 正则表达式
    2.1 概念
    2.2 大部分正则表达式的形式都有如下的结构：
    2.3 精确的语法可能因不同的工具或程序而异。
3. 实例
    3.1 查找html文件里所有高度参数
    3.2 删除表格内高度参数
    3.3 写入文件

1. grep

grep – 在文件中搜索模式，打印模式匹配成功的行，可以搜索一个或多个文件。
这里的模式匹配与文本编辑器里的字段搜索，通配符模糊查找不同之处是使用正则表达式，是一套完整的模式表示规则。

1.1 grep的与或非举例

and
$ grep pci hwinfo.txt |grep devices

or -E
$ grep 'pci\|devices' hwinfo.txt
$ grep -E 'pci|devices' hwinfo.txt

非 -v
$ grep -v pci hwinfo.txt

1.2 其他常用例子

单词精确查找 -w
$ grep -w pci hwinfo.txt
仅查找独立的pci单词。即不包括ppci，pci1等前后有其他字母或数字，包含pci的词。

忽略大小写 -i
$ grep -i pci hwinfo.txt

统计行数 -c
$ grep -i pci hwinfo.txt | grep -vc pci-0000

输出包含行号 -n
$ grep -i pci hwinfo.txt | grep -vn pci-0000

打印包含字段的文件名 -l
$ grep -l pci hwinfo.txt s.json
hwinfo.txt

打印不包含字段的文件名 -L
$ grep -L pci hwinfo.txt s.json
s.json

1.3 更多选项

	匹配选择:	Pattern selection and interpretation:	模式选择和解释：
-E,	--extended-regexp	PATTERNS are extended regular expressions	使用扩展正则表达式匹配。
-F,	--fixed-strings	PATTERNS are strings	使用固定字符串匹配。
-G,	--basic-regexp	PATTERNS are basic regular expressions	PATTERNS是基本的正则表达式 (默认)
-P,	--perl-regexp	PATTERNS are Perl regular expressions	PATTERNS是Perl正则表达式
	匹配控制:
-e,	--regexp=PATTERNS	use PATTERNS for matching	使用PATTERNS进行匹配
-f,	--file=FILE	take PATTERNS from FILE	从文件中获取PATTERNS
-i,	--ignore-case	ignore case distinctions	忽略案例区别. 忽略大小写
-w,	--word-regexp	match only whole words	只匹配整个单词. 如果还指定了-x，则此选项无效。
-x,	--line-regexp	match only whole lines	只匹配整条线
-v,	--invert-match	select non-matching lines	选择不匹配的行
	一般输出控制:	Output control:
-c,	--count	print only a count of selected lines per FILE	仅打印每个FILE所选行的计数. 使用-v,计算不匹配的行。
	--color[=WHEN],	use markers to highlight the matching strings;	使用标记突出显示匹配的字符串;
	--colour[=WHEN]	WHEN is 'always', 'never', or 'auto'	什么时候是“永远”，“从不”或“自动”
-L,	--files-without-match	print only names of FILEs with no selected lines	仅打印没有选定行的FILE名称
-l,	--files-with-matches	print only names of FILEs with selected lines	仅打印具有选定行的FILE名称
-m,	--max-count=NUM	stop after NUM selected lines	NUM选择行后停止
-o,	--only-matching	show only nonempty parts of lines that match	仅显示匹配的非线性部分
-q,	--quiet, --silent	suppress all normal output	抑制所有正常输出
-s,	--no-messages	suppress error messages	抑制错误消息
	输出行前缀控制:
-b,	--byte-offset	print the byte offset with output lines	输出打印字节偏移量
-H,	--with-filename	print file name with output lines	打印每个匹配的文件名。当有多个要搜索的文件时，这是默认设置。
-h,	--no-filename	suppress the file name prefix on output	禁止输出上的文件名前缀。当只有一个文件(或仅标准输入)时，这是默认设置。
	--label=LABEL	use LABEL as the standard input file name prefix	使用LABEL作为标准输入文件名前缀
-n,	--line-number	print line number with output lines	输出打印行号
-T,	--initial-tab	make tabs line up (if needed)	制作标签队列(如果需要). 初始选项卡
-Z,	--null	print 0 byte after FILE name	在FILE名称后打印0字节。 输出零字节(ASCII NUL字符).
	上下文行控制:	Context control:
-A,	--after-context=NUM	print NUM lines of trailing context	打印NUM行尾随上下文
-B,	--before-context=NUM	print NUM lines of leading context	打印NUM行前导上下文
-C,	--context=NUM	print NUM lines of output context	打印NUM行输出上下文
-NUM		same as --context=NUM	与--context = NUM​​相同
	文件和目录选择:
-a,	--text	equivalent to --binary-files=text	相当于--binary-files = text; 像处理文本一样处理二进制文件;
	--binary-files=TYPE	assume that binary files are TYPE;	假设二进制文件是TYPE; TYPE is 'binary', 'text', or 'without-match'
-D,	--devices=ACTION	how to handle devices, FIFOs and sockets; ACTION is 'read' or 'skip'	如何处理设备，FIFO和插座; ACTION is 'read' or 'skip'
-d,	--directories=ACTION	how to handle directories; ACTION is 'read', 'recurse', or 'skip'	如何处理目录; ACTION is 'read', 'recurse'递归, or 'skip'
	--exclude=GLOB	skip files and directories matching GLOB	跳过与GLOB匹配的文件和目录
	--exclude-from=FILE	skip files matching any file pattern from FILE	跳过与FILE中的任何文件模式匹配的文件
	--exclude-dir=GLOB	skip directories that match GLOB	跳过与GLOB匹配的目录
	--include=GLOB	search only files that match GLOB (a file pattern)	仅搜索与GLOB匹配的文件（文件模式）
-I		equivalent to --binary-files=without-match	相当于--binary-files =不匹配; 处理二进制文件，就像它不包含匹配数据一样
-r,	--recursive	like --directories=recurse	只有符号链接在命令行上时，才能递归地读取每个目录下的所有文件。如果没有给出文件操作数，grep将搜索工作目录。这相当于-d recurse选项
-R,	--dereference-recursive	likewise, but follow all symlinks	递归地读取每个目录下的所有文件。跟随所有符号链接，与-r不同。
	其他选择:	Miscellaneous:
-V,	--version	display version information and exit	显示版本信息并退出
	--help	display this help text and exit	显示此帮助文本并退出
	--line-buffered	flush output on every line	在输出上使用行缓冲。这可能会导致性能下降。
-U,	--binary	do not strip CR characters at EOL (MSDOS/Windows)	不要在EOL(MSDOS/Windows)中删除CR字符。将文件视为二进制文件。
-z,	--null-data	a data line ends in 0 byte, not newline	将输入和输出数据视为行序列，每个行以零字节(ASCII NUL字符)而不是换行符

 

2 正则表达式

https://zh.wikipedia.org/wiki/正则表达式
https://en.wikipedia.org/wiki/Regular_expression

2.1 概念

正则表达式（英语：Regular Expression，在代码中常简写为regex、regexp或RE）(有时称为rational expression理性表达)，又称正则表示式、正则表示法、规则表达式、常规表示法，是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。

自20世纪80年代以来，用于编写正则表达式的不同语法已经存在，一个是POSIX标准，另一个是广泛使用的Perl语法。
许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由Unix中的工具软件（例如sed,awk和grep）普及开的。正则表达式用于搜索引擎，搜索和替换文字处理器和文本编辑器的对话框，文本处理实用程序（如sed和AWK）以及词法分析。许多编程语言都提供内置或通过库的正则表达式功能。

正则表达式（通常称为模式）是用于指定特定目的所需的一组字符串的表达式。指定有限字符串集的简单方法是列出其元素或成员。但是，通常有更简洁的方法来指定所需的字符串集。例如，包含三个字符串“Handel”，“Händel”和“Haendel”的集合可以由模式 H(ä|ae?)ndel 指定。

2.2 大部分正则表达式的形式都有如下的结构：

Boolean "or" 布尔“或”

• 竖线|代表选择（即或集），具有最低优先级。例如gray|grey可以匹配grey或gray。

Quantification 数量限定
某个字符后的数量限定符用来限定前面这个字符允许出现的个数。最常见的数量限定符包括+、?和*（不加数量限定则代表出现一次且仅出现一次）：

• 问号?代表前面的字符最多只可以出现一次。（0次或1次）。例如，colou?r可以匹配color或者colour;
• 加号+代表前面的字符必须至少出现一次。（1次或多次）。例如，goo+gle可以匹配google、gooogle、goooogle等;
• 星号*代表前面的字符可以不出现，也可以出现一次或者多次。（0次、1次或多次）。例如，0*42可以匹配42、042、0042、00042等。

匹配

• 圆括号()可以用来定义操作符的范围和优先度。例如，gr(a|e)y等价于gray|grey，(grand)?father匹配father和grandfather。

上述这些构造子都可以自由组合，因此H(ae?|ä)ndel和H(a|ae|ä)ndel是相同的。

2.3 精确的语法可能因不同的工具或程序而异。

正则表达式有多种不同的风格。
更多语法及具体规则在可参阅：https://en.wikipedia.org/wiki/Regular_expression

https://en.wikipedia.org/wiki/Comparison_of_regular_expression_engines
正则表达式引擎的比较

正则表达风味比较 - 最流行的正则表达风味的详细比较
http://www.regular-expressions.info/refflavors.html

Regexp语法摘要
http://www.greenend.org.uk/rjk/2002/06/regexp.html

在线正则表达式测试 - 支持Java，JavaScript，.Net，PHP，Python和Ruby
http://www.regexplanet.com/

实现正则表达式 - RE2的作者Russ Cox的系列文章
https://swtch.com/~rsc/regexp/

正则表达式引擎
http://www.softec.lu/site/RegularExpressions/RegularExpressionEngines

3. 实战

3.1 查找html文件里所有高度参数

$ grep height=\"..\" 1.html
<td align="left" height="20">RS</td>
<td align="left" height="23">ORS</td>

3.2 删除表格内高度参数

$ sed 's/height=\"..\">/>/g' 1.html |grep align
<td align="left" >OFS</td>
<td align="left" >RS</td>

3.3 写入文件

$ sed -i 's/height=\"..\">/>/g' 1.html