Linux文本过滤常用命令（转）
01 cat命令
通常用来显示文本文件的内容
一般用来查看比较短的文本文件,因为其缓冲区有限
-s选项可以用来合并文件中多余的空行,多个空行将被压缩为一个空行;
-n选项可以显示行号
-b选项可以跳过空行的编号,显示非空行的行号;
cat不加任何参数可以用来赋值标准输入到标准输出;
02 more命令
可以用来分屏查看文本文件的内容
当文件的内容查过一屏时可以分屏查看,最后一行会显示more的提示显示;
回车键会向后滚动一行,空格滚动一屏;
在more中还支持搜索功能,与vim中的搜索用法一致;
按q键自动退出more
可以在某些命令后加管道符号和more命令,可以对命令的结果分屏显示;
03 less命令
用于分屏显示文本文件内容
相对与more命令less功能更加强大
回车键会向后滚动一行,空格滚动一屏;
还可以用上下左右键查看,more不能回滚;
同样支持搜索操作
more显示完文件内容后会自动退出;less不会,需要使用q键
在查看的过程中还可以调用其他shell指令,同vim的底行模式
04 grep命令
是一种长匹配指令,可以匹配我们输入的文本,并在文件中搜索含有匹配的行
# grep "root" /ets/passwd
匹配模式中支持正则表达式
# grep -n "fs$" /proc/filesystem //搜索以fs结尾的行
05 head命令
用于显示文件的头部内容,默认显示文件前10行内容
# head /etc/httpd/conf/httpd.conf
-n选项可以指定显示的行数
对于显示一些超大型文件的头部内容很重要
可以显示多个文件的头部内容
06 tail命令
用来显示给定文本文件的尾部内容,默认显示尾部10行内容
# tail filename
-n选项可以指定显示内容的行数
-f可以动态跟随文件尾部的变化,经常用该选项监控系统的日志文件;
07 wc命令
用于统计文本文件中的行数,单词数和字节数;
# wc /etc/passwd
44 72 2102 /etc/passwd
# wc -l /etc/passwd //单独统计文件的行数
# ps -ef |grep gnome |wc -l //统计当前系统有多少个含有gnome进程
# wc
然后输入一部分内容,按Ctrl+d时会统计我们刚输入的文字信息
08 uniq命令
用于过滤文件中的重复行,并没有改变文件内容
要求要过滤的文本是已经排序过的
首先使用sort命令排序,然后再使用uniq命令#sort file | uniq
-c选项可以统计重复行出现的次数
09 cut命令
用于显示文本文件中指定的列
# cut -f 1 -d " " /etc/fstab //以空格为分割,显示第1部分
# cut -c -15 /proc/net/arp //显示每列前面的15个字符即IP地址
10 sort命令
用来对文本排序
# sort file
仅仅将file中的内容排序输出,并没有改变file的内容
-o选项可以输出到指定的文件
# sort file -o result
也可以使用重定向的功能把排序结果保存到文件中
11 join命令
用于合并给定文件中的相同字段,要求文件是被排序过的
# cat math
Tom 90
Jim 91
# cat english
Jim 95
Tom 96
# sort math > math.sorted
# sort english > english.sorted
# join math.sorted english.sorted
Jim 91 95
Tom 90 96
12 split命令
用于将给定的文件分割成若干个小的文件
# split acess_log
会生成很多小文件,每个文件默认是1000行
-l选项可以指定分割的文件大小的行数
13 unexpand命令
用于将文件中多余的空格字符转换成制表符
# cat test.txt
liuli zhangsan
# unexpand -t 10 test.txt
liuli zhangsan
-t将指定个数的空白转换成一个Tab键
14 tr命令
是字符处理工具,用于替换和删除给定文本中的单个字符,不是字符串处理工具
# tr dev xyz < /etc/fstab //将d替换为x,将e替换为y,v替换为z
sed命令可以替换字符串
# tr a-z A-Z < /etc/hosts //将小写字符替换为大写字符
# tr -d angi < "zhangsanlisiwangwu" //将angi对应的字符删除
zhslswwu
# echo $PATH
/opt/arm-2009q3/bin:/usr/lib/qt4/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/beangr/bin
# echo $PATH | tr ":" "\n" //将结果中的:替换为换行符
/opt/arm-2009q3/bin
/usr/lib/qt4/bin:/usr/lib/qt-3.3/bin
/usr/local/bin
/usr/bin
/bin
/usr/local/sbin
/usr/sbin
/sbin
/home/beangr/bin
15 tee命令
用于从标准输入读取数据,将其保存到指定的文件并输出到标准输出
# cat /etc/fstab | tee file1 file2 file3
/* 正常输出到标准输出的同时保存到file1,file2,file3 */
16 tac命令
用于以行为单位,反序显示文本的内容
tac是cat的反指令
17 spell命令
是Linux中拼写检查命令,可以对文件中的文本以单词为单位进行拼写检查,并将拼写错误的单词打印出来
# spell file
18 paste命令
用于多个文本文件的合并,以列为单位
# cat t1.txt
name math java
Tom 100 70
jim 80 88
# cat t2.txt
C++
90
89
# paste t1.txt t2.txt
name math java C++
Tom 100 70 90
jim 80 88 89
如果需要将结果保存到文件,需要使用重定向
19 diff命令
用于比较两个文件不同的地方
# diff file1 file2
diff命令常用来生成补丁文件
# diff -Nur file1 file2 >a.patch
20 cmp命令
用于比较两个文件的类型,可以是任何类型的文件
会显示出从哪个地方开始不同
# cmp file1 file2
# cmp /bin/ls /bin/mail
# cmp file1 file1 //比较两个相同的文件,没有输出
21 look命令
用于显示文件中以指定字符串开头的行,要求文本文件是有序的
# cat t1.txt
name math java
zhang 100 70
lisi 70 88
wang 100 70
zhang 100 70
# sort t1.txt > t1.txt.sorted
# look zhang t1.txt
zhang 100 70
# look zhang t1.txt.sorted
zhang 100 70
zhang 100 70
# look hello //可以查询我们的字典,会显示所有包含hello的单词
在安装look命令的时候,会安装两个字典文件
22 ispell命令
可以检查文件中英文拼写错误,并给出纠正提示
# cat test.txt
yyear month hppy
# ispell test.txt //修改的结果会保存到文件
23 fold命令
用于控制文件内容在显示的时候占用屏幕的宽度
# fold -w 20 /etc/fstab //指定宽度为20个字符
换行的内容不表示文本是多行,只是多行显示而已
24 fmt命令
用于对文本文件的内容进行文本格式的优化
# fmt -u /etc/fstab //会压缩显示的空格
25 expand命令
用于将文件中的制表符转换为空格字符
# cat t1.txt
hello world
hello Linux
# expand -t 20 t1.txt
hello world
hello Linux
与unexpand互逆
26 col命令
用来过滤其他指令输出的控制信息
# cat mytest | col > mytest3
27 colm命令
用于删除文件中指定的列(字符为单位)
# colm 20 < /etc/fstab //删除前20列字符
原有内容不会发生改变
# colm 20 50 < /etc/fstab //删除20到50之间的列
28 comm命令
用于比较已经排序的文件,比较以行为单位
# cat chengji1
wangwu 90
lisi 60
zhangsan 80
# cat chengji2
wangwu 90
zhangsan 80
lisi 70
# sort chengji1 > chengji1-1
# sort chengji2 > chengji2-2
# comm chengji1-1 chengji2-2
29 csplit命令
用于将一个大文件分割为小的文件,以行为单位
# csplit test.txt 300
/* 从300行处分割成两个文件 */
30 diff3命令
用于比较3个文件的不同,并显示他们的不同地方
# diff3 file1 file2 file3
31 diffstat命令
用于统计diff指令的输出结果
# diff a.patch
32 printf命令
用于格式化并输出结果到标准输出,非常类似于C语言中的printf函数
# printf "%s\t%s\n" "Hello" "world"
Hello world
33 pr命令
用于将文本文件转换成适合打印的文件,可以将文件分成多页并添加打印标题
# pr test.txt > test.txt.print
34 od命令
用于输出文件的八进制,十六进制或其他格式编码的字节,通常用来显示不能直接在终端显示的字符
# od -tcx1 test.txt
# cat test.txt
hello world
35 rev命令
用于对文件的文本内容以行为单位进行字符的反序输出
# cat test.txt
hello world
I love linux!
# rev test.txt
dlrow olleh
!xunil evol I
参考：
http://blog.csdn.net/halazi100/article/details/42266885（以上内容转自此篇文章）
