linux常用命令

1、awk命令

（1）两个文件的交集

awk 'NR==FNR{ a[$1]=a[$1]+1} NR>FNR{ if(a[$1]>=1 &&b[$1]<1){ print $1;b[$1]=b[$1]+1}}'  a.txt  b.txt 

（2）两个文件差集(b-a)

　awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1} }'  a.txt b.txt   

（2）两个文件差集(a-b) 

　awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1} }'  b.txt a.txt  

 

2、sed命令 执行替换操作

sed -i "s/^M//g" a.txt

3、sort命令

sort a.txt ｜uniq   排序去重