1、awk命令

(1)两个文件的交集

awk 'NR==FNR{ a[$1]=a[$1]+1} NR>FNR{ if(a[$1]>=1 &&b[$1]<1){ print $1;b[$1]=b[$1]+1}}'  a.txt  b.txt 

(2)两个文件差集(b-a)

 awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1} }'  a.txt b.txt   

(2)两个文件差集(a-b) 

 awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1} }'  b.txt a.txt  

 

2、sed命令 执行替换操作

sed -i "s/^M//g" a.txt

3、sort命令

sort a.txt |uniq   排序去重