linux中求两组数据的交集、并集、特有项

1、测试数据

root@PC1:/home/test# ls         ##  测试数据
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c

 

2、取两个文件的交集

sort + uniq实现

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# cat <(sort -u a.txt ) <(sort -u b.txt ) | sort | uniq -d    ## 取两个文件的交集
a
d

 

comm实现：

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# comm <(sort -u a.txt ) <(sort -u b.txt ) -1 -2    ## 取两个文件的交集
a
d

 

3、取两个文件的并集

sort 实现

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# cat a.txt b.txt | sort -u   ## 取两个文件的并集
a
c
d
e
g
s
t
w

 

comm实现：

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# comm <(sort -u a.txt ) <(sort -u b.txt ) | sed 's/^\t\+//g'    ## 取两个文件中的并集
a
c
d
e
g
s
t
w

 

4、取文件a.txt中的特有项

grep + if实现

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# sort -u a.txt | while read i; do grep -w "$i" <(sort -u b.txt) &> /dev/null; if [ $? -eq 1 ]; then echo $i; fi; done
g
s
w

 

comm实现：

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# comm <(sort -u a.txt ) <(sort -u b.txt ) -2 -3    ## 取出a.txt中的特有项
g
s
w

 

5、取出b.txt中的特有项

sort + grep实现

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# sort -u b.txt | while read i; do grep -w "$i" <(sort -u a.txt ) &> /dev/null; if [ $? -eq 1 ]; then echo $i; fi; done
c
e
t

 

comm实现

root@PC1:/home/test# ls
a.txt  b.txt
root@PC1:/home/test# cat a.txt
w
s
g
d
w
a
root@PC1:/home/test# cat b.txt
d
a
e
d
t
c
root@PC1:/home/test# comm <(sort -u b.txt ) <(sort -u a.txt ) -2 -3    ## 求b.txt中的特有项
c
e
t
root@PC1:/home/test# comm <(sort -u a.txt ) <(sort -u b.txt ) -1 -3    ## 取b.txt中的特有项
c
e
t