Pandas中两个DataFrame的差集

在pandas中,两个DataFrame的差集并没有直接的库内置方法,现在我们希望有一种方法,就像python中set内置的求差集一样,来找到两个DataFrame的差集。

>>> a=set((1,2,3))
>>> a
{1, 2, 3}
>>> b=set((2,3,4))
>>> b
{2, 3, 4}
>>> a-b
{1}

 上面代码片段是对set的内置求差集方法的回顾,现在我们希望能有类似的方法来找两个DataFrame的差集。

解决思路是这样的

对于有同样Index的a,b两个DataFrame,如果现在要求a对b的差集,那么可以(1)连续两次扩充a,使用append方法(2)然后使用drop_duplicates方法对a进行去重,并且参数keep=False。原理很简单,也很巧妙,连续扩充2次a,那么新扩充完后的DataFrame中来自b的row肯定是重复的,去重时候,b全部被删除,与此同时,a中跟b重复的row也会顺带着被删除。

代码实现:

>>> import pandas as pd
>>> data_a={'state':[1,1,2],'pop':['a','b','c']}
>>> data_b={'state':[1,2,3],'pop':['b','c','d']}
>>> a=pd.DataFrame(data_a)
>>> b=pd.DataFrame(data_b)
>>> a
   state pop
0      1   a
1      1   b
2      2   c
>>> b
   state pop
0      1   b
1      2   c
2      3   d
>>> a=a.append(b)
>>> a=a.append(b)
>>> a
   state pop
0      1   a
1      1   b
2      2   c
0      1   b
1      2   c
2      3   d
0      1   b
1      2   c
2      3   d
>>> a.drop_duplicates(subset=['state','pop'],keep=False)
   state pop
0      1   a

  

 

posted @ 2020-05-08 11:12  JohnYang819  阅读(12104)  评论(0编辑  收藏  举报