Python pandas库和MS SQL的等价操作->并集,交集,差集

记录pandas中实现和SQL相同操作的语句

union all -- 不去重

union -- 自带distinct去重

intersect  -- 自带distinct去重

except  -- 自带distinct去重

#coding=gbk
import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df1=DataFrame({'a':[1,2,3],'b':[4,5,6]})
df2=DataFrame({'a':[1,2,8],'b':[4,7,9]})
print('df1')
print(df1)
print('df2')
print(df2)
print('union all的结果')
print(pd.concat([df1,df2]))
print('union的结果')
print(pd.concat([df1,df2]).drop_duplicates())
print('union并且重建索引的结果')
print(pd.concat([df1,df2]).drop_duplicates().reset_index(drop=True))
print('intersect的结果')
print(df1.merge(df2).drop_duplicates())
print('伪except的结果')
print(df1[-df1.isin(df2)].dropna(how='all'))
print('except的结果')
print(df1.append(df2).append(df2).drop_duplicates(keep=False))

结果如下

 

drop_duplicates()的默认keep='first' 保留第一个  keep='False' 代表有重复则全部删除

可能在某种情况下并不完全等价 仅提供参考

谢谢!