(四) Pandas之DataFrame02

pandas的拼接操作

pandas的拼接分为两种：

• 级联：pd.concat, pd.append
• 合并：pd.merge, pd.join

1. 使用pd.concat()级联

pandas使用pd.concat函数，与np.concatenate函数类似，只是多了一些参数：

objs
axis=0
keys
join='outer' / 'inner':表示的是级联的方式，outer会将所有的项进行级联（忽略匹配和不匹配），而inner只会将匹配的项级联到一起，不匹配的不级联
ignore_index=False

匹配级联：就是即将进行级联的df有着相同的形状和索引

df1 = DataFrame(data=np.random.randint(0, 100, size=(3, 3)), index=["a", "b", "c"], columns=("A", "B", "C"))
df2 = DataFrame(data=np.random.randint(0, 100, size=(3, 3)), index=["a", "e", "c"], columns=("A", "E", "C"))


df1
A    B    C
a    44    7    71
b    42    15    96
c    83    68    52

df2
A    E    C
a    86    13    62
e    29    27    90
c    65    72    67

# 匹配级联，级联的方向为横向（行跟行进行级联）
pd.concat([df1,df1],axis=1)

不匹配级联

不匹配指的是级联的维度的索引不一致。例如纵向级联时列索引不一致，横向级联时行索引不一致

有2种连接方式：

• 外连接：补NaN（默认模式）

• 内连接：只连接匹配的项

# 纵向
pd.concat((df1, df1), axis=0, join='inner')

# 使用outer保留数据的完整性
pd.concat((df1, df2), axis=0, join='outer')

# 内连接，会丢失数据
pd.concat((df1, df2), axis=0, join='inner')

pd.concat([df1,df2],axis=1,join='outer')
#返回的结果为：
    A    B    C    D     A         B         C         D
a    57    25    57    48    63.0    31.0    29.0    30.0
b    25    44    52    18    29.0    64.0    73.0    91.0
c    98    15    83    14    39.0    37.0    67.0    91.0
d    37    50    69    91    NaN         NaN    NaN        NaN

2. 使用pd.merge()合并

merge与concat的区别在于，merge需要依据某一共同列来进行合并

使用pd.merge()合并时，会自动根据两者相同column名称的那一列，作为key来进行合并。

注意每一列元素的顺序不要求一致

参数：

• how：out取并集 inner取交集

• on：当有多列相同的时候，可以使用on来指定使用那一列进行合并，on的值为一个列表

1) 一对一合并

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                'group':['Accounting','Engineering','Engineering'],
                })

df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
                'hire_date':[2004,2008,2012],
                })

# 一对一合并
pd.merge(df1, df2, how='outer')

 2) 一对多合并

df3 = DataFrame({
    'employee':['Lisa','Jake'],
    'group':['Accounting','Engineering'],
    'hire_date':[2004,2016]})
df4 = DataFrame({'group':['Accounting','Engineering','Engineering'],
                       'supervisor':['Carly','Guido','Steve']
                })

# 一对多合并
pd.merge(df3, df4, how='outer')

3) 多对多合并

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                 'group':['Accounting','Engineering','Engineering']})
df5 = DataFrame({'group':['Engineering','Engineering','HR'],
                'supervisor':['Carly','Guido','Steve']
                })

pd.merge(df1, df5, how='outer') # 外连接, 合并返回六行数据
pd.merge(df1, df5, how='left')  # 左连接,合并返回5行数据
pd.merge(df1, df5, how='right')  # 右连接,合并返回5行数据

4) key的规范化

当列冲突时，即有多个列名称相同时，需要使用on=来指定哪一个列作为key，配合suffixes指定冲突列名

df1 = DataFrame({'employee':['Jack',"Summer","Steve"],
                 'group':['Accounting','Finance','Marketing']})
df2 = DataFrame({'employee':['Jack','Bob',"Jake"],
                 'hire_date':[2003,2009,2012],
                'group':['Accounting','sell','ceo']})

# 使用outer保证数据完整性,手动指明合并条件为group
pd.merge(df1, df2, how='outer', on='group')

当两张表没有可进行连接的列时，可使用left_on和right_on手动指定merge中左右两边的哪一列列作为连接的列

df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
                'group':['Accounting','Product','Marketing'],
               'hire_date':[1998,2017,2018]})
df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
                'hire_dates':[1998,2016,2007]})

# 除了on还可以指明左表和右表的哪些条件可以合并
pd.merge(df1, df5, left_on='employee', right_on='name')

5) 内合并与外合并:out取并集 inner取交集

• 内合并：只保留两者都有的key（默认模式）
• 外合并 how='outer'：补NaN