1.14

python进行数据清洗知识点（三）

3. 数据清洗之数据表处理
3.1 数据常用筛选方法
在数据中,选择需要的行或者列
基础索引方式,就是直接引用
ioc[行索引名称或者条件,列索引名称或者标签]
iloc[行索引位置,列索引位置]
注意, 区分loc和iloc

 

3.2 数据增加和删除
在数据中,直接添加列
使用df.insert方法在数据中添加一列
掌握drop(labels,axis,inplace=True) 的用法
labels表示删除的数据, axis表示作用轴，inplace=True表示是否对原数据生效
axis=0按行操作, axis=1按列操作
使用del函数直接删除其中一列
参数解释

3.3 数据修改和查找
在数据中, 可以使用rename修改列名称或者行索引名称
使用loc方法修改数据
使用loc方法查找符合条件的数据
条件与条件之间用&或者|连接，分别代表‘且’和‘或’
使用between和isin选择满足条件的行

 

3.4 数据整理
定义：在数据清洗过程中,很多时候需要将不用的数据整理在一起，方便后续的分析，这个过程也叫数据合并

合并方法：常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠和纵向堆叠，按主键合并类似于sql里面的关联操作

横向堆叠将两张表或多张表在X轴方向，即横向拼接在一起
纵向堆叠将两张表或多张表在Y轴方向，即纵向拼接在一起
注意使用concat时,axis =1用于横向，0代表纵向
注意join取inner或者outer时，分别代表交集和并集
关联操作
纵向合并

 

3.5层次化索引
定义：在一个轴上拥有两个或者两个以上的索引
• 使用loc语句进行访问
• loc里面接受tuple,如loc[(a,b),:]