pandas数据处理基础-数据读取/数据选择
数据读取
df=pd.read_csv("相对路径或者网址") 呈现的结果是一个二维数组，dataframe结构；
df.head()----显示的是前5行数据
df.tail(7)----显示的是后7行数据
df.describe()----对数据进行描述
df.values----将dataframe转换为numpy数组结构
df.index--查看索引 df.columns--查看行名 df.shape--查看形状
数据选择
基于索引数字选择 df.iloc[]
df.iloc[:3]--选择前3行数据
df.iloc[5]--选择第6行
df.iloc[[1,3,5]]--选择第2，4，6行数据（因为[]中有[行，列]）
df.iloc[:,1：4]--选择第2-4列
df.iloc[1:4,3:6]--选择第2-4行和第4-6列
基于标签名称选择 df.loc[]
df.loc[0:2]--代表的是第1-3行，df.iloc[0:2]--代表的是第1-2行
df.loc[1:4,'Total Males':]---选择连续的行，用：的话不需要[]，选择不连续的行，用[]。
数据删减
df.drop(labels=['Median Age', 'Total Males'],axies=1)---labels不要也可以，直接df.drop(['Median Age', 'Total Males'],axies=1)---或者df.drop(columns=['Median Age', 'Total Males'])
df.drop([0,1])--删掉0，1行
df.drop_duplicates()--剔除数据集中的重复行
df.drop_duplicates(subsets=['Total Population'])--subsets删除指定列的重复数据
df.drop_duplicates(subset=['Total Population'], keep='last')---keep删除重复项并保留最后一次出现
df.dropna()--删除缺少值
数据填充
需要先检测是否有缺失值
检测缺失值
NaN指not a number;NaT指 not a TIME 时间戳的缺失
#df=pd.DataFrame(np.random.rand(9,5),columns=list('ABCDE'))----创建9✖5的矩阵，总共5列
#df.insert（value=pd.Timestamp('2017-10-1'),loc=0,column='Time'）--在第一列插入列名是Time的内容为2017-10-1的时间序列
#df.iloc[[1,3,5,7],[0,2,4]]=np.nan--缺失值赋值
df.isna()--是否是缺失值
对于缺失值处理的方法— 1、填充 2、剔除
剔除直接用dropna()
填充用fillna()
1)直接用标量填充 df.fillna(0)；
2）通过参数将缺失值前面或后面的值填充给缺失值；前面--df.fillna（method='pad'），后面--df.fillna(method='bfill');
df.fillna(method='pad',limit=1）--对于连续缺失值向前填充，可以限制填充行数；
3）用平均值填充指定列 df.fillna(df.mean()['C':'E'])
df.fillna(df.mean()[0:3])--？？？为什么是第1到第3列填充
插值填充
interpolate()--线性插值
方法：method='quadratic'---如果数据增长速率越来越快，用此方法； method='pchip'---数据集呈现出累计分布的样子；
method='akima'--需要填补缺省值，以平滑绘图为目标；
数据可视化
NumPy，Pandas，Matplotlib 构成了一个完善的数据分析生态圈，所以 3 个工具的兼容性也非常好，甚至共享了大量的接口。
当我们的数据是以 DataFrame 格式呈现时，可以直接使用 Pandas 提供的 DataFrame.plot()方法调用 Matplotlib 接口绘制常见的图形。
df_interpolate.plot()---df_interpolate即为DataFrame的表名
其他样式的图形指定 kind= 参数即可，如柱状图
df_interpolate.plot(kind='bar')
- 数据计算，例如：
DataFrame.add等。 - 数据聚合，例如：
DataFrame.groupby等。 - 统计分析，例如：
DataFrame.abs等。 - 时间序列，例如：
DataFrame.shift等。
