Pandas数据预处理的常用函数
引入Pandas，用于有关数据处理和分析的环节。
一、读取数据文件
1 .读取excel数据文件
1.1加载Excel表，使用skiprows=1跳过首行【对于一个excel文件，首行一般为字段的定义（标题行），第二行才为数据】
并指定加载的列，注意数据文件的编码，默认utf-8，常用还有gb2312，根据自身数据而定。
%%timeit raw_pd = pd.read_excel(data_file,,skiprows=1,usecols=[1,2,4],name=['item_id','item_name','price'],encoding='gb2312') 181 ms ± 1.32 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) 这里可以为每个执行单元之前加入%%timeit，观察其耗时情况。
1.2加载Excel表，使用header=0跳过有列标题的首行
除了使用skiprows=1可跳过首行，header=0也可以实现同样效果【对比1.1】
raw_pd = pd.read_excel(data_file,header=0,usecols=[1,2,4],name=['item_id','item_name','price'],encoding='gb2312')
1.3加载Excel表，首行为数据，不是列标题
若该表第一行不是列标题行而是数据行，则需要指定header=None，否则读取后，第一行数据会被作为column name
raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,encoding='utf-8')
1.4加载Excel表，读取前n行数据
若数据文件大小为几个G，显然若直接全量读取，内存会挤爆，因此可以先读取前n行看看。使用nrows=500，表示只读取前500行。
raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None, nrows=500,encoding='utf-8')
1.5加载Excel表，跳过所有空白行
若有些表出现了不定数量的空白行，可以使用skip_blank_lines=True处理
raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,skip_blank_lines = True, nrows=500,encoding='utf-8')
1.6加载Excel表，通过自定规则，跳过满足规则的行
例如跳过有值为单数的行，定义更复杂的函数，用于跳过满足复杂规则的行。不过，除非这些行很多，否则可以在读取后，直接用正则drop掉来得更有效
pd.read_csv(data_file, skiprows=lambda x: x % 2 != 0)
二、读取CSV文件
2.1读取csv文件跟读取Excel文件区别不大，这里简单给出示例
raw_pd=pd.read_csv(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,nrows=500,encoding='gb2312')
2.2读取数据时，跳过尾行
raw_pd=pd.read_csv(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None, skipfooter=5,encoding='gb2312')
2.3读取特定分割符的数据文件
read_csv也可以读取任意文本文件，只需要指定列分割符。
raw_pd=pd.read_csv('data_file.txt',sep='||',encoding='utf-8')
三、使用c或者python作为读取文件的引擎
pd.read_*** 方法默认使用python解释器作为读取文件engine，若数据文件大，可选择c engine
engine : {'c', 'python'}
Parser engine to use. The C engine is faster while the Python engine is currently more feature-complete.
四、使用迭代器读取超大文件
参考官网文档给出的示例，使用iterator=True， 或者chunksize=4读取超大文件，返回的是TextFileReader，是一个文件迭代器
4.1.chunksize方式：
In [187]: reader = pd.read_csv('tmp.sv', sep='|', chunksize=4) In [188]: type(reader) Out[188]: <pandas.io.parsers.TextFileReader at 0x7f2b428c17f0> In [189]: for chunk in reader: .....: print(chunk)
4.2.iterator=True方式：
使用iterator=True方式，值读取前面5行，放回的也是df对象
In [190]: reader = pd.read_csv('tmp.sv', sep='|', iterator=True) In [191]: chunk_pd=reader.get_chunk(5) chunk_pd.head()
4.3.当然最佳的方式是两者结合使用：返回迭代器方式，并指定分块读取，例如分64k读取
iter_df=pd.read_csv(large_file,iterator=True，chunksize=64*1024)
五、查看数据的基本信息
raw_pd：表示从文件读出来的数据
raw_pd.head(5) # 查看数据基本信息（前5行） raw_pd.tail(5) # 查看末尾5行 raw_pd.sample(5) # 随机抽取5行查看 raw_pd.dtypes # 查看每列数据类型 raw_pd.columns #查看列名 raw_pd.info() #查看各字段的信息 raw_pd.shape #查看数据集行列分布，几行几列 raw_pd.describe() # 快速查看数据的基本统计信息
六、有关空值处理
空值：在pandas中的空值是""
缺失值：在dataframe中为NaN或者NaT（缺失时间），在series中为none或者nan
# 测试数据 raw_pd = pd.DataFrame({"name": ['aoo', 'boo', 'coo'], "college": [np.nan, 'SACT', 'AACT'], "birth_date": [pd.NaT, pd.Timestamp("2000-10-01"),pd.NaT]})
6.1行的空值处理
""" axis：0或者'index'代表行操作（默认） 1或者'column'：列操作 how：any-只要有空值就删除（默认），all-全部为空值才删除 inplace：False-返回新的数据集（默认），True-在愿数据集上操作 """ # 使用频率高：查看name列中，有多少行为空值行,value_counts其实是一个统计方法 raw_pd['name'].isnull().value_counts() # 使用频率高：any表示行的任意一列有空值，则删除该行；all表示该行全部为空，则删除 raw_pd.dropna(axis=0, how='any', inplace=True) # 行的任意一列有空值,且出现2个空值才删除这些行。例如该行有3列，其中2列都是为空，那么可以删掉该行。 使用频率低：raw_pd.dropna(axis=0, how='any',thresh=2, inplace=True)
6.2列的空值处理
# 使用频率高：指定某几列，若这些列中出现了空值，则直接删除所在行 raw_pd.dropna(subset=['name', 'birth_date'],inplace=True)
6.3空值的填充
最简单的用法，对全部数据记录里面的空值填充指定值
df.fillna(value=‘bar’)
频繁使用：对指定列的空值进行填充
raw_pd['name']=raw_pd['name'].fillna(value='bar')
七、dataframe 取（定位）数据的操作
7.1按给定列名取数，类似字典操作：df[‘列名’]
raw_pd= raw_pd['name']
取出多列数据，入参为包含多个字段的list：[‘name’,‘college’]
raw_pd[['name','college']]
7.2按行默认的行索引号选取数据：df.loc
df = pd.DataFrame({"name": ['aoo', 'boo', 'coo'],
"college": [np.nan, 'SACT', 'AACT'],
"birth_date": [pd.NaT, pd.Timestamp("2000-10-01"),pd.NaT]})
# 查看该df的行索引
df.index
RangeIndex(start=0, stop=3, step=1)
# 打印
birth_date college name
0 NaT NaN aoo
1 2000-10-01 SACT boo
2 NaT AACT coo
# 这里的0,1,2就是pandas默认给加载的数据提供的行索引号
