Pandas数据预处理的常用函数

引入Pandas，用于有关数据处理和分析的环节。

一、读取数据文件

1 .读取excel数据文件

1.1加载Excel表，使用skiprows=1跳过首行【对于一个excel文件，首行一般为字段的定义（标题行），第二行才为数据】

并指定加载的列，注意数据文件的编码，默认utf-8，常用还有gb2312，根据自身数据而定。

%%timeit
raw_pd = pd.read_excel(data_file,,skiprows=1,usecols=[1,2,4],name=['item_id','item_name','price'],encoding='gb2312')
181 ms ± 1.32 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

这里可以为每个执行单元之前加入%%timeit，观察其耗时情况。

 

1.2加载Excel表，使用header=0跳过有列标题的首行

除了使用skiprows=1可跳过首行，header=0也可以实现同样效果【对比1.1】

raw_pd = pd.read_excel(data_file,header=0,usecols=[1,2,4],name=['item_id','item_name','price'],encoding='gb2312')

 

1.3加载Excel表，首行为数据，不是列标题

若该表第一行不是列标题行而是数据行，则需要指定header=None，否则读取后，第一行数据会被作为column name

raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,encoding='utf-8')

 

1.4加载Excel表，读取前n行数据

若数据文件大小为几个G，显然若直接全量读取，内存会挤爆，因此可以先读取前n行看看。使用nrows=500，表示只读取前500行。

raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None, nrows=500,encoding='utf-8')

 

1.5加载Excel表，跳过所有空白行

若有些表出现了不定数量的空白行，可以使用skip_blank_lines=True处理

raw_pd=pd.read_excel(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,skip_blank_lines = True, nrows=500,encoding='utf-8')

 

1.6加载Excel表，通过自定规则，跳过满足规则的行

例如跳过有值为单数的行，定义更复杂的函数，用于跳过满足复杂规则的行。不过，除非这些行很多，否则可以在读取后，直接用正则drop掉来得更有效

pd.read_csv(data_file, skiprows=lambda x: x % 2 != 0)

 

二、读取CSV文件

2.1读取csv文件跟读取Excel文件区别不大，这里简单给出示例

raw_pd=pd.read_csv(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None,nrows=500,encoding='gb2312')

 

2.2读取数据时，跳过尾行

raw_pd=pd.read_csv(data_file,usecols=[1,2,4],name=['item_id','item_name','price'],header=None, skipfooter=5,encoding='gb2312')

 

2.3读取特定分割符的数据文件

read_csv也可以读取任意文本文件，只需要指定列分割符。

raw_pd=pd.read_csv('data_file.txt',sep='||',encoding='utf-8')

 

三、使用c或者python作为读取文件的引擎

pd.read_*** 方法默认使用python解释器作为读取文件engine，若数据文件大，可选择c engine

engine : {'c', 'python'}

Parser engine to use. The C engine is faster while the Python engine is currently more feature-complete.

 

四、使用迭代器读取超大文件

参考官网文档给出的示例，使用iterator=True， 或者chunksize=4读取超大文件，返回的是TextFileReader，是一个文件迭代器

4.1.chunksize方式：

In [187]: reader = pd.read_csv('tmp.sv', sep='|', chunksize=4)

In [188]: type(reader)
Out[188]: <pandas.io.parsers.TextFileReader at 0x7f2b428c17f0>

In [189]: for chunk in reader:
   .....:     print(chunk)

 

4.2.iterator=True方式：

使用iterator=True方式，值读取前面5行，放回的也是df对象

In [190]: reader = pd.read_csv('tmp.sv', sep='|', iterator=True)

In [191]: chunk_pd=reader.get_chunk(5)
chunk_pd.head()

 

4.3.当然最佳的方式是两者结合使用：返回迭代器方式，并指定分块读取，例如分64k读取

iter_df=pd.read_csv(large_file,iterator=True，chunksize=64*1024)

 

五、查看数据的基本信息

raw_pd：表示从文件读出来的数据

raw_pd.head(5) # 查看数据基本信息（前5行）
raw_pd.tail(5) # 查看末尾5行
raw_pd.sample(5) # 随机抽取5行查看
raw_pd.dtypes # 查看每列数据类型
raw_pd.columns    #查看列名
raw_pd.info()     #查看各字段的信息
raw_pd.shape      #查看数据集行列分布，几行几列
raw_pd.describe() # 快速查看数据的基本统计信息

 

六、有关空值处理

空值：在pandas中的空值是""
缺失值：在dataframe中为NaN或者NaT（缺失时间），在series中为none或者nan

# 测试数据
raw_pd = pd.DataFrame({"name": ['aoo', 'boo', 'coo'],
                "college": [np.nan, 'SACT', 'AACT'],
                  "birth_date": [pd.NaT, pd.Timestamp("2000-10-01"),pd.NaT]})

 

6.1行的空值处理

"""
axis：0或者'index'代表行操作（默认）  1或者'column'：列操作
how：any-只要有空值就删除（默认），all-全部为空值才删除
inplace：False-返回新的数据集（默认），True-在愿数据集上操作
"""

# 使用频率高：查看name列中，有多少行为空值行,value_counts其实是一个统计方法
raw_pd['name'].isnull().value_counts()

# 使用频率高：any表示行的任意一列有空值，则删除该行；all表示该行全部为空，则删除
raw_pd.dropna(axis=0, how='any', inplace=True)

# 行的任意一列有空值,且出现2个空值才删除这些行。例如该行有3列，其中2列都是为空，那么可以删掉该行。
使用频率低：raw_pd.dropna(axis=0, how='any',thresh=2, inplace=True)

 

6.2列的空值处理

# 使用频率高：指定某几列，若这些列中出现了空值，则直接删除所在行
raw_pd.dropna(subset=['name', 'birth_date'],inplace=True)

 

6.3空值的填充

最简单的用法，对全部数据记录里面的空值填充指定值

df.fillna(value=‘bar’)

频繁使用：对指定列的空值进行填充

raw_pd['name']=raw_pd['name'].fillna(value='bar')

 

七、dataframe 取（定位）数据的操作

7.1按给定列名取数，类似字典操作：df[‘列名’]

raw_pd= raw_pd['name']

取出多列数据，入参为包含多个字段的list：[‘name’,‘college’]

raw_pd[['name','college']]

 

7.2按行默认的行索引号选取数据：df.loc

df = pd.DataFrame({"name": ['aoo', 'boo', 'coo'],
                "college": [np.nan, 'SACT', 'AACT'],
                  "birth_date": [pd.NaT, pd.Timestamp("2000-10-01"),pd.NaT]})
# 查看该df的行索引
df.index
RangeIndex(start=0, stop=3, step=1)

# 打印                  
    birth_date     college     name
0     NaT     NaN     aoo
1     2000-10-01     SACT     boo
2     NaT     AACT     coo 

# 这里的0,1,2就是pandas默认给加载的数据提供的行索引号