python数据分析实践总结
“我的惩罚是什么?”伊萨克问艾尔曼。
“孤寂。”艾尔曼回答道。
引言:
在近日的python数据分析实战课中,我学习到使用python进行数据分析的流程、方法,对常使用的函数有一些认识和了解,对 numpy, pandas 包有了一定的理解但不深。
这篇博客将是我自己用于总结归纳的圣地,我将对整个项目的 key point 进行归纳总结,提取其中精华之所在,汲取之加以奋发向前。
一、分析数据文件:
在拿到数据的第一刻,莫急,先打开数据文件看一看,明白文件里的数据能够说明什么。于是乎我们得以提出分析的目标,并开始思索如何能够实现我们的目的。例如,我们手里有一份某电商平台一年的营销数据,这份数据中包含了达成交易订单的用户ID、本次订单对应的商品数量、总价、时间,思考:我们可以利用这些数据得到哪些结论?——从时间维度:分析不同月份的营销额;从客户维度:分析回购率、复购率、新老用户比例。根据得出的结论,我们得以制定相应的策略来提高商家的盈利。
二、数据预处理:
提一嘴,在文件最开始导入包的时候输入 plt.rcParams['font.sans-serif'] = 'SimHei' 以让中文能够正常显示(IPython中如此)
首先读取文件,利用 pandas 根据不同文件类型选择不同的读取函数:
-
csv: pd.read_csv('name.csv', encoding='utf-8/GBK')
-
text: pd.read_table('name.txt', names=columns, sep='\s+') # names指定每一列数据的含义,sep是划分数据时的参考,\s+表示跳过任意多的空格
-
excel: pd.read_excel('name.xlsx')
接着进行数据的预处理:
-
对于出现NAN的行或列且需要删除的:data.dropna(axis=0, how='any', inplace=True) # 删除带有NAN的一整行数据,并修改原值
-
对于重复出现的行或列:data.drop_duplicates(axis=0, inplace=True) # 删除重复的行,并修改原值
-
对于无用的行或列:data.drop(columns='order_id', axis=1, inplace=True) # 删除 order_id 这一列
-
对于某些由于个别数值异常导致需要舍弃的行或列,进行再次赋值。例如我们需要舍弃销售金额为 0 的异常行:data = data[data['销售金额']!=0]
-
对于需要更新索引的数据:data.reset_index(drop=True, inplace=True) 把原来的索引index列删除,并更新index
-
对于需要改变类型的数据,例如把时间字符串变成 datetime 类型:data['销售时间'] = pd.to_datetime(data['销售时间'])
-
试图对某一行或列进行字符串层面的处理,首先需要确保该行或列的格式符合标准且统一:data['abc'].str.strip() # 转为string,并忽略首尾空格
-
对于单位不统一的数据:如下图
看到销售金额一列的单位有元也有万元,并且含有逗号,为了方便处理,我们将其格式化。
def data_deal(number):
if number.find('万元')!= -1:#找到带有万元的,取出数字,去掉逗号,转成float,*10000
number_new = float(number[:number.find('万元')].replace(',',''))*10000
else: # 找到带有元的并处理
number_new = float(number[:number.find('元')].replace(',',''))
return number_new
data['销售金额'] = data['销售金额'].map(data_deal)
这里我们使用到了 Series.map() 函数,该函数的作用与 apply 和 applymap 类似,接收一个函数或含有映射关系的字典型对象,区别如下:
-
apply:作用于dataframe的整行或整列
-
applymap:作用于dataframe的每一个元素
-
map:作用于series中的每一个元素,在df结构中无法使用map函数
下面我们试图通过 map 函数提取 '销售时间' 中的月份:
date['销售月份'] = date['销售时间'].map(lambda x:x.month)
此处使用到了 lambda 匿名函数,该用法等同于一般函数,但更加方便,当然也会更难理解。
Time:2023年7月13日23:22:21
三、数据分析
数据分析过程常常包括排序,统计最值、平均值、中值,对数据进行分组分层等,经常需要绘制图标进行数据可视化处理。下面就一些常见的代码进行总结归纳。
-
在数据分析时,我们经常需要对数据进行分组,此时需要使用 dateframe.groupby() 函数
-
查看数据信息时使用
data(),data.info(),data.describe() -
在对数据进行排序时,使用
values_sort(by='abc', ascending=False) -
stack() 将二维表转换为一维表,unstack() 将一维表转换为二维表
-
保留小数时,使用 round(data,2)
-
控制 datetime 的精度时,使用 astype('datetime64[M/D/Y]')
#M:month; D:day; Y:year -
统计累计占比时,使用 cumsum() 函数
-
制作透视表,使用 pivot_tabel() 函数
-
在计算时间差时,使用如下式的方法进行计算:
rfm['R'] = (rfm['order_date'].max()
- rfm['order_date'])/np.timedelta64(1,'D')
#np.timedelta64(1,'D')表示以一天作为单位长度
-
某一列的数值如果大于0,设为1,否则设为0:
level = x.apply(lambda x:'1' if x > 0 else '0')
-
以 value 填充所有的 NAN,使用 fillna(value)
四、数据可视化
常见的数据画图函数如下:
plt.figure(figsize=(12,4)) # 绘图大小
plt.subplot(a,b,c) # 绘图个数及分布
data.hist(bins=x) # 直方图
data.plot(kind='bar/line') # 柱状图/折线图
plt.xlabel('x')
plt.ylabel('y')
plt.legend('legend')
Time:2023年7月14日22:32:14