10/20
今日考题
1.说说你所知道的统计学图形及各自擅长点
饼图
用于查看数据占比
条形图
用于数据之间直观比较
直方图
用于查看数据分布特性
散点图
用于观察两个数据之间联系
气泡图
基于散点图的数据上有了第三个参数的情况
折线图
对于时间变化 用折线图能展示数据变化趋势
热力图
展示两个参数组合之后对另一个参数的影响关系
箱线图
比起直方图更专业的体现出数据的分布 还能捕获出异常值
2.针对图形可视化都有哪些实现方式
1.matplotlib
2.seaborn
3.highcharts
4.echarts # 比较重点
pyecharts # 可以通过python代码直接调用
5.ds.js
3.简述数据分析三剑客各自功能
# numpy
进行科学计算 所有和数字打交道的活基本都是他来做
# pandas
有Series和DataFrame两大得力数据结构
Series类似带索引的一维数组
DataFrame相当于Series的组合
最大的作用就是操作表格
这里操作包括制作 生成 查看 透视 读取 等等
# matplotlib
可视化模块
配合前面的pandas可以将表数据转化成你想要的图案
复习巩固
- 水平条形图
- 交叉条形图
- 直方图
- 箱线图
- 散点图和气泡图
- 热力图
- 组合图
内容概要
- 数据清洗
在数据分析之前对数据进行各项处理以达到分析的要求
- 概念
- 实操
详细讲解
什么是数据清洗
数据清洗是从记录表、表格、数据库中检测、纠正、或删除不准确记录的过程
# 简单来说 数据清洗就是把'脏数据'变成'干净数据'
脏数据:残缺数据 错误数据 重复数据 不合规的数据...
干净数据:可以直接带入模型的数据
数据清洗流程
通俗来理解可以将整个流程当成是在做菜
# 第一步明确需求
我要做麻辣香锅
# 第二步收集采集
去菜场买蔬菜干货海鲜肉等等
# 第三步数据清洗
菜买回来得洗菜 切菜 配菜
# 第四步数据分析
下锅炒菜
# 第五步数据报告+可视化
拍照发朋友圈
常见方法
# 1.读取外部数据
read_csv read_excel read_sql read_html
# 2.数据探索与描述(概览)
index columns head tail shape desceibe dtypes info
# 3.数据简单处理
移除首尾空格 大小写转换...
# 4.重复值的处理
duplicated() 查看是否有重复数据
drop_duplicates() 删除重复数据
# 5.缺失值处理
就4个方法 然后删除异常值 或者 填充缺失值
# 6.异常值处理
删除异常值 修正异常值
# 7.文本字符串处理
正则筛选 切割 切片取值
# 8.时间格式序列处理
Y m d H M S 年月日时分秒
'''3到8没有固定顺序 按照你的喜好擅长来都行'''
旅游数据清洗案例(重头戏后面都围绕这个来)
数据概览
拿到大量数据之后可以先做一个宏观把控 稍微看一眼数据能够有个大概的概念
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv(r'qunar_freetrip.csv')
# 1.查看前五条数据 掌握大概
df.head()
# 2.查看表的行列总数
df.shape
# 3.查看所有的列字段
df.columns # 发现列字段有一些是有空格的
# 4.查看数据整体信息
df.info() # 发现去程时间和回程时间是字符串类型需要做日期类型转换
这个方法非常好用 基本所有整体信息都在里面了
# 5.快速统计
df.describe()
# 查看一下表头
df.columns
重复值处理
其实不管有没有重复值都可以直接走一遍下面的程序
df.drop_duplicates(inplace=True) # 删除重复项
df.duplicated() # 再看一眼确认删除了
# 但是现在的索引有点小问题 因为数据删除之后数据是不会改变的
df.index
# 按顺序改一下索引 可以通过创建新索引再删除旧索引
data.reset_index(inplace=True)
data.drop(columns=['index'],inplace=True)
# 也可以直接修改原来的索引
df.index = range(0,df.shape[0])
重复值小补充
"""MySQL中如何快速判断某列是否含有重复的数据"""
# 思路:就是统计某个字段下数据的个数 在利用去重操作 两者结合判断
select count(name) from userinfo;
select count(distinct(name)) from userinfo;
# 如果两者数字相同表示name列没有重复的数据
# 不同则表示含有重复的数据
列字段处理
'''字段首尾有空格 很容易忽略导致无法排错'''
new_columns = [] # 把就表头变成空字符串
for col in data.columns: # for循环拿到每一个列字段名词之后 使用strip()方法移除首尾空格即可
new_columns.append(col.strip()) # 列表插入元素 即一一插入表头
# 上述代码用列表生成式可以精简成一行
data.columns = [col.strip() for col in data.columns] # 直接将新列表赋值给旧列表的列标签(也就是表头)
异常值处理
# 利用快速统计筛选一下大致看一眼
df.describe() # 价格小于节省 那么可能是价格有问题或者节省有问题
# 这里就要借助数学公式来看看我们的猜想
"""
公式计算:(列数据 - 列数据均值)/列数据标准差
绝对值(不考虑正负号):abs()
"""
error_num = (df['价格'] - df['价格'].mean()) / df['价格'].std()
# 结果里面有负的所以要加上关键字abs取绝对值
error_num = abs(df['价格'] - df['价格'].mean()) / df['价格'].std()
df[error_num > 3] # 通过索引找到有问题的数据
用同样的方法找到节省有异常的数据
error_num1 = abs(df['节省'] - df['节省'].mean()) / df['节省'].std()
df[abs(error_num1) > 3]
'''但是这种情况很可能是什么促销活动所以就先不删'''
# 然后再简单粗暴的找到节省大于价格的数据
df[df['节省'] > df['价格']]
然后把所有有问题的数据 即价格有问题还有节省大于价格的合并
res = pd.concat([df[df['节省'] > df['价格']] , df[error_num > 3]])
res.index # 现在这个索引就是所有有问题的索引了只需要直接删掉就行
df.drop(res.index,inplace=True) # 然后删除索引对应的字段就行了
'''小技巧: 怎么知道删除成功了呢
再运行一遍看报错提示就行了'''
删除无用列字段
现在表里面有个部分没有用的 和索引一样的部分
放着碍眼就删了把
df.drop(columns='Unnamed: 0',inplace=True) # 下图是没加inplace参数的
出发地缺失
df.isnull().sum() # 先整体看一下都有哪些数据缺失
# 然后再通过布尔值索引筛选出出发地有缺失的数据
df[df.出发地.isnull()]
# 虽然出发地的数据没有 但是在路线里是有的 可以想办法取出
df.loc[df.出发地.isnull(),'路线名'].values # 先拿到字符
和前面一样通过列表生成式
df.loc[df.出发地.isnull(),'出发地'] = [i.split('-')[0] for i in df.loc[df.出发地.isnull(),'路线名'].values]
# 这样就直接把列表替换上了
df.loc[df.出发地.isnull(),'路线名'].values # 再走一遍这个代码看看是否成功
'''处理要点小计'''
################################
# 操作数据的列字段需要使用loc方法
################################
# 针对缺失值的处理
# 1.采用数学公式依据其他数据填充
# 2.缺失值可能在其他单元格中含有
# 3.如果缺失值数量很小很小可删除
目的地缺失值处理
'''这不就和上面出发地一样一样的 就文本筛选稍微复杂一点'''
df.loc[df.目的地.isnull(),'路线名'].values # 拿到缺失数据的路线名中数据
# 文本筛选的时候总有个办法考虑 那就是正则
import re
# 用正则这个也不难筛选了
[re.findall('-(.*?)\d',i) for i in df.loc[df.目的地.isnull(),'路线名'].values]
df.loc[df.目的地.isnull(),'目的地'] = [re.findall('-(.*?)\d',i)[0] for i in df.loc[df.目的地.isnull(),'路线名'].values]
# 将结果传入原本空的位置即可
数字类缺失值处理
这个老熟人了呀
# 首先计算一下缺失的数据占比
df.isnull().sum()/df.shape[0]
经过我们不屑的努力现在只剩数字类的有缺失了
# 这里就不得不再提一嘴关于数据缺失的方法
"""
1.占比过小可以直接删除
2.利用均值、统一值直接填充
3.根据不同的情况采用不同的计算公式填充
常用的四个方法
isnull
notnull
fillna
dropna
保留几位小数
round(数据,保留位数)
"""
接下来我们筛选一下缺失数据
df['价格'].mean() # 计算价格平均值
round(df['价格'].mean(),1) # 将平均值四舍五入
df['价格'].fillna(round(df['价格'].mean(),1),inplace=True) # 将结果填充 前两步合进来
# 同理节省数据也用填充掉 这次用中位数
df['节省'].fillna(round(df['节省'].mean(),1),inplace=True)
df.isnull().sum() # 然后来验证
新增列并填充
酒店类型
# 先把酒店类型变成列表筛选出来
[re.findall(' (.*?) ',i) for i in df['酒店'].values] # 列表生成式配合正则
# 然后加入新列表
df['酒店类型']=[re.findall(' (.*?) ',i) for i in df['酒店'].values]
'''原本就像试一下没想到一次性就成了'''
酒店评分
# 那不是跟简单 还是先筛选出要的字段改改就行了
[re.findall(' (\d.\d)分',i) for i in df['酒店'].values]
# 括号里面限定好数字加上括号简简单单直接搞定 不放心后面还加了个
# 这里用新办法
df.insert(6,'酒店评分',[re.findall(' (\d.\d)分',i) for i in df['酒店'].values])
游玩时间
# 前两个做了这个就一通百通了 直接筛选所需内容
[re.findall('\d天\d晚',i) for i in df['路线名'].values]
# 然后也插入新列就好了
df.insert(4,'游玩时间',[re.findall('\d天\d晚',i) for i in df['路线名'].values])
