LXR | KVM | PM | Time | Interrupt | Systems Performance | Bootup Optimization

数据分析之---Python可视化工具

1. 数据分析基本流程

作为非专业的数据分析人员,在平时的工作中也会遇到一些任务:需要对大量进行分析,然后得出结果,解决问题。

所以了解基本的数据分析流程,数据分析手段对于提高工作效率还是非常有帮助的。

首先都是存在一个要解决的问题,主要问题和预期分析目标,简单来讲就是对问题进行定义。

然后才是开始收集数据、数据清洗、数据建模、数据展现、优化和重复,最后是报告撰写。

1. 明确分析目的和思路:在进行数据分析之前,首先考虑的应该是“为什么要展开数据分析?我要解决什么问题?从哪些角度分析数据才系统?用哪个分析方法最有效?”,而不是“这此分析需要出多少页报告?打算用高级分析算法试试…”这样的思维方式。只有明确了分析目的和思路,数据分析的方向才不会跑偏,才能得出有意义的结论。
2. 数据收集:明确了分析目的,接下来就是开工收集数据了。数据来源有很多,但是确保数据可信度等很重要。
3. 数据处理:包括数据清洗、转换、分组等处理方法。我们拿到的数据,通常情况下是不可直接使用的,比如数据有丢失、重复、有录入错误或存在多余维度等情况。只有经过处理后的数据才可以使用。提高数据质量,定义分析需要的数据结构。
4.数据分析:在明确分析思路的前提下,选用适合的分析方法对处理后的数据进行分析。创建不同数据模型,然后不停的优化和重复。
5.数据展现:将分析结果用图表来展现。所以数据展现阶段,你需要思考“采用这个图表,能否清晰的表达出分析结果?我想表达的观点是否完全展示出来了?这是本文重点关注的点。
6.报告撰写:将数据分析的整个过程和结果,以书面的形式向他人说明。需要将分析目的、数据来源、分析过程、分析结论和建议等内容展现在报告中。

1.1 常用统计方法

 除了可视化展示数据分析结果,一些统计描述也很有必要。因此,罗列一些简单的统计性描述概念。

使用Numpy

平均值、最大值、最小值、求和

标准误差:表示样本平均数和总体平均数的变异程度,可以用来反映结果精密度。

标准差(均方差):计算一组数据偏离均值的平均幅度,不管这组数据是样本数据还是总体数据

方差:在概率论和统计方差衡量随机变量或一组数据时离散程度的度量

中位数:对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。

众数:在统计分布上具有明显集中趋势点的数值,代表数据的一般水平(众数可以不存在或多于一个)

import numpy as np
from scipy.stats import mode

array = np.array([1, 3, 4, 23, 565, 1, -8, 123, 111, 54, 45.0, 3, 3])

print '求和:', array.sum()
print '最大值:', array.max()
print '最小值:', array.min()
print '条数:', array.size
print '标准差:', array.std()---------------偏离平均值的幅度
print '平均值:', array.mean()
print '中位数:', np.median(array)
print '方差:', np.var(array)---------------这组数据离散程度
print '众数:', mode(array).mode, mode(array).count

 

结果如下:

求和: 928.0
最大值: 565.0
最小值: -8.0
条数: 13
标准差: 148.326323439
平均值: 71.3846153846
中位数: 4.0
方差: 22000.6982249
众数: [ 3.] [3]

 

 

关于NumPy和SciPy常用统计方法,参考《使用Python进行描述性统计》。

1.2 常用图表

题外话《如何快速成为数据分析师?》,是一个不错的科普。包括数据可视化、分析思维训练、数据库学习、统计知识、数据分析常用语言Python/R,以及业务也即需要分析的对象学习。

 

数据可视化是分析数据的优秀工具,好的可视化是会讲故事的。

下面这张图来源于:《数据可视化:你想知道的经典图表全在这》。他根据你想要展示的内容进行划分,只要对你的展示内容分门别类就可以找到合适的图表。

维度:数据分析本质是各种维度的组合,维度可以用时间、数值、文本等表示。

数据通常包含五种关系:构成、比较、趋势、分布及联系。

参照:《如何选择正确的图表类型

构成:关注每个部分所占整体的百分比,适用饼图。

比较:展示事物的排列顺序,首选条图。

趋势:常见的时间序列关系,适用线图能更好的展示变化。

分布:关心各数值范围包含多少项目,适用柱图。

联系:查看两个变量之间关系,适用气泡图。

2. Python可视化

Python可视化工具繁多,但没有一个能覆盖所有需求。所以需要针对需求,决定使用那些工具更合适。

Overview of Python Visualization Tools》对Python下的可视化工具进行了介绍和对比,包括matplotlib、Pandas、Seaborn、ggplot、Bokeh、pygal、Plotly。

下面重点了解一下matplotlib、Pandas和Bokeh。

2.1 matplotlib

根据上图《如何选择图表的类型?》,将各种图表在matplotlib中对应函数列出。

2.1.1 趋势

线图(很多日期) & 多线图(多种分类)

#API: http://matplotlib.org/api/pyplot_api.html#matplotlib.pyplot.plot
import matplotlib.pyplot as plt import numpy as np import pandas as pd fig, ax = plt.subplots() plt.subplot(4, 1, 1) data = pd.DataFrame(np.random.randn(1000, 4), columns=['x', 'y', 'z', 't']) index = range(len(data)) plt.plot(index, data['x'].cumsum(), label='xxx') plt.subplot(4, 1, 2) plt.plot(index, data.loc[:, ['x', 'y']].cumsum()) plt.subplot(4, 1, 3) plt.plot(index, data.loc[:, ['x', 'y', 'z']].cumsum()) plt.subplot(4, 1, 4) plt.plot(index, data.cumsum()) fig.set_size_inches(40, 32) plt.show()

 

 

柱图(少数分类)

#API: http://matplotlib.org/api/pyplot_api.html#matplotlib.pyplot.bar
import matplotlib.pyplot as plt import pandas as pd import numpy as np opacity = 0.8 data = pd.DataFrame(np.random.rand(10, 4), columns=['a', 'b', 'c', 'd']) fig, ax = plt.subplots() index = range(len(data)) plt.subplot(4, 1, 1) plt.bar(index, data['a']) plt.subplot(4, 1, 2) plt.bar(index, data['a'], alpha=opacity, width=0.2) plt.bar([i+0.2 for i in index], data['b'], alpha=opacity, width=0.2) plt.bar([i+0.4 for i in index], data['c'], alpha=opacity, width=0.2) plt.bar([i+0.6 for i in index], data['d'], alpha=opacity, width=0.2) fig.set_size_inches(40, 32) plt.xticks(index, list('thisisabar')) plt.show()

 

 

 

2.1.2 比较

表格(许多项目)

import matplotlib.pyplot as plt
import numpy as np

col_labels = ['col1', 'col2', 'col3']
row_labels = ['row1', 'row2', 'row3']
row_colors = ['red', 'gold', 'green']

table_vals = np.random.randn(3, 3)


fig, ax = plt.subplots()
my_table = ax.table(cellText = table_vals,
                    colWidths = [0.5]*3,
                    rowLabels=row_labels,
                    colLabels=col_labels,
                    rowColours=row_colors,
                    colColours=row_colors,
                    loc='center',
                    animated = True)
#ax.xaxis.set_visible(False)
#ax.yaxis.set_visible(False)
ax.axis('off')
fig.set_size_inches(10, 10)
plt.show()

 

条图(一种分类)

堆叠条图(2种以上分类)

2.1.3 联系

散点图(2维) & 气泡图(3维)

散点图和气泡图的区别就在于气泡图多了一维数据,是散点具备了不同的半径。

#API: http://matplotlib.org/api/pyplot_api.html#matplotlib.pyplot.scatter

import matplotlib.pyplot as plt import numpy as np import pandas as pd N = 100 fig, ax = plt.subplots() data = pd.DataFrame(np.random.rand(N, 3)*100, columns=['x', 'y', 'r']) data['r'] = np.pi*(np.pi*data['r']/20)**2 #s is area colors = 2*np.pi*data['x'] #colors is value of circumference plt.subplot(3, 1, 1) plt.scatter(data['x'], data['y'], c=colors, s=np.pi*5**2) plt.subplot(3, 1, 2) plt.scatter(data['x'], data['y'], c=colors, s=data['r']) fig.set_size_inches(10, 30) plt.show()

 

 

雷达图(多维)

2.1.4 构成

100%堆积柱图(相对差异)

堆叠柱图(绝对差异)

堆积百分比面积图(相对差异)

堆积面积图(相对绝对差异)

饼图(占整体比例)

#API Introduction: http://matplotlib.org/api/pyplot_api.html#matplotlib.pyplot.pie

import matplotlib.pyplot as plt

labels = 'A', 'B', 'C', 'D', 'E', 'F', 'G'
sizes = [20, 45, 68, 98, 60, 28, 99]
explode = (0, 0.1, 0, 0, 0, 0, 0)

fig, ax = plt.subplots()
ax.pie(sizes, explode=explode, labels=labels, autopct='%.2f%%', shadow=True, startangle=90)
fig.set_size_inches(8, 8)
plt.show()

 

 

漏斗图(次序部分与整体)

金字塔图(次序部分与整体)

2.1.5 分布/地理

地图(地理分布)

柱图(1维)

散点图(2维)

气泡图(3维)

曲面图(3维)

 

2.1.6 其他

极坐标图

有三种:线状极坐标图/柱状极坐标图/气泡极坐标。

import matplotlib.pyplot as plt
import matplotlib
import numpy as np
import pandas as pd

fig, ax = plt.subplots()

ax = plt.subplot(111, projection='polar')

r = np.arange(0, 2, 0.01)
theta = 2*np.pi*r
plt.plot(theta, r)
ax.set_rmax(2)
ax.set_rticks(np.arange(0, 2, 0.5))
ax.set_rlabel_position(-22.5)
ax.grid(True)

fig.set_size_inches(10, 10)
plt.show()
import numpy as np
import matplotlib.pyplot as plt

# Compute pie slices
N = 20
fig, ax = plt.subplots()
theta = np.linspace(0.0, 2 * np.pi, N, endpoint=False)
radii = 10 * np.random.rand(N)
width = np.pi / 4 * np.random.rand(N)

ax = plt.subplot(111, projection='polar')
bars = ax.bar(theta, radii, width=width, bottom=0.0)

# Use custom colors and opacity
for r, bar in zip(radii, bars):
    bar.set_facecolor(plt.cm.viridis(r / 10.))
    bar.set_alpha(0.5)

fig.set_size_inches(10 , 10)
plt.show()

 

import matplotlib.pyplot as plt
import numpy as np


# Compute areas and colors
N = 150

fig, ax = plt.subplots()
r = 2 * np.random.rand(N)
theta = 2 * np.pi * np.random.rand(N)
area = 200 * r**2
colors = theta

ax = plt.subplot(111, projection='polar')
c = ax.scatter(theta, r, c=colors, s=area, cmap='hsv', alpha=0.75)

fig.set_size_inches(10, 10)
plt.show()

 

 

 

2.2 Bokeh

Bokeh的官方文档Bokeh源码

2.3 Pandas

 pandas基于NumPy的一种Python工具包,主要是为了解决数据分析任务而创建。

Pandas提供了大量库和标准数据模型,高效地操作大型数据集所需的工具。Pandas主要包括三种数据结构:

Series,一维数组,与NumPy中的一维array类似。TimeSeries,以时间为索引的Series。

DataFrame,二维表格型数据结构,可以将DataFrame理解为Series的容器。

Panel,三维数组,可以理解为DataFrame的容器。

关于Pandas有一个简要的入门《10 Minutes to pandas》,主要包括创建pandas数据,查看数据,对数据操作(统计等),Merge/Grouping/Reshaping/Time Series/Categoricals/Plotting,以及数据的I/O接口。

更详细的入门在《Tutorials》。

可视化相关内容在《Virtualization》,pandas的可视化基于matplotlib,包括基本plot/Bar/Histograms/Box/Area/Scatter/Hexagonal Bin/Pie。

API Reference》提供了所有pandas的objects/functions/methods的介绍,在这里可以获取每个函数的使用方法。

还有很多对plot设置的Plot Formatting以及附加的Plotting工具。

pandas_test中对pandas基本数据处理和可视化进行了简单测试。

2.3.1 pandas数据构造

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


s = pd.Series([1, 3, 5, np.nan, 6, 8]) #一维数据构造
s_list = s.tolist() #从series到list
s_series = pd.Series(s_list) #从list到series

print '\nSeries:\n', s
print '\nSeries item:\n', s[2]
print '\nSeries to list:\n', s_list
print '\nList to series:\n', s_series

dates = pd.date_range('20171001', periods=7)

#二维数据构造
df = pd.DataFrame(np.random.randn(7, 4)*100, index=dates, columns=list('ABCD'), dtype='uint32')
df_list = np.array(df).tolist()
df_dataframe = pd.DataFrame(df_list, columns=['a', 'b', 'c', 'd'])
df_list.extend
print '\nDataFrame:\n', df
print '\nDataFrame to list:\n', df_list
print '\nList to DataFrame:\n',df_dataframe
print '\nDataFrame row:\n', df_dataframe.iloc[3]
print '\nDataFrame column:\n', df_dataframe['d']

print '\nHex format:'
for i in range(len(df_dataframe)):
    print '0x%0.8x, 0x%0.8x, 0x%0.8x, 0x%0.8x' % (df_dataframe.iloc[i]['a'],
                 df_dataframe.iloc[i]['b'],
                 df_dataframe.iloc[i]['c'],
                 df_dataframe.iloc[i]['d'])


'''
print 'head\n', df.head(3)
print 'tail\n', df.tail(3)
print 'index\n', df.index
print 'columns\n', df.columns
print 'values\n', df.values
print 'sort_index\n', df.sort_index(axis=1, ascending=False)
print 'sort_values\n', df.sort_values(by='B', ascending=False)
print df['C']
print df[0:3]
'''
#二维数据构造
df2 = pd.DataFrame({'A':1.,
                   'B':pd.Timestamp('20130102'),
                   'C':pd.Series(1, index=list(range(4)), dtype='float32'),
                   'D':np.array([3]*4, dtype='int32'),
                   'E':pd.Categorical(['test', 'train', 'test', 'train']),
                   'F':'foo'})

 

2.3.2 pandas可视化图表

可视化图表主要有基本plot/bar/histograms/box/area/scatter/hexagonal/pie。

准备好数据,使用起来都非常简单,xxx.plot()/xxx.plot.bar()/xxx.plot.pie()形式。

 

posted on 2017-09-19 20:39  ArnoldLu  阅读(28851)  评论(0编辑  收藏  举报

导航