数据分析常用工具

本文总结数据分析常用的软件，以及推荐相应的学习参考资料。

 

1. Excel

常用操作有函数、可视化、数据透视表、VBA。

函数

可视化

i.单元格

ii.静态图

iii.动态图

即带有控件(部分涉及VBA)，可以选择数据并动态展示结果的图表，如果要用Excel来做业务数据的Dashboard，动态图是很好的解决方案。

注：黄成明老师的《数据化管理》中的部分内容涉及如何用Excel建立业务运营工具。

数据透视表

Ctrl+A-->Alt-->D-->P-->F ——透视表“一条龙”操作应该是目前用到最多的快捷键组合了。

数据透视表是快速数据分析的不二之选，主要操作为分组计算，当然利用“切片”工具来动态展示数据也是可以的(数据透视表也可以用来做动态仪表盘)。

VBA

如果不想让一个重复的枯燥的动作重复几百上千次，那么VBA编程是一个比较好的解决方案，编程的目的主要在于自动化和定制化，VBA编程相对简单易学(甚至有的岗位就是专门开发VBA模块的)。

 

荐书：

谁说菜鸟不会数据分析，张文霖；

点评：数据分析入门不错的书，小蚊子老师的博客上也有蛮多干货的；

 

Excel疑难千寻千解(套装)；

点评：ExcelHome,ExcelTip两个论坛出的书质量都非常好，该套装基本是“行走江湖”必备，涉及函数、VBA、操作、数据透视表等；

 

Excel图表之道，刘万祥；

点评：最早是从博客上了解到刘老师(博客为“刘万祥ExcelPro”)，那时才发现Excel也可以做出非常高大上的商务图；

 

左手数据，右手图表，徐军泰；

点评：该书主要讲动态图，也就是可以有交互操作的图表，第一份工作的时候参考此书做了一个半自动化的Excel监控模板，受益颇多；

 

别怕，Excel VBA其实很简单，Excel Home；

点评：结构清晰，行文有趣，有编程基础的话，很容易读懂。

 

2. SQL

数据一般可分为3类：

• 结构化数据，e.g.平时见到的类似Excel表格那样的数据；
• 半结构化数据，存在父子节点的数据，e.g. XML, HTML, json格式的数据；
• 非结构化数据，e.g. 文本、图片、音频、视频等；

数据分析“直接”使用的数据大多数都为结构化数据，这些数据通常都存在数据库里(SQLServer, Mysql, Oracle, Hive等)，而要提取这些数据，SQL必不可少。

常见的SQL操作分为：

• 读，即select语句，可以分为select, from, where, group by 4个模块；
• 写，即create(新建), insert(插数), drop(删除)。

常见的数据类型有：

• 数值，e.g. int, bigint, bool, float, decimal等；
• 字符串，e.g. char, varchar, string等；
• 日期，e.g. date, datetime, timestamp等；

对应这3类数据类型的函数需要熟练掌握。

此外，还有两类必须掌握的函数：

1. 聚合函数，也称为“聚集函数”，常用的有：count, sum, avg, max, min, group by ；

2. 窗口函数，即对一组值进行操作(不需要使用到group by)，常见的函数有(此处以Hive举例):

• 计算：count|sum|avg|max|min over；
• 分区：partition by；
• 位置：lag, lead, first_value,  last_value等；
• 排序：row_number, rank, dense_rank, ntile；

e.g. 筛选用户最近的N单交易

row_number() over(partition by user_id order by create_time desc)

注：注意区分row_number, rank, dense_rank的差别

e.g.统计当日每小时累计交易金额

sum(orderamt) over(order byorder_hourrows between unbounded preceding and current row) 

更多可以参考

 

荐书：

• SQL必知必会，Ben Forta
• SQL沉思录
• SQL反模式

 

3. Python/R

Python和R不仅免费，还属于“平台模式”——来自世界各地的开发者都可以贡献自己开发的工具包。“平台模式”带来了大量的充满热情的用户，用户越多，软件的生命力就越强，发展也越快，这可以看作是软件生态的“人口红利”。

Python和R各有优缺点和相应的适用场景，数据分析(挖掘)90%以上的场景，两个软件都可以覆盖到，如果你已经在学其中一个，那就努力学好直至精通就行。

数据分析软件的学习框架都很相似，如下是个人总结的Python学习框架(仅供参考)。

注：更多可参考 编程学习建议

注：Python学习框架

入门资料推荐：

Python

• Python基础编程，Magnus Lie Hetland；
• 像计算机科学家一样思考Python，Allen B. Downey；
• 利用Python进行数据分析，Wes McKinney
• 官方文档，包括其他常用数据分析module的官方文档(很多教程就是根据官方文档改编过来的)；

R

• R语言实战，Robert I. Kabacoff
• Advanced R，Hadley Wickham
• Cran Task Views: https://cran.r-project.org/web/views/

注：更多关于R\Python的文章可以关注朋友Sim的公众号——”每天进步一点点2015“

 

4. SPSS

如果是业务人员要做数据分析，在编程上的要求就没有那么高，但又要做一些基础的分析，那么SPSS是需要学的。

荐书：

• SPSS统计分析基础教程，张文彤；
• SPSS统计分析高级教程，张文彤；
• IBM SPSS数据分析与挖掘实战案例精粹，张文彤，钟云飞；
  注：该书的内容编排、案例以及提供的参考资料都非常好，虽然是用SPSS实现，但分析思路仍很值得参考；
• Discovering Statistics Using IBM SPSS Statistics, Andy Field；
  注：作者的官网为 https://www.discoveringstatistics.com/，Discovering Statistics系列还有讲R和SAS的两本书，质量也应该不错。

 

5. 其他

SAS 医药、金融类应用场景较多，如果要批量统计或出报告，Macro和GTL两部分的内容要掌握好；

Matlab 和Mathematica、Maple并称为三大数学软件，常用于图像处理、信号检测、工程领域等，读研时分析fMRI图像大部分都是用Matlab操作，其开源替代方案是 Octave；

Stata 偏向经济计量，可以编程，也支持界面化操作，但是用着总有种“不伦不类”的感觉，界面化操作没有SPSS好用，编程的话又不如Python/R方便，而且使用场景相对来说比较小众。

 

学习建议

1. 工具宜少不宜多，本人曾学过不少软件(瞎折腾)，后来发现大部分学的都没用上(没有应用场景)。一般来说，Excel是面向小数据和简单的分析时用，SQL用来提数，Python/R则是遇到数据量较大或者模型更加复杂时用(不想编程可以选择SPSS)，如果是超大型数据，则要结合Hive, Spark, Storm等平台使用；

2. 带着问题去学，“学以致用”的方法之一是“输出倒逼输入”，问题是我们实际遇到的，也就不用担心学习之后找不到使用场景的问题。学习Excel的时候尤其印象深刻，从基本的数据格式到VBA都是我遇到问题后去学的，User Guide或者《入门到精通》类的书太厚了，没必要都看一遍；

3. 教材宜精不宜广，找一本经典教材，打好基础，构建知识框架(主干)，然后逐步“碎片化”的、以应用为导向地学支干的知识；

注：教材一般推荐人民邮电、电子工业、机械工业这3家出版社，如果要找英文电子书就上libgen；

4. 打好基础，再定方向，学习软件工具的时候要先把基础操作打好，层层递进，既要扎实又要有明确的方向。e.g.先学python的基础语法，然后再有针对性对选择学习和数据分析有关的工具包(pandas, scipy等)；

注：不要为了追求高大上的效果而好高骛远(层级越高用的场景可能就越少)，所谓“屠龙之术，学而无用”(更多可参考工具思维的陷阱)；

5. 整理自己的知识框架，以及重点、难点、易错点，有体系的知识利用效率更高且更容易记住。此外，当你和别人分享你的学习经验时，表达出来也更清晰、更有条理。

 

工具属于“器”，不要沉迷于工具的使用，更重要的是“道”——对算法的掌握(使用场景、优缺点等)、对业务的理解等。