mthoutai

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

数据分析最重要的可能并非你熟悉的编程工具、分析软件。或者统计学知识,而是清楚你所使用的统计知识(统计学、计量、时间序列、非參数等等)背后的原理、如果及其局限性,知道各种数据分析工具(比如数据挖掘)能带来什么,不能带来什么,看到一组统计检验的结果你能言说什么,不能言说什么。

这一切的背后,须要一套完整的「科学」逻辑框架,让你了解自己手中的工具的本质。你才干从数据中「正确地」发现有效的信息,而不是胡乱地使用一大堆自己都搞不清楚的工具来堆砌分析结果,这样得到分析结果不仅无用,并且有害。

知道了这些后,希望成长为「数据分析师」,就须要着手训练自己的能力和洞察力。既然是「数据分析师」,那就分别从「数据」和「分析」双方面入手。

「数据」当然包括了数据收集、处理、可视化等内容,每一个环节对于最后的结果都有关键性的影响。

当中涉及的技术性内容仅仅是一部分而已,更重要的是你要理解数据收集(是否存在採样偏差?怎样纠正或者改进?)、处理(是否有漏洞或异常情况没有考虑?)背后的逻辑。

比如:假设分析股票数据用于设计交易策略,那么你不仅须要明确数据处理本身的问题,还要清楚金融市场的基本知识。比如,使用股票价格时,究竟要用收盘价。还是复权价;复权价的话要用前复权价还是后复权价。这些选择与数据分析没有太大的关系,纯粹决定于你分析的目的是什么。因此你要充分了解这些概念背后的逻辑、动机是什么。才干正确地依据自己的目的作出选择。

数据可视化很多其它的是一门艺术:怎样把信息以最恰当的方式呈现给希望获得这些信息的人。

首先,你要充分理解这些信息到底是什么。有什么特点。你才干较为恰当的选择採用的可视化工具。

另外一部分就是「分析」。当然就是各种分析模型,还是须要了解这些模型背后的逻辑。要放到整个项目的上下文中去看,而不是单纯地在模型中看。

总而言之,「理解」数据以及当中的信息是很重要的,这决定了你的分析和呈现的方法是否合适,决定了最后的结论是否可靠。

如今能够回答题主的问题了:成长为一个数据分析师,要注意「理解」你的知识,形成一个系统,而不是像机器人一样机械地胡乱套用模型。在这个理念下训练你的编程能力,了解你所分析对象的原理和尽可能多的细节。在这个基础上,才干谈数据分析。

想从事大数据工作,怎样自学打基础

本文将介绍几本书籍,供各位想从事大数据、海量数据处理相关的工作的同学学习。


大数据

海量数据分成两块,一是系统建设技术。二,海量数据应用。

先说系统建设,如今主流的技术是HADOOP。主要基于mapreduce的分布式框架。眼下能够先学习这个。

可是我的观点,在分布式系统出来之前。主要是集中式架构。如DB2,oracle。为什么如今用分布式架构,那是由于如今集中式架构受限于IO性能,出来速度慢,假设又一种硬件技术,能够非常快地处理海量数据。性能上能满足需求,那么集中式架构优于分布式架构,由于集中式架构稳定。运维压力小。如今的集中式架构要么性能达不到要求。要么就是过于昂贵。我期待一种技术出现,能够非常快地传输和处理数据。那么集中式架构将再次进入人们眼球。再说海量数据应用。

海量数据应用主要是数据挖掘和机器算法

详细有不同的应用场景,如个性化搜索和推荐,社交网络发现,精准营销,精准广告。实时最优路径,人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。

假设如今学系统建设技术,能够读下例如以下书籍:

系统建设技术书籍

假设学数据挖掘和机器算法,推荐先看数据挖掘导论,统计分析原理,Mahout,R,MATLAB



posted on 2017-05-22 19:10  mthoutai  阅读(310)  评论(0编辑  收藏  举报