摘要:
1、成为一名数据分析师需要具备哪些技能? 要成为一名数据分析师,需要掌握丰富的报告软件包(Business Objects),编程语言(XML,Javascript或ETL框架),数据库(SQL,SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计,数据模型,数据挖掘等方面的技术知识 阅读全文
摘要:
前段时间,老同学居然和我说她在学编程。当时我很不理解,她是市场专员,又不是程序员,为啥要学编程?直到上周,她请我吃饭,告诉我她调到了新项目组做主管。 “学编程不一定就是做程序员,我用python搜集竞品信息,对产品和服务做数据分析,毕竟知己知彼,百战不殆嘛。” 新职位给了她更大的职场可能,也获得了翻 阅读全文
摘要:
一、提出问题 你要么获取一批数据,然后根据它提问,或者先提问,然后根据问题收集数据。在这两种情况下,好的问题可以帮助你将精力集中在数据的相关部分,并帮助你得出有洞察力的分析。 二、理解数据 1、理解各字段的意思,如果有英文可修改成中文更易理解。 2、在数据清洗前复制一份保存,将CSV文件另存为xls 阅读全文
摘要:
为一名合格的数据分析师或者说一名称职的数据挖掘领域从业者,大家肯定都耳熟能详的认为其必须具有如下基本技能: ** 一、熟练的掌握SQL、Hive等; ** ** 二、R、SAS、Python等至少精通其中一种。 ** 但往往大家忽视了最基本的技能要求:使用Excle进行数据处理与数据分析的能力。大家 阅读全文
摘要:
众所周知,excel是一个强大的办公软件。作为一个统计学专业的学生,一提到数据分析,大家所用的都是python、C、R等语言,却忘了很多基本的工作完全可以在excel里面用更简单的操作完成,尤其是那些对编程头痛的小伙伴,这是一种福音,当然这些可能只是数据分析师的初级工作。这篇文章是在听了知乎上猴子的 阅读全文
摘要:
目录 一、常用技巧 二、数据收集、清洗技巧 三、常用公式 四、常用函数 五、数组 六、查找与引用函数 七、图表 八、数据透视表 九、交互式界面和组合框动态制作 十、录制宏 十一、Power BI(商业智能) (一)Power Query :#查询编辑器# (二)Power Pivot:#“超级”数据 阅读全文
摘要:
今天给大家分享的是在数据分析中很重要的一环,也就是描述统计。在百科的解释中,描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。在这三个部分当中,集中趋势主要是靠数据当中 阅读全文
摘要:
**1、组织数据 (需要处理每条数据开头和结尾的中括号) (1)创建Hive表weibo_json(json string),表只有一个字段,导入所有数据,并验证查询前5条数据 ** create table weibo_json(json string); load data local inpa 阅读全文
摘要:
Kaggle竞赛:泰坦尼克号灾难数据分 https://www.kaggle.com/c/titanic 目标确定 :根据已有数据预测未知旅客生死 数据准备 : 数据获取,载入训练集csv、测试集csv 数据清洗,补齐或抛弃缺失值,数据类型变换(字符串转数字) 数据重构,根据需要重新构造数据(重组数 阅读全文
摘要:
分析背景 某电信公司市场部为了预防用户流失,收集了已经打好流失标签的用户数据。现在要对流失用户情况进行分析,找出哪些用户可能会流失? 理解数据 采集数据 本数据集描述了电信用户是否流失以及其相关信息,共包含7043条数据,共21个字段,分别介绍如下: customerID : 用户ID。 gende 阅读全文
摘要:
一、MapReduce第一讲WordCount(单词计数) 在这里小编做一下简介:MapReduce计算框架。 MapReduce是面向大数据并行处理的计算模型、框架和平台,它隐含了以下三层含义: 1)MapReduce是一个基于集群的高性能并行计算平台(Cluster Infrastructure 阅读全文