数据分析的全貌
一、分析数据的目的是什么?
- 及时发现异常
- 了解数据之间的因果关系
二、数据分析-观测
- 观察
- 采集数据:解析系统日志;埋点获取新数据;通过传感器采集;爬虫解析网站,解析数据;API制定规范文档,使用规范获取数据;
- 存储数据:使用各种类型的数据库,比如mysql;使用时连接数据库取数
- 展示数据:可视化高效传达信息,比如表格、各类图
- 测量
- 设定标准:先设定标准,根据标准判断数据是否异常。
- 发现异常:分析异常原因,解决异常,发现更多价值。
- 研究关系:可视化查看数据相关性,建模推导相关性
三、数据分析-实验
- 提出假设,然后验证假设。
- 设计A/B测试获取数据。
四、数据分析-应用
- 基于数据反馈,不断迭代产品和业务策略;
第一步明确业务目标,拆解目标,观测数据,设定标准,发现异常数据,思考异常原因,或拆解问题,提出假设,通过实验测试验证假设,得到解决方法,指定相关策略,实施策略,继续观测业务目标。(未经过数据验证的事实都是假设)
拆解目标法:
- 基本数据训练算法,让机器自动化地完成工作。
将数据应用于算法,为算法设定明确、合理的业务目标---提供高质量的实验数据---判断算法是否真的创造实际价值---帮助业务更好的使用算法。