大数据项目开发进度（实时更新）

文章目录

• 前言
• 项目概述
• 项目进度
• 第一周0525-0529：
• 第二周0601-0605：
• 第三周0608-0612：

前言

如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏
大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。
专栏：大数据案例实战——大三春招大数据开发
专栏：Spark官方文档解读【Spark2.4.5中英双语】
博客地址：子浩的博客https://blog.csdn.net/weixin_43124279

欢迎大家关注微信公众号【程序猿干货铺】
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，分享的都是技术干货。Talk is cheap. Show me the code

项目概述

我们采用迭代式开发的软件开发过程

项目进度

第一周0525-0529：

确定项目题目和项目数据来源
题目：数据分析运营系统
数据来源：易头条的部分埋点日志文件+（如果我们后续需要海量数据，我们就写个程序来生成模拟数据）

第二周0601-0605：

0601：分析需求¹
系统前端展示参考：友盟
0602：编写版本一的软件需求规格说明文档（SRS）（张志浩）
《v1软件需求规格说明文档（SRS）》
0603：进行系统架构设计（非细节设计阶段）、安装环境²
0604：继续安装环境²、编写版本一的架构设计文档（赵磊）
《v1架构设计文档》
0605：设计系统界面，搞清楚前端图表（echarts）所需要的数据格式以便我们去设计数据库和hive

王阔：存留分析、终端属性分析
赵磊：整体趋势、用户分析
张志浩：渠道分析、用户参与度分析

第三周0608-0612：

0608：继续设计系统界面原型，搞清楚前端图表（echarts）所需要的数据格式以便我们去设计数据库和hive

---

1. 《v1数据分析运营系统的需求分析》
   1.整体趋势：
   基础统计数值：包括7日平均新增用户、活跃用户等，一周内、一个月内的统计量总数，总用户数。
   指定时间区间内（默认30天内每日）：
   新增用户、活跃用户、启动次数、累计用户
   折线图，明细数据列表
   Top版本环形图：新增用户、活跃用户、累计用户每个版本占比
   Top渠道环形图：新增用户、活跃用户、累计用户每个渠道占比
   2.用户分析：
   a.新增用户：
   指定时间段、指定渠道和版本，每日新增用户折线图、明细数据表格
   次日存留率折线图、明细
   b.活跃用户：
   指定时间段、指定渠道和版本下，
   活跃趋势、活跃构成、活跃粘度、分时活跃用户、周，月活跃度
   c.启动次数：
   指定时间段、指定渠道和版本下，每（小时、天、周、月）的启动次数
   d.版本分布：
   指定时间段、版本下， 每天新增用户、活跃用户、启动次数折线图
   今日、昨日截至今日版本累计用户(%)，新增用户，活跃用户(%)，启动次数
   3.留存分析：
   a.留存用户
   指定时间段、指定渠道和版本下，每一个时间段（天、周、月）新用户和活跃用户数在接下来一段时间（天、周、月）的留存数/留存率，以表格形式和折线形式呈现。
   b.用户新鲜度：
   报表展示每天活跃用户的成分构成，并提供用户成分分析控件做进一步的分析。某日的活跃用户来源于当天新增用户、1天前新增用户…30天前新增用户、30+天前新增用户。
   c.用户活跃度：
   报表展现每个天级时间点的当日活跃用户的活跃程度。
   4.渠道分析：
   a.渠道列表：
   指定时间段、指定版本，各渠道新增用户、活跃用户、启动次数
   5.用户参与度
   a.使用时长：
   指定某一天、指定渠道和版本下，单次使用时长分布柱形图，明细表格。
   该天每个活跃用户使用时长分布柱形图、明细表格。
   b.使用频率：
   指定日期，指定版本、渠道，当日、上周、上个月使用次数分布柱形图，明细表格。
   c.访问页面：
   指定时间段（一天、一周、一个月）、指定渠道和版本下，访问页面分布柱形图，明细表格。
   d.使用间隔：
   查看任意30天内用户相邻两次启动间隔的分布情况，并可以进行版本、渠道及分群的筛选。以柱形图、明细表格形式展示。
   6.终端属性：
   a.设备终端：
   指定时间段（一天、一周、一个月）、指定渠道和版本下 ，top10机型、分辨率、操作系统的新增用户/启动次数柱状图、明细表格。
   b.网络及运营商：
   指定时间段（一天、一周、一个月）、指定渠道和版本下 ，各种联网方式的新增用户/启动次数柱状图、明细表格。
   c. 地域：
   指定时间段（一天、一周、一个月）、指定渠道和版本下 ，各省市的新增用户/活跃用户/启动次数柱状图（top10省）、明细表格（省市）。 ↩︎

2. 所需安装环境为：

   1. jdk1.8.0_151、
   2. mysql-5.7.28、
   3. hadoop-3.0.0、
   4. flume-1.9.0、
   5. azkaban-3.90.0
   6. zookeeper-3.6.1、
   7. hive-3.1.2、
   8. spark-3.0.0
   9. kafka-2.4.1、
   10. （hbase-2.2.5、solar-8.5.2这两个是atlas安装的前置）
   11. atlas-2.0.0、
   12. sqoop-1.99.7

   每个环境的作用：
   数据采集传输：

   • Flume：分布式日志数据汇聚
   • Kafka：实时采集（计算）的缓冲
   • Sqoop：离线批量抽取数据库

   数据存储：

   • Mysql
   • HDFS

   数据计算：

   • Spark

   数据可视化：

   • Echarts

   job任务调度：

   • Azkaban

   元数据管理：

   • Atlas
   ↩︎ ↩︎