【实战篇】大数据实时数仓项目从架构设计到落地实施

注:由于文章篇幅有限,获取资料可直接扫二维码,更有深受好评的大数据实战精英+架构师好课你。

大数据技术交流QQ群:207540827


速点链接加入高手战队:http://www.dajiangtai.com/course/112.do

项目概述

某电商平台拟对电商网站的各种行为数据进行分析(业务过程包括访问、浏览、购买、支付等),辅助产品经理和管理人员了解产品现有情况,并持续改进产品设计,制定和调整公司战略目标,进而达到提升公司业绩的目标。

业务数据库和上报到服务器的埋点日志数据会经过数据采集、清洗、存储、分析、可视化这一完整流程,通过对海量用户行为数据的分析,可以帮助电商网站找到网站的优化思路,从而在海量用户数据的基础上对网站进行改进和完善。

项目需求分析

用户session统计

用户在电商网站上有很多行为,每一次行为操作称之为一个action,本项目中我们关注如下四种用户行为:

1)点击

2)搜索

3)下单(购买)

4)支付

session就是某个时间某个用户从进入网站开始,做了大量的操作(多个action),最后离开/关闭浏览器/不过任何动作导致超时的过程。该需求主要是对session进行统计,包括:1)session聚合指标

2)按时间随机抽取session

3)按天统计点击、下单、购买top 10品类

4)top10品类中排名前10的session

区域热门商品统计

按天统计出各个区域top 3热门商品。主要帮助管理者了解不同区域商品的整体情况,从而对商品相关战略调整提供依据。可基于Hive或者Flink SQL实现。

广告流量实时统计

电商网站/app一般会接入第三方广告平台,这也是电商平台的核心收入来源之一。广告招商完成后,广告主的广告会在网站/app的某些广告位上发布,用户访问网站/app会曝光该广告,用户可能会点击改广告。电商网站可以按照曝光量、点击量等方式来收费。

统计广告流量实时数据,让高管和产品经理实时掌握各种广告投放效果,便于调整广告投放战略和策略,并进行优化,以最大化广告收益。本模块分析的广告流量主要包括曝光量和点击量:

1)各城市广告曝光量和点击量统计

2)各区域每个广告实时点击流统计

3)各区域top 3点击量广告统计

实时方案设计

数据处理流程设计

由于文章篇幅有限,获取资料可直接扫二维码。

大数据技术交流QQ群:207540827

 

posted @ 2020-03-11 14:31  大数据研习社  阅读(1459)  评论(1编辑  收藏  举报