阿里云电商数仓的项目描述
1.简介:基于当今的购物狂潮,针对不同用户,进行相关数据统计。
2.主要技术:Flume,DataHub,MaxCompute,DataWorks,RDS,QuickBi
3.实现功能:
通过Flume运行日志程序,将采集到的用户行为数据推送到Data Hub中,使用DataHub Connector将DataHub中的数据推送到MaxCompute中,搭建数据仓库分层,执行业务调度,将渠道日活的用户使用QuickBi进行展示。
通过运行SQL文件得到业务数据,将RDS中的数据同步到MaxCompute中,搭建数据仓库分层,执行业务调度,最后将表同步到RDS中,使用QuickBi展示不同年龄段的消费情况、地区销售额及热门商品消费情况。
阿里云项目
用户行为日志:
ODS--->DWD--->DWS--->ADS
ODS:字符串,包含了所有的字段
DWD:设备id,访问来源,用户id,email,地区
DWS:按照设备id分区,按访问时间排序,设备id为一个用户的标志,获取第一条数据,即用户第一次访问时的来源
ADS:按来源分组,将每个用户的来源进行汇总,得到用户来源的数据分析指标。
业务数据
ODS:将数据全部导入,不做处理
订单表:订单编号,订单金额,订单状态,用户 id,支付方式,支付流水号,创建时间,操作时间,省份
订单明细:明细 id,订单 id,商品 id,商品名称,购买价格,购物数量,创建时间
商品信息:skuid,spuid,价格,商品名称,商品描述,重量(千克),品牌 id,品类 id,创建时间
用户信息:用户 id,姓名,生日,性别,邮箱,用户等级,创建时间
三级品类信息:
品牌信息:
一级品类信息:
二级品类信息:
支付流水表:编号,对外业务编号,订单编号,用户编号,支付宝交易流水编号,支付金额,交易内容,支付类型,支付时间
地区:地区id,地区名称
省份:品牌id,名称,地区id
DWD:进行数据清洗,去除离群值和空/脏数据
订单表:订单id,订单总额,支付状态,用户id,付款方式,订单流失号,省市id,创建时间,修改时间
订单明细:明细id,订单id,用户id,商品id,商品名称,购买价格,购物数量,省市id,创建时间
商品信息表(维度表):商品id,spuid,商品价格,商品名称,商品描述,重量,品牌id,品牌名称,三级分类id,二级分类id,一级分类 id,三级分类名称,二级分类名称,一级分类名称,创建时间
用户信息表(维度表):id,用户名称,生日,性别,邮箱,等级,注册时间
地区省市表(维度表):id,省市名称,地区 id,地区名称
DWS:(将所有的数据汇总成宽表)
用户单日交易行为宽表:
用户 id,商品 Id,用户性别,用户年龄,用户等级,商品当日价格,商品名称,商品三级品类 id,商品二级品类 id,商品一级品类 id,商品三级品类名称,商品二级品类名称,商品一级品类名称,商品 spu,品牌 id,品牌名称,省市 id,省市名称,地区 id,地区名称,购买个数,当日下单单数,当日下单金额
ADS:将不同年龄段的消费情况,不同地区的消费情况,热门商品消费情况
年龄销售统计:
年龄,购买商品个数,订单个数,销售额,平均客单价
地区销售统计:
省份 id,省市名称,地区 ID,地区名称,购买商品个数,订单个数,销售额,平均客单价
商品销售统计:
商品 id,商品名称,购买商品个数,三级分类 id,二级分类 id,一级分类 id,三级分类名称,二级分类名称,一级分类名称,订单个数,销售额,平均客单价
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16473128.html