摘要: GMV指标获取的全调度流程 import.job文件,第一步,从mysql导入数据 type=command do_date=${dt} command=/home/atguigu/bin/sqoop_import.sh all ${do_date} ods.job文件 type=command d 阅读全文
posted @ 2020-07-02 23:35 地中有山 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 大数据开发的最后一环,将数仓中ADS层的数据,导出到MySql,剩下就是Java工程师的事了。 1 在MySql中创建对应的ADS表,字段和类型与数仓中的表一致,略。 2 数据导出脚本。 ①--update-mode updateonly:只更新,无法插入新数据。 allowinsert:允许新增 阅读全文
posted @ 2020-07-02 23:05 地中有山 阅读(431) 评论(0) 推荐(0) 编辑
摘要: 每月品牌复购率 = 某品牌本月被购买的次数 / 所有品牌本月被购买的次数。 分析: 完成品牌复购率需要建立一个宽表,宽表里面包括用户信息,商品信息,以及此商品购买的个数,即一个订单,根据订单里面的商品id不同,可能有多条这样的宽表记录。 有了宽表后,再做相应的统计工作。 一 用户购买商品明细表(宽表 阅读全文
posted @ 2020-07-02 17:46 地中有山 阅读(487) 评论(0) 推荐(0) 编辑
摘要: 一 ADS层之新增用户占日活跃用户比率 数据来源:ADS层用户活跃数表和每日新增设备表 建表语句: drop table if exists ads_user_convert_day; create external table ads_user_convert_day( `dt` string C 阅读全文
posted @ 2020-07-02 17:09 地中有山 阅读(664) 评论(0) 推荐(0) 编辑
摘要: GMV:Gross Merchandise Volume,是一段时间内的成交总额(比如一天、一个月、一年)。在电商网站定义里面是网站成交金额,包括付款和未付款的部分,不同公司的算法可能不同。 数据来源:上一步完成的用户行为宽表,里面包括了每个用户的订单个数,订单金额和支付总额。 建表语句: drop 阅读全文
posted @ 2020-07-02 16:11 地中有山 阅读(584) 评论(0) 推荐(0) 编辑
摘要: 为什么需要用户行为宽表?把每个用户单日的行为聚合起来组成一张多列宽表,以便之后关联用户维度信息后,进行不同角度的统计分析。 数据来源:DWD层相关的业务数据表 创建用户行为宽表: 这张宽表整合了下单、支付和评论3种行为。 drop table if exists dws_user_action; c 阅读全文
posted @ 2020-07-02 15:51 地中有山 阅读(2210) 评论(0) 推荐(0) 编辑