摘要：
针对数据仓库中的任务脚本我们前面已经整理过了，任务脚本还是比较多的，针对初始化表的脚本只需要执行一次即可，其它的脚本需要每天都执行一次，这个时候就需要涉及到任务定时调度了。 ### Crontab调度器的使用 我们前面在学习Linux的时候学过一个crontab调度器，通过它可以实现定时执行指定的脚 阅读全文
摘要：
### 前言 数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。 我们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。 所以我们可以考虑使用Zeppelin，Zeppelin是一个Apache的孵化项目.一个 阅读全文
摘要：
### 什么是拉链表 针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。 所以这种表，一般使用增量的方式，每日采集新增的数据。 在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支 阅读全文
摘要：
### ods 层 在 ods_mall 中需要创建以下针对商品订单数据的表 ```txt 表名 说明 导入方式 ods_user 用户信息表 全量 ods_user_extend 用户扩展表 全量 ods_user_addr 用户收货地址表 全量 ods_goods_info 商品信息表 全量 o 阅读全文
摘要：
数据仓库分为 4层：ods层、dwd层、dws层、app层， 我们先来构建第一层：ods层 ### ods 层 在 ods_mall中需要创建以下针对用户行为数据的表 ```txt 表名 解释 ods_user_active 用户主动活跃表(act=1) ods_click_good 点击商品表(a 阅读全文
摘要：
### Sqoop下载及安装 Sqoop目前有两大版本，Sqoop1和Sqoop2，这两个版本都是一直在维护者的，所以使用哪个版本都可以。 这两个版本我都用过，还是感觉Sqoop1用起来比较方便，使用Sqoop1的时候可以将具体的命令全部都写到脚本中，这样看起来是比较清晰的，但是有一个弊端，就是在操 阅读全文
摘要：
### 数据生成 我们需要先生成测试数据，一份是服务端数据，还有一份是客户端数据 ### 【客户端数据】用户行为数据 首先我们模拟生成用户行为数据，也就是客户端数据，主要包含用户打开APP、点击、浏览等行为数据 用户行为数据：通过埋点上报，后端日志服务器(http)负责接收数据 埋点上报数据基本格式 阅读全文
摘要：
### 项目效果展示  本身我们这个数据仓库项目其实是一个纯后台项目，不过为了让大家能够更加直观的感受项目 阅读全文