2019年12月30日

EMR的hive包升级和gateway启动hs2

摘要： 升级: mkdir /opt/apps/hivecd /opt/apps/hivewget http://emr.oss-cn-hangzhou.aliyuncs.com/ecm-repo/hive/opay/apache-hive-2.3.5-bin.tar.gzmd5sum apache-hiv 阅读全文

posted @ 2019-12-30 16:55 锋锋2019 阅读(443) 评论(0) 推荐(0) 编辑

维度建模

摘要： ODS：数据 来源 ： 一部分是来自关系型数据库，符合ER模型 。一部分来自日志 ，清洗成二维表 DWD： 把所有的数据清理整合 ，规范化 。脏数据清理 ，命名不规范的。最后拿到的是干净的 ，一致性的数据 。 把公共维度抽取出来，如区域 DWS： 维度建模，通用的汇总层 ，为了避免重复计算。 DWS 阅读全文

posted @ 2019-12-30 08:48 锋锋2019 阅读(1576) 评论(2) 推荐(0) 编辑

导航