摘要：
第9章 数仓搭建-ADS层 9.1 建表说明 ADS层不涉及建模，建表根据具体需求而定 9.2 访客主题 9.2.1 访客统计 1.建表语句 drop table if exists ads_visit_stats; create external table ads_visit_stats( `d 阅读全文
2021年6月27日 #
摘要：
一、自定义UDAF思路及步骤 1）打开Hive官网：https://cwiki.apache.org/confluence/display/Hive 2）打开Idea，新建一个Maven工程，并添加Hive依赖 <!-- https://mvnrepository.com/artifact/org. 阅读全文
2021年6月25日 #
摘要：
第1章 Azkaban概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统 阅读全文
2021年6月24日 #
摘要：
第8章 数仓搭建-DWT层 8.1 访客主题 1）建表语句 drop table if exists dwt_visitor_topic; create external table dwt_visitor_topic( --dws_visitor_action_daycount `mid_id` 阅读全文
2021年6月18日 #
摘要：
第7章 数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 1）基本语法： NVL（表达式1，表达式2） 如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和 阅读全文
2021年6月15日 #
摘要：
第6章 数仓搭建-DWD层 1）对用户行为数据解析。 2）对业务数据采用维度模型重新建模。 6.1 DWD层（用户行为日志） 6.1.1 日志格式回顾 （1）页面埋点日志 （2）启动日志 6.1.2 get_json_object函数使用 1）数据 [{"name":"大郎","sex":"男"," 阅读全文
2021年6月11日 #
摘要：
第5章 数仓搭建-DIM层 5.1 商品维度表（全量） 1.建表语句 drop table if exists `dim_sku_info`; create external table dim_sku_info ( --来自ods_sku_info `id` string comment '商品i 阅读全文
2021年6月10日 #
摘要：
2.1 注释 用于注解说明解释程序的文字就是注释，注释提高了代码的阅读性。注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。 1）基本语法 （1）单行注释：// （2）多行注释：/* */ （3）文档注释：/** */ 2）案例实操 package com.y 阅读全文
摘要：
不多bb，直接开干，错误如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. GC overhead limit exceeded AsyncLogger error handl 阅读全文
2021年6月9日 #
摘要：
第3章 数仓环境搭建 3.1 Hive环境搭建 3.1.1 Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hi 阅读全文