摘要:
第9章 数仓搭建-ADS层 9.1 建表说明 ADS层不涉及建模,建表根据具体需求而定 9.2 访客主题 9.2.1 访客统计 1.建表语句 drop table if exists ads_visit_stats; create external table ads_visit_stats( `d 阅读全文
2021年6月27日 #
摘要:
一、自定义UDAF思路及步骤 1)打开Hive官网:https://cwiki.apache.org/confluence/display/Hive 2)打开Idea,新建一个Maven工程,并添加Hive依赖 <!-- https://mvnrepository.com/artifact/org. 阅读全文
2021年6月25日 #
摘要:
第1章 Azkaban概论 1.1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: Shell脚本程序,Java程序,MapReduce程序、Hive脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统 阅读全文
2021年6月24日 #
摘要:
第8章 数仓搭建-DWT层 8.1 访客主题 1)建表语句 drop table if exists dwt_visitor_topic; create external table dwt_visitor_topic( --dws_visitor_action_daycount `mid_id` 阅读全文
2021年6月18日 #
摘要:
第7章 数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 1)基本语法: NVL(表达式1,表达式2) 如果表达式1为空值,NVL返回值为表达式2的值,否则返回表达式1的值。 该函数的目的是把一个空值(null)转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和 阅读全文
2021年6月15日 #
摘要:
第6章 数仓搭建-DWD层 1)对用户行为数据解析。 2)对业务数据采用维度模型重新建模。 6.1 DWD层(用户行为日志) 6.1.1 日志格式回顾 (1)页面埋点日志 (2)启动日志 6.1.2 get_json_object函数使用 1)数据 [{"name":"大郎","sex":"男"," 阅读全文
2021年6月11日 #
摘要:
第5章 数仓搭建-DIM层 5.1 商品维度表(全量) 1.建表语句 drop table if exists `dim_sku_info`; create external table dim_sku_info ( --来自ods_sku_info `id` string comment '商品i 阅读全文
2021年6月10日 #
摘要:
2.1 注释 用于注解说明解释程序的文字就是注释,注释提高了代码的阅读性。注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来,再用代码去体现。 1)基本语法 (1)单行注释:// (2)多行注释:/* */ (3)文档注释:/** */ 2)案例实操 package com.y 阅读全文
摘要:
不多bb,直接开干,错误如下: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. GC overhead limit exceeded AsyncLogger error handl 阅读全文
2021年6月9日 #
摘要:
第3章 数仓环境搭建 3.1 Hive环境搭建 3.1.1 Hive引擎简介 Hive引擎包括:默认MR、tez、spark Hive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。 Spark on Hi 阅读全文