摘要:
第1章 数仓分层 1.1 为什么要分层 1)数据仓库分层 ODS层:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理 DWD层:对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据)、脱敏等,保存业务事实明细,一行信息代表一次业务行为,例如一次下单 DIM层:维度层,保 阅读全文
2021年6月9日 #
摘要:
数据模拟 1.日志数据的生成 1)数据准备,下载地址:https://pan.baidu.com/s/1aaf2-Fuchi3v-0cJqLw4EQ 提取码:sbim 2)在/opt/module/下创建applog目录,将application.properties、application.yml 阅读全文
2021年6月8日 #
摘要:
第1章 SparkSQL概述 1.1 SparkSQL是什么 1.2 Hive and SparkSQL SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是Map 阅读全文
2021年6月7日 #
摘要:
第一步:进入Idea 第二步:进入Settings /** * @作者:袁哥 * @时间:${DATE} ${TIME} */ 第三步:新建文件,设置成功 第四步:设置文档注释快捷键(作用在方法上) /** * @作者: 袁哥 * @时间: $date$ $time$ */ 第五步:验证成功 阅读全文
摘要:
一、前言 1.学习内核的目的 ①从宏观上了解Job(Spark on YARN)提交的流程。(画图) ②了解Job在提交之后,进行任务的划分,Stage的划分,任务的调度的过程! 结合: 宽依赖,窄依赖,Stage,task , job ③了解整个Job在执行期间Driver和Executor之间的 阅读全文
2021年6月3日 #
摘要:
第3章 数据读取与保存 Spark的数据读取及数据保存可以从两个维度来作区分:文件格式以及文件系统。 文件格式分为:Text文件、Json文件、Csv文件、Sequence文件以及Object文件; 文件系统分为:本地文件系统、HDFS以及数据库。 3.1 文件类数据读取与保存 3.1.1 Text 阅读全文
摘要:
在运行程序打包过程中,出现如下错误: [ERROR] Command execution failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) at org. 阅读全文
2021年6月1日 #
摘要:
第1章 RDD概述 1.1 什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象。 代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。(简单说就是一个抽象类) 1.1.1 RDD类比工厂 阅读全文
2021年5月26日 #
摘要:
第1章 Spark概述 1.1 什么是Spark 回顾:Hadoop主要解决,海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚,所以Spark自己也设计了 阅读全文
2021年5月25日 #
摘要:
11.1 协变和逆变 1)语法 class MyList[+T]{ //协变 } class MyList[-T]{ //逆变 } class MyList[T]{//不变 } 2)说明 协变:Son是Father的子类,则MyList[Son] 也作为MyList[Father]的“子类”。 逆变 阅读全文