摘要：
第1章 数仓分层 1.1 为什么要分层 1）数据仓库分层 ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理 DWD层：对ODS层数据进行清洗（去除空值、脏数据、超过极限范围的数据）、脱敏等，保存业务事实明细，一行信息代表一次业务行为，例如一次下单 DIM层：维度层，保 阅读全文
2021年6月9日 #
摘要：
数据模拟 1.日志数据的生成 1）数据准备，下载地址：https://pan.baidu.com/s/1aaf2-Fuchi3v-0cJqLw4EQ 提取码：sbim 2）在/opt/module/下创建applog目录，将application.properties、application.yml 阅读全文
2021年6月8日 #
摘要：
第1章 SparkSQL概述 1.1 SparkSQL是什么 1.2 Hive and SparkSQL SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是Map 阅读全文
2021年6月7日 #
摘要：
第一步：进入Idea 第二步：进入Settings /** * @作者：袁哥 * @时间：${DATE} ${TIME} */ 第三步：新建文件，设置成功 第四步：设置文档注释快捷键（作用在方法上） /** * @作者: 袁哥 * @时间: $date$ $time$ */ 第五步：验证成功 阅读全文
摘要：
一、前言 1.学习内核的目的 ①从宏观上了解Job（Spark on YARN）提交的流程。（画图） ②了解Job在提交之后，进行任务的划分，Stage的划分，任务的调度的过程！ 结合： 宽依赖，窄依赖，Stage，task , job ③了解整个Job在执行期间Driver和Executor之间的 阅读全文
2021年6月3日 #
摘要：
第3章 数据读取与保存 Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件； 文件系统分为：本地文件系统、HDFS以及数据库。 3.1 文件类数据读取与保存 3.1.1 Text 阅读全文
摘要：
在运行程序打包过程中，出现如下错误： [ERROR] Command execution failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) at org. 阅读全文
2021年6月1日 #
摘要：
第1章 RDD概述 1.1 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。 代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。（简单说就是一个抽象类） 1.1.1 RDD类比工厂 阅读全文
2021年5月26日 #
摘要：
第1章 Spark概述 1.1 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了 阅读全文
2021年5月25日 #
摘要：
11.1 协变和逆变 1）语法 class MyList[+T]{ //协变 } class MyList[-T]{ //逆变 } class MyList[T]{//不变 } 2）说明 协变：Son是Father的子类，则MyList[Son] 也作为MyList[Father]的“子类”。 逆变 阅读全文