10 2023 档案
摘要:系统环境 IntelliJ IDEA 2023.2 (Ultimate Edition) JDK 17 Scala 3.3.1 去官网下载Scala源码包 https://www.scala-lang.org/download/all.html 注意:需要同时下载3.x和2.x的包,因为有很多函数实
阅读全文
摘要:1.下载镜像 docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g 2.创建并启动容器 默认启动方式 docker run -itd -p 1521:1521 --name oracle --restart=always r
阅读全文
摘要:基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224,但是这篇文章有一些细节配置没有讲清楚,这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15
阅读全文
摘要:scala配置log4j+slf4j 环境信息 jdk 17 scala 2.11.0 导入依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-reload4j</artifactId> <version>2.0.9</ver
阅读全文
摘要:一、Spark RDD 1. RDD是什么 RDD,即弹性分布式数据集(Resilient Distributed Dataset),是Spark对数据的抽象,本质上是分布在多个节点上的数据集合。 弹性是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力。 分布式数据集是指一个数据集
阅读全文
摘要:Spark 使用遇到的问题 环境信息 IDEA版本:Build #IU-232.8660.185, built on July 26, 2023 系统版本:Macos 14.0 Docker版本: 一、Docker运行Spark集群 这里使用bitnami发行的spark image github文
阅读全文