10 2023 档案

摘要:系统环境 IntelliJ IDEA 2023.2 (Ultimate Edition) JDK 17 Scala 3.3.1 去官网下载Scala源码包 https://www.scala-lang.org/download/all.html 注意:需要同时下载3.x和2.x的包,因为有很多函数实 阅读全文
posted @ 2023-10-21 15:41 INnoVation-V2 阅读(133) 评论(0) 推荐(0) 编辑
摘要:1.下载镜像 docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g 2.创建并启动容器 默认启动方式 docker run -itd -p 1521:1521 --name oracle --restart=always r 阅读全文
posted @ 2023-10-13 23:33 INnoVation-V2 阅读(77) 评论(0) 推荐(0) 编辑
摘要:基于Docker搭建Hadoop+Hive 本文主要是照搬这篇文章的https://zhuanlan.zhihu.com/p/242658224,但是这篇文章有一些细节配置没有讲清楚,这里对其进行完善 零、环境信息 电脑配置 Ubuntu 20.04.6 LTS (Focal Fossa) 5.15 阅读全文
posted @ 2023-10-13 22:52 INnoVation-V2 阅读(1189) 评论(0) 推荐(0) 编辑
摘要:scala配置log4j+slf4j 环境信息 jdk 17 scala 2.11.0 导入依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-reload4j</artifactId> <version>2.0.9</ver 阅读全文
posted @ 2023-10-11 11:22 INnoVation-V2 阅读(173) 评论(0) 推荐(0) 编辑
摘要:一、Spark RDD 1. RDD是什么 RDD,即弹性分布式数据集(Resilient Distributed Dataset),是Spark对数据的抽象,本质上是分布在多个节点上的数据集合。 弹性是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力。 分布式数据集是指一个数据集 阅读全文
posted @ 2023-10-09 20:33 INnoVation-V2 阅读(29) 评论(0) 推荐(0) 编辑
摘要:Spark 使用遇到的问题 环境信息 IDEA版本:Build #IU-232.8660.185, built on July 26, 2023 系统版本:Macos 14.0 Docker版本: 一、Docker运行Spark集群 这里使用bitnami发行的spark image github文 阅读全文
posted @ 2023-10-08 17:18 INnoVation-V2 阅读(138) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示