随笔分类 -  Spark

【Linux】【CentOS7】免密登录突然失效
摘要：原本配置好了的免密登录，今天启动hadoop发现免密登录失效了 阅读全文
posted @ 2021-11-07 16:35 萌狼蓝天 阅读(484) 评论(0) 推荐(0) 编辑
【Spark】【复习】Spark入门考前概念相关题复习
摘要：Spark入门考前概念相关题复习 阅读全文
posted @ 2021-11-03 01:38 萌狼蓝天 阅读(748) 评论(0) 推荐(0) 编辑
【Spark】【RDD】初次学习RDD 笔记 汇总
摘要：RDD相关学习笔记，RDD创建，RDD算子，RDD键值对等内容 阅读全文
posted @ 2021-10-31 03:48 萌狼蓝天 阅读(446) 评论(0) 推荐(0) 编辑
【Spark】【设置】关闭INFO提示
摘要：Spark通过修改配置文件关闭INFO提示 阅读全文
posted @ 2021-10-29 09:59 萌狼蓝天 阅读(73) 评论(0) 推荐(0) 编辑
【Spark】【RDD】从内存（集合）创建RDD
摘要：val list = List(1,2,3) var rdd = sc.parallelize(list) rdd.partitions.size 通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合上创建的（一个Seq对象）。 集合的对象将会被拷贝，创建出一 阅读全文
posted @ 2021-10-26 08:58 萌狼蓝天 阅读(136) 评论(0) 推荐(0) 编辑
【Spark】【RDD】从本地文件系统创建RDD
摘要：从本地文件系统创建RDD 阅读全文
posted @ 2021-10-25 01:37 萌狼蓝天 阅读(82) 评论(0) 推荐(0) 编辑
【Spark】【RDD】从HDFS创建RDD
摘要：从HDFS创建RDD 阅读全文
posted @ 2021-10-25 00:40 萌狼蓝天 阅读(138) 评论(0) 推荐(0) 编辑