06 2022 档案

手把手教你创建广播变量(broadcast)
摘要：1. 使用说明 /* * TODO 使用说明 * 在大表 关联 小表时,可以将小表读取到本地内存(Driver),再作为一个只读变量发分到Executor端读取, * 这样操作避免了shuffle操作,大大提高了join效率 * * */ 2.广播变量实现 join /* 广播变量实现 join * 阅读全文
posted @ 2022-06-20 19:40 学而不思则罔！ 阅读(106) 评论(0) 推荐(0) 编辑
scala中的数组
摘要：1.可变数组-ArrayBuffer 1.1 创建一个数组对象 2.不可变数组-Array 3.可变数组和不可变数组的区别 阅读全文
posted @ 2022-06-20 16:09 学而不思则罔！ 阅读(23) 评论(0) 推荐(0) 编辑
第五章_Spark核心编程_SparkConf&SparkContext
摘要：/* * TODO 关于 SparkConf 的作用 * 1. spark的配置对象 用来初始化 Spark application 的配置信息 * 2. 用 SparkConf.set("key","value") 的方式来注入配置信息 * 3. 用 SparkConf对象 指定的配置信息,优先级 阅读全文
posted @ 2022-06-06 13:04 学而不思则罔！ 阅读(74) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示