祝各位道友念头通达
GitHub Gitee 语雀 打赏
摘要: spark.read.textFile和sc.textFile的区别 val rdd1 = spark.read.textFile("hdfs://han02:9000/words.txt") //读取到的是一个RDD对象 val rdd2 = sc.textFile("hdfs://han02:9 阅读全文
posted @ 2018-11-28 19:38 韩若明瞳 阅读(3258) 评论(0) 推荐(0) 编辑
摘要: RDD:(spark进行计算的基本单位(弹性分布式数据集)) 1.获取RDD 加载文件获取 val = rdd = sc.texFile() 通过并行化获取 val rdd = rdd1 = sc.parallelize() 2.有关rdd常用方法 3. 转换(Transformation): 动作 阅读全文
posted @ 2018-11-28 11:12 韩若明瞳 阅读(479) 评论(0) 推荐(0) 编辑