2018年9月29日
spark复习笔记(1)
摘要： 使用spark实现work count (1)用sc.textFile(" ") 来实现文件的加载 (2)元素拿来之后对集合中的每个元素进行切割，按照空格进行切割 def map[U](f:String=>U)(implict evidence$3:scala.reflect.ClassTag[u] 阅读全文
posted @ 2018-09-29 18:51 stone1234567890 阅读(238) 评论(0) 推荐(0) 编辑
spark(4)
摘要： SparkSQL 该模块能在spark上运行sql语句 DataFrame //数据框，相当于mysql中的表 使用类似SQL的方式来访问hadoop,实现MR计算。RDD df = sc.createDataFrame(rdd); DataSet<Row> ==DataFrame >//类似于ta 阅读全文
posted @ 2018-09-29 10:05 stone1234567890 阅读(175) 评论(0) 推荐(0) 编辑