spark转换集合为RDD
SparkContext可以通过parallelize把一个集合转换为RDD
1 2 3 4 5 6 7 8 9 10 | def main(args: Array[String]): Unit = { val conf = new SparkConf(); val list = List( 1 , 2 , 3 , 4 , 5 , 6 ); conf.set( "spark.master" , "local" ) conf.set( "spark.app.name" , "spark demo" ) val sc = new SparkContext(conf); val input = sc.parallelize(list) val sum = input.sum() println(sum) } |
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步