Spark四种运行模式和RDD常用创建方法

    /**
     * Spark的四种运行模式
     * 本地模式, Standalone模式, Spark on Yarn模式, Spark on Mesos模式
     */
    ////进行配置, setMaster("local")本地运行模式
    val conf = new SparkConf().setAppName("CreateRDD").setMaster("local")
    //创建SparkContext对象
    val sc = new SparkContext(conf)
    //常用创建RDD的三种方法
    val rdd1: RDD[Int] = sc.makeRDD(Array(1,2,3))
    val rdd2: RDD[Int] = sc.parallelize(Array(1,2,3))
    val rdd3: RDD[String] = sc.textFile("local path或者HDFS path")
posted @ 2020-08-27 16:50  火火火火四火  阅读(269)  评论(0编辑  收藏  举报