初始化spark
初始化SparkContext
一.初始化spark
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.SparkConf;
1.利用javasparkcontext初始化
SparkConf conf=new SparkConf().setMaster("local”).setAppName("MyApp");
//集群url:本例是运行在本地单机local;应用名,可以在集群管理器用户界面中找到你的应用
JavaSparkContext sc=new JavaSparkContext(conf);
2.利用sparksesssion初始化
SparkConf conf=new SparkConf()
.setMaster("local");
SparkSession session = SparkSession
.builder()
.appName("MyApp")
.config(conf)
.getOrCreate();
关闭spark可以用SparkContext的stop()方法,或直接退出应用,如System.exit(0)或sys.exit()
参考《spark快速大数据分析》