摘要: 一、SparkContext初始化配置 1. 设置conf: SparkConf,每次获取配置时读取conf.clone(),避免运行时改变2. 检查spark.master/spark.app.name/spark.driver.host/spark.driver.port/spark.jars3. SparkEnv.create()设置环境1) 创建名称为"spark"的ActorSystem 2) 设置序列化类3) 注册各种Manager4. 设置各种变量,TODO二、创建并启动TaskScheduler和DAGScheduler个人浅见:DAGScheduler的作 阅读全文
posted @ 2014-04-10 13:59 飞天虎 阅读(686) 评论(0) 推荐(0) 编辑