摘要: 1、使用Sparkconf配置Spark 对Spark进行性能调优,通常就是修改Spark应用的运行时配置选项。 Spark中最主要的配置机制通过SparkConf类对Spark进行配置,当创建出一个SparkContext时,就需要创建出一个SparkConf实例。 Sparkconf实例包含用户 阅读全文
posted @ 2017-09-18 11:39 Easen.Cai 阅读(1776) 评论(0) 推荐(0) 编辑
摘要: Spark的一大好处就是可以通过增加机器数量并使用集群模式运行,来扩展计算能力。Spark可以在各种各样的集群管理器(Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器)上运行,所以Spark应用既能够适应专用集群,又能用于共享的云计算环境。 Spark运行 阅读全文
posted @ 2017-09-18 08:51 Easen.Cai 阅读(999) 评论(0) 推荐(0) 编辑