摘要：
1、关于存储：1）、可能的话，Spark节点与HDFS节点是一一对应的2）、如果做不到，那至少保证Spark节点与HDFS节点是一个局域网内2、关于硬盘：1）、官方推荐每台机子4-8个硬盘，然后不需要做RAID（因为本身你的硬盘就是用来做），配置spark.local.dir结点啦3、关于内存1）、... 阅读全文
摘要：
1、spark standalone模式下，worker与executor是一一对应的。2、如果想要多个worker，那么需要修改spark-env的SPARK_WORKER_INSTANCES为2，那么开启集群后， 每个节点就是两个worker了，然后启动任务后，每个节点就是两个executor啦... 阅读全文