2017年6月2日
Spark on Yarn with HA
摘要： Spark 可以放到yarn上面去跑，这个毫无疑问。当Yarn做了HA的时候，网上会告诉你基本Spark测不需做太多的关注修改，实际不然。 除了像spark.yarn开头的相关配置外，其中一个很重要的坑是spark-yarn依赖包的Hadoop版本问题。Spark1.6.x的spark-yarn默认 阅读全文
posted @ 2017-06-02 11:37 Lhfcws 阅读(829) 评论(0) 推荐(0) 编辑