11 2017 档案

Spark HA 配置中spark.deploy.zookeeper.url 的意思
摘要：Spark HA的配置网上很多，最近我在看王林的Spark的视频，要付费的。那个人牛B吹得很大，本事应该是有的，但是有本事，不一定就是好老师。一开始吹中国第一，吹着吹着就变成世界第一。就算你真的是世界第一，视频（2.Spark内核解密(11-43讲全)中的第12课）里关于spark.deploy.z 阅读全文
posted @ 2017-11-11 15:37 一剑侵心 阅读(800) 评论(0) 推荐(0) 编辑
运行Spark程序的几种模式
摘要：一. local 模式 -- 所有程序都运行在一个JVM中，主要用于开发时测试 无需开启任何服务，可直接运行 ./bin/run-example 或 ./bin/spark-submit 如： ./bin/run-example SparkPi 10 ./bin/spark-submit --cla 阅读全文
posted @ 2017-11-07 19:45 一剑侵心 阅读(5354) 评论(0) 推荐(0) 编辑
Spark history server 遇到的一些问题
摘要：最近学习Spark，看了一个视频，里面有提到启动spark后，一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Ha 阅读全文
posted @ 2017-11-05 21:10 一剑侵心 阅读(4586) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示