瞌睡中的葡萄虎

博客园 首页 新随笔 联系 订阅 管理

2014年7月10日 #

摘要: Spark Standalone模式常见的HA部署方式有两种:基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建:$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息:export SPARK_DAEMON_JAVA_O... 阅读全文
posted @ 2014-07-10 23:23 瞌睡中的葡萄虎 阅读(647) 评论(0) 推荐(0) 编辑

摘要: 在spark1.0中推出spark-submit来统一提交applicaiton./bin/spark-submit \ --class --master \ --deploy-mode \ ... # other options \ [application-arguments... 阅读全文
posted @ 2014-07-10 17:31 瞌睡中的葡萄虎 阅读(6455) 评论(0) 推荐(0) 编辑

摘要: spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit... 阅读全文
posted @ 2014-07-10 17:09 瞌睡中的葡萄虎 阅读(1489) 评论(0) 推荐(0) 编辑