摘要: 1、首先添加hdfs的节点,将安装包上传到服务器,设置好环境变量。配置文件按之前spark集群搭建的那里进行修改。 设置完成后,要对新节点新型格式化: # hdfs dfs namenode -format 生成公钥、私钥,配置免密登录: ssh-keygen -t rsa 一直回车就好了,会在用户 阅读全文
posted @ 2017-11-06 20:34 诗码者 阅读(777) 评论(0) 推荐(0) 编辑
摘要: 一、spark启动有standalong、yarn、cluster,具体的他们之间的区别这里不在赘述,请参考官网。本文采用的是standalong模式进行搭建及将接使用。 1、首先去官网下载需要的spark版本: http://spark.apache.org/downloads.html 本例使用 阅读全文
posted @ 2017-11-06 20:01 诗码者 阅读(337) 评论(0) 推荐(0) 编辑