2019年3月25日
向Spark集群提交任务
摘要： 1.启动spark集群。 启动Hadoop集群 cd /usr/local/hadoop/ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 cd /usr/local/spark/ sbin/start-master.sh sbin/start-slave 阅读全文
posted @ 2019-03-25 14:58 _Meditation 阅读(1325) 评论(0) 推荐(0) 编辑
分布式配置 Spark 2.0版本 2.1版本 1.6版本
摘要： apache的各个软件各个版本下载： http://archive.apache.org/dist/ 1.下载spark. sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo 阅读全文
posted @ 2019-03-25 14:03 _Meditation 阅读(620) 评论(0) 推荐(0) 编辑
分布式配置hadoop2.5.0 2.6.x
摘要： 1. sudo vim /etc/hostname 在master的机器上，改成 master 在slave上写 slave01,02,03...... 配置好后重启。 2. sudo vim /etc/hosts （此处最好改成内网中服务器的真实ip,不要用浮动ip，否则会出现“Problem b 阅读全文
posted @ 2019-03-25 11:37 _Meditation 阅读(192) 评论(0) 推荐(0) 编辑