程序local模式能行，提交集群出现问题
摘要：20/12/28 06:44:36 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and
阅读全文
posted @
2020-12-28 22:48
ifiwereaboy
阅读(166)
推荐(0) 编辑
Spark集群搭建
摘要：教程：http://dblab.xmu.edu.cn/blog/1714-2/#more-1714 1.安装spark （1）修改slaves文件 （2）修改spark-env.sh文件 2.将Master主机上的/usr/local/spark文件夹复制到各个节点上 在Slave节点上操作 3.启
阅读全文
posted @
2020-12-16 20:18
ifiwereaboy
阅读(130)
推荐(0) 编辑
Hadoop集群搭建
摘要：教程：http://dblab.xmu.edu.cn/blog/2441-2/ 创建hadoop用户 切换到hadoop用户 更新apt 安装vim 前面忘切换成hadoop用户，已经安装了vim,所以 SSH登录本机 SSH配置无密码登录 安装jdk 在.bashrc文件开头添加内容 安装Hado
阅读全文
posted @
2020-12-16 16:07
ifiwereaboy
阅读(160)
推荐(0) 编辑
yum问题
摘要：[hadoop@localhost yum.repos.d]$ yum makecache Loaded plugins: fastestmirror, refresh-packagekit, securityDetermining fastest mirrors * base: mirrors.a
阅读全文
posted @
2020-12-14 19:29
ifiwereaboy
阅读(254)
推荐(0) 编辑
