导航

2020年11月28日

HDFS集群格式化踩过的坑

摘要： 在Hadoop集群使用初期，我所遇到的问题如下： 1. 需要不定时的改动配置文件 2. 不止一次的格式化集群 3. 恢复之后datanode失效了 4. 时间超过了7天，日志消失，又导致集群崩坏 解决思路： 1. 首先格式化集群之前要确保集群的进程停掉 2. 删除每个节点hadoop下的 data 阅读全文

posted @ 2020-11-28 14:22 乔伊_413 阅读(629) 评论(0) 推荐(0) 编辑

安装Spark时遇见的坑

摘要： 在安装独立部署模式中遇见的坑： 步骤一： 解压安装：tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录 #最好是从根目录跟踪 步骤二： 改文件名并修改配置文件： 注意：这里slaves中当时我的里面有一个localhost 没有注释，所以导致了M 阅读全文

posted @ 2020-11-28 10:34 乔伊_413 阅读(297) 评论(0) 推荐(0) 编辑