随笔分类 - Hadoop
摘要：首先去官网下载Eclipse的压缩包，下载地址为https://www.eclipse.org/downloads/ 注： 1、不要直接点击黄色的Download 64bit进行下载，而是点击Down Packages进行下载，两者解压后的文件是不同的。（踩过的坑） 2、使用国内镜像进行下载不至于会
阅读全文
摘要：首先先创建一个目标文件words，将其保存至/home/hadoop目录下： cd /home/hadoopvim words# 向新文件中添加内容，例如：data mining on data warehouse # 在HDFS创建一个目录hdfs dfs -mkdir /user/hadoop/
阅读全文
摘要：查看日志发现了如上图所示的错误提示：（日志存放在hadoop安装目录下的logs文件夹下） 有两种解决方法： 方法一： 更换JDK的版本，因为自从jdk9以后 java9默认禁用访问许多javax API，可以换成JDK8. 方法二： 修改hadoop安装目录下的etc/hadoop/yarn-en
阅读全文
摘要：启动了hadoop，使用jps也会出现NameNode、ResourceManager、SecondaryNameNode、DataNode、NodeManager； 但是使用命令hdfs dfsadmin -report，却没有显示和Live datanodes相关的信息，这说明集群其实没有成功启
阅读全文
摘要：格式化HDFS时出现如上错误，解决的方法是为当前正在使用的用户增加相应的文件夹权限： 注：我将hadoop安装在/opt目录下；当前使用的用户名为bruce chown -R bruce /opt
阅读全文
摘要：1、添加一个hadoop用户，并为其设置密码： # 添加hadoop用户 sudo useradd hadoop # 设置hadoop用户密码 passwd hadoop 注：其实也可以直接使用当前正在使用的这个普通用户而不去重新创建新用户。 2、修改主机名：(需要重启虚拟机才能看见效果) 方式一：
阅读全文
