随笔分类 - 云计算课程
摘要:https://blog.csdn.net/qq_16403141/article/details/77598532 setOutputKeyClass和setOutputValueClass默认是同时设置map和reduce的输出类型的。 想要分别设置map和reduce的输出类型,有如下解决办法
阅读全文
摘要:在Windows操作系统中使用eclipse本地运行hadoop的hdfs程序, FileSystem local = FileSystem.getLocal(conf); 使用 FSDataOutputStream out = local.create(localFile); 创建本地文件输出流时
阅读全文
摘要:windows环境变量增加一项HADOOP_USER_NAME,值为你的Linux用户名。
阅读全文
摘要:产生这些问题的原因: 使用 bin/hdfs namenode -format 进行过多次格式化,namenode format清空了namenode下的数据,但是没有清空datanode下的数据。 所以要做的就是每次format前,清空一下hdfs-site.xml中配置的所有目录,之后再进行fo
阅读全文
摘要:Eclipse连接不上虚拟机上的hdfs,一直显示Listing folder content,如下图所示: 要做到以下三点: 1. 本身就还没创建输入和输出目录,此时要在hdfs上建个文件夹 。 bin/hdfs dfs -mkdir -p /user/hadoop/input bin/hdfs
阅读全文