随笔分类 -  云计算课程

摘要:https://blog.csdn.net/qq_16403141/article/details/77598532 setOutputKeyClass和setOutputValueClass默认是同时设置map和reduce的输出类型的。 想要分别设置map和reduce的输出类型,有如下解决办法 阅读全文
posted @ 2020-05-04 18:15 拾月凄辰 阅读(513) 评论(0) 推荐(0) 编辑
摘要:在Windows操作系统中使用eclipse本地运行hadoop的hdfs程序, FileSystem local = FileSystem.getLocal(conf); 使用 FSDataOutputStream out = local.create(localFile); 创建本地文件输出流时 阅读全文
posted @ 2020-04-15 20:25 拾月凄辰 阅读(899) 评论(0) 推荐(2) 编辑
摘要:windows环境变量增加一项HADOOP_USER_NAME,值为你的Linux用户名。 阅读全文
posted @ 2020-04-15 20:22 拾月凄辰 阅读(232) 评论(0) 推荐(0) 编辑
摘要:产生这些问题的原因: 使用 bin/hdfs namenode -format 进行过多次格式化,namenode format清空了namenode下的数据,但是没有清空datanode下的数据。 所以要做的就是每次format前,清空一下hdfs-site.xml中配置的所有目录,之后再进行fo 阅读全文
posted @ 2020-04-11 18:17 拾月凄辰 阅读(1162) 评论(0) 推荐(0) 编辑
摘要:Eclipse连接不上虚拟机上的hdfs,一直显示Listing folder content,如下图所示: 要做到以下三点: 1. 本身就还没创建输入和输出目录,此时要在hdfs上建个文件夹 。 bin/hdfs dfs -mkdir -p /user/hadoop/input bin/hdfs 阅读全文
posted @ 2020-04-11 17:23 拾月凄辰 阅读(1515) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
主题色彩