摘要: 使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0 网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local 阅读全文
posted @ 2019-02-25 18:00 持&恒 阅读(3105) 评论(0) 推荐(0) 编辑
摘要: 刚启动完hadoop的时候,hadoop会进入安全模式,此时不能对hdfs进行上传,修改,删除文件的操作。 hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态 hadoop dfsadmin -safemode enter 命令是打开安全模式 阅读全文
posted @ 2019-02-25 17:38 持&恒 阅读(1482) 评论(0) 推荐(0) 编辑
摘要: hadoop fs -put localfile . 时出现如下错误:could only be replicated to 0 nodes, instead of 1网友的说法:这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracke 阅读全文
posted @ 2019-02-25 17:28 持&恒 阅读(357) 评论(0) 推荐(0) 编辑
摘要: HADOOP_CLASSPATH 是设置要运行的类的路径。否则当你用hadoop classname [args]方式运行程序时会报错,说找不到要运行的类。用hadoop jar jar_name.jar classname [args]方式运行程序时没问题。 阅读全文
posted @ 2019-02-25 16:37 持&恒 阅读(6030) 评论(0) 推荐(0) 编辑
摘要: 参考文章 参考文章2 shuffle的过程分析 Hadoop学习笔记:MapReduce框架详解 谈mapreduce运行机制,可以从很多不同的角度来描述,比如说从mapreduce运行流程来讲解,也可以从计算模型的逻辑流程来进行讲解,也许有些深入理解了mapreduce运行机制还会从更好的角度来描 阅读全文
posted @ 2019-02-25 15:52 持&恒 阅读(335) 评论(0) 推荐(0) 编辑