0822：aniy mapreduce使用

11*17，这个布局看起来好爽。恩

今天主要学习尝试的是---hadoop的使用

 

题外话：

首先目前的状况是50030无法打开，50070可以打开

我也不知道为什么==待解救

 

主要是这篇文章帮助我的：

http://www.cnblogs.com/shenerguang/p/3830432.html

 

Jps命令显示-只出现了6个

在根据图片中指令运行后-后出现7个

 

先cd sbin，这句命令是：

mr-jobhistory-daemon.sh start historyserver

多出来的一个是: JobHistoryServer

并且能多打开一个端口了:19888

Job History Server	http://192.168.179.129:19888
JobTracker	http://192.168.179.129:50030  (打不开)
NameNode	http://192.168.179.129:50070
SecondaryNameNode	http://192.168.179.129:50090
DataNode	http://192.168.179.129:50075
Cluster ResourceManage	http://192.168.179.129:8088
HDFS	http://192.168.179.129:50070/ explorer.html#/user/hadoop/logs

 

上传下载的基本语法：

上传 put	bin/hdfs dfs -put /var/log/httpd logs
下载 get	bin/hdfs dfs -get logs /tmp/logs

 

后面主要依赖这篇文章中的（11）

开始了本文的主体

mkdir in

vi in/file

Hadoop is fast

Hadoop is cool

bin/hadoop dfs -copyFromLocal in/ /in

注意这个地方会提示改成b：in/hdfs

再运行示例程序

 

示例程序的位置，俺找了比较久

WordCount位置

/home/hadoop/hadoop/share/hadoop/ mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar/org/apache/hadoop/examples/WordCount

后面发现，完全没有必要找到jar后的目录

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar

WordCount /in /out

 

但是运行，发现了问题，报错

这里：http://blog.csdn.net/xw13106209/article/details/6862480

 

改成正常版本：

bin/hadoop jar share/hadoop/mapreduce/sources/

hadoop-mapreduce-examples-2.4.0-sources.jar

org.apache.hadoop.examples.WordCount /in /out