Hadoop学习之路一 Single Node Setup

  从研究生入学到现在,快一年的时间了。和很多人一样,我迷茫着,一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结,专心练剑才是王道。

  刚开始学习Hadoop,用的最多的是apache的官方网站,www.apache.org。可以从主页的DownLoad里下载apache的软件,在下方的Apahce Project List里可以找到软件的详细信息,我主要用到的是Hadoop的文档。

Overview: 介绍了hadoop的主要改进。
Single Node Setup:介绍了最简单的Hadoop的使用,这种模式不使用HDFS,只访问本地文件。

单节点模式需要的软件:jdk和hadoop

版本信息:Hadoop-2.5.2;jdk1.7.0_79

安装位置:/home/hadoop/jdk1.7.0_79;

     /home/hadoop/hadoop-2.5.2

配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份,养成习惯)

         export JAVA_HOME=/home/hadoop/jdk1.7.0_79

       export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

到这里,单击模式的Hadoop就完成了。

Try the following command:

  $ bin/hadoop

正常情况下,会出现Usage信息

测试:Standalone Operation

  $ mkdir input

  $ cp etc/hadoop/*.xml input

  $ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

  $ cat output/*

结果为:1    dfsadmin

可能会出现错误信息,如:无法加载主类,org.apace....Runjar

我第一次实验的时候出现这个问题,没有解决。最后之后,清理空间,重新安装才成功。

 

posted @ 2015-06-05 15:19  一生荣耀白  阅读(516)  评论(0编辑  收藏  举报