Hadoop环境建立——伪分布式环境建立

本文大多数学习了http://vampire1126.iteye.com/blog/891693中的设备进程,在此向原作者表示感谢,一同本文的独创性是更改了Hadoop文件配备有些,以及对按装进程中遇到的疑问做了说明 东西: jdk-6u38-linux-i586.bin hadoop-1.1.2.tar.gz ubuntu-12.04.1-desktop-i386.iso 设备 1、设备ubun http://www.star1111.info/linked/20130322.do tu10.10  参见博文:http://blog.csdn.net/chw1989/article/details/8708447 2、设备jdk1.6.0_38 在usr下面新建一个文件夹Java,然后将jdk拷贝过来                        sudo mkdir /usr/Java                        sudo cp jdk的方法 /usr/Java                  进入到Java目录下,改动文件权限为可实行                        cd /usr/Java                         sudo chmod u x jdk-6u38-linux-i586.bin  实行设备                        sudo ./ jdk-6u38-linux-i586.bin 3、设备hadoop0.21.0 将hadoop-1.1.2.tar.gz拷贝到usr下面的local文件夹内                         sudo cp hadoop的方法 /usr/local 进入到local目录下,解压hadoop-1.1.2.tar.gz                         cd /usr/local                         sudo tar -xzf hadoop-1.1.2.tar.gz 为了便当处理,将解压后的文件夹名改为hadoop                         sudo mv hadoop-1.1.2.tar.gz  4、创建一个名为hadoop的用户和用户组 创建一个名为hadoop的用户组                         sudo addgroup hadoop 创建一个名为hadoop的用户,归到hadoop用户组下                         sudo adduser --ingroup hadoop hadoop  用gedit翻开etc下的sudoers文件                         sudo gedit /etc/sudoers 在 root   ALL=(ALL)  ALL 下面添加如下一行,然后保管关闭gedit                          hadoop  ALL=(ALL)  ALL  5、配备相关文件 用gedit翻开etc下的profile文件                         sudo gedit /etc/profile 在文件结尾参与如下几行       export CLASSPATH=.:/usr/Java/jdk1.6.0_38/lib:/usr/Java/jdk1.6.0_38/jre/lib:$CLASSPATH       export PATH=.:/usr/Java/jdk1.6.0_38/bin:/usr/Java/jdk1.6.0_38/jre/bin:/usr/local/hadoop/bin:$PATH  保管后关闭gedit,并重启机器                         sudo reboot 重启后用hadoop用户登录,验证配备能否成功                         java -version   PS:我刚开始装jdk时,全部都妥妥的装好往后,发现这个指令一贯无法工作成功,经过多方查验,发现时jdk版别有疑问,前面装的jdk是从Unix社区下载的jdk-6u3-dlj-linux-i586.bin,设备好后,会有许多没有加压完全的后缀名为.pack的文件,这些文件需要解压成后缀名为.jar的文件才可以,可以用/usr/Java/jdk1.6.0_38/bin下的Unpack200来做,指令类似与:                         sudo ./unpack200 tools.pack tools.jar  如果选用jdk-6u38-linux-i586.bin这个jdk则不会出现上述疑问 6、创建ssh-key 装载ssh效力                        sudo apt-get install ssh 创建ssh-key                          ssh-keygen -t rsa --P 将此ssh-key添加到信任列表中,并启用此ssh-key                          cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys                          sudo /etc/init.d/ssh reload 7、配备hadoop 配备chadoop-env.sh                           cd /usr/local/hadoop                           sudo gedit conf/hadoop-env.sh 翻开后在文档的上部某行有“#export JAVA_HOME=...”字样的当地,去掉“#”,然后在等号后边填写你的jdk方法,完全按此文档来的话应改为 "export JAVA_HOME=/usr/Java/jdk1.6.0_38" 配备core-site.xml                           sudo gedit conf/core-site.xml                           (翻开后标签 中是空的,所以在空的当地参与如下配备) 
       fs.default.name
       hdfs://localhost:9000 

 配备conf目录下的hdfs-site.xml                            sudo gedit conf/hdfs-site.xml                           (翻开后标签 中也是空的,添加如下配备) 
       dfs.replication
       1 
 配备conf目录下的mapred-site.xml                            sudo gedit conf/mapred-site.xml                           (翻开后标签 中也是空的,添加如下配备)  
      mapred.job.tracker 
      localhost:9001
  8、工作检验时间: 格式化namenode                            cd /usr/local/hadoop                            hadoop namenode -format   发起hadoop                            sudo chown -hR hadoop /usr/local/hadoop                            bin/start-all.sh 验证hadoop能否正常发起                            jps 此语句实行后会列出已发起的东西NameNode,JobTracker,SecondaryNameNode...如果NameNode没有成功发起的话就要先实行"bin/stop-all.sh"停掉全部东西,然后从头格式化namenode,再发起 PS:如果jps第一次发现NameNode,JobTracker,SecondaryNameNode等进程都在,可是过几秒中,几个进程全部退出不见了,可以去  /usr/local/hadoop/logs下查看日志文件,然后分析退出缘由,我在运用上述出疑问的jdk时就出现了,Namenode等进程意外退出的情况,后来查看hadoop-hadoop-namenode-chw-N-A.log发现有一句退出失常: ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NoClassDefFoundError: javax/net/SocketFactory 就是因为/usr/java/jdk1.6.0_38/jre/lib中的jsse.jar文件没有被解压出来的缘由,用jdk-6u38-linux-i586.bin则不会出现这个疑问。 9、工作wordcount 准备需要进行wordcount的文件                             sudo gedit /tmp/test.txt                             随意输入一些英语单词,然后保管退出 将准备的检验文件上传到dfs文件系统中的firstTest目录下                             hadoop dfs -copyFromLocal /tmp/test.txt firstTest 实行wordcount                             hadoop jar hadoop-mapred-examples-1.1.2.jar wordcount firstTest result PS:此处的jar文件会因设备的hadoop版别不一样而不一样,设备好Hadoop往后,hadoop文件夹下会有类似名字的example文件 查看效果                             hadoop dfs -cat result/part-r-00000 http://www.star1234.info/linked/20130322.do 
posted @ 2013-03-23 05:36  chinadiy197601  阅读(190)  评论(0编辑  收藏  举报