liboss

            夫为道者,譬如一人与万人战,挂铠出门,意或怯弱,或半路而退,或格斗而死,或得胜而还。沙门学道,应当坚持其心,精进勇锐,不畏前境,破灭众魔,而得道果!

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: :: 管理 ::

Hadoop-cdh4下载地址:

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html

一、建立linux用户

添加组:groupadd hadoopgroup

添加用户:adduser -g hadoopgroup hadoop

修改密码:passwd hadoop

二、上传文件hadoop cdh4文件

三、ssh无验证登陆

1、用hadoop登陆,执行:

    ssh-keygen -t rsa -P ""

    cat .ssh/id_rsa.pub >> .ssh/authorized_keys

    完成后,用ssh localhost测试。

2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中,将客户端的authorized_keys追加到服务端的authorized_keys文件中。

四、Hadoop2配置

1、profile文件

export JAVA_HOME=/home/hadoop/jdk7/jdk1.7.0_45

export HADOOP_PREFIX="/home/hadoop/hadoop-2.0.0"

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

export YARN_HOME=${HADOOP_PREFIX}

export PATH=$JAVA_HOME/bin:$PATH:/lib64:/usr/lib64:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

2、配置文件

hadoop-env.sh

core-site.xml

slave

hdfs-site.xml

yarn-site.xml

详细内容可参考服务器上已配置好的文件。

3、测试命令:

关闭访问墙:service iptables stop/staus

首次格式化:hadoop namenode -format

启动:start-all.sh

停止:stop-all.sh

查看进程:jps

 

验证是否可以登陆:

hadoop fs -mkdir hdfs://kit-b5:8020/testfolder

hadoop fs -ls hdfs://kit-b5:8020/

hadoop fs -copyFromLocal ./hadoop-2.2.0_bak/*.txt hdfs://kit-b5:8020/

验证map/reduce:

hadoop fs -mkdir hdfs://kit-b5:8020/input

hadoop fs -put /home/hadoop/hadoop-2.0.0-cdh4.4.0/*.txt hdfs://kit-b5:8020/input

hadoop jar /home/hadoop/hadoop-2.0.0-cdh4.4.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar wordcount hdfs://kit-b5:8020/input hdfs://kit-b5:8020/output

hadoop fs -ls hdfs://kit-b5:8020/output

hadoop fs -cat hdfs://kit-b5:8020/output/part-r-00000 即可看到每个 单词的数量

posted on 2014-01-03 10:10  lam99v  阅读(573)  评论(0编辑  收藏  举报