在ubuntu系统下装hadoop
1.环境:ubuntu、hadoop2.7.3
2.在Ubuntu下创建hadoop用户组和用户
① 添加hadoop用户到系统用户
② 现在只是添加了一个用户hadoop,它并不具备管理员权限,我们给hadoop用户添加权限,打开/etc/sudoers文件
命令:sudo vi /etc/sudoers
③ 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL
此文件为只读文件,修改后强制保存::wq!
3.安装ssh服务
命令:sudo apt-get install ssh openssh-server
4.使用ssh进行无密码验证登录
① 先进入hadoop用户
命令: su hadoop
② 作为一个安全通信协议(ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式),使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的前者为私钥,后者为公钥)
进入~/.ssh/目录下,将公钥id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的(authorized_keys 用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):
命令:cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
③ 然后即可无密码验证登录了
命令:ssh localhost
5.下载Hadoop安装包
官网地址:
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
6.解压缩Hadoop安装包
要确保所有的操作都是在用户hadoop下完成的,所以将该hadoop文件夹的属主用户设为hadoop
命令:sudo chown -R hadoop:hadoop hadoop
7.安装Java
8.配置Hadoop中相应的文件
需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于/usr/local/hadoop/etc/hadoop下面,具体需要的配置如下:
① core-site.xml 配置如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
② mapred-site.xml.template配置如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
③ hdfs-site.xml配置如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置,最好在hadoop.tmp.dir的目录下面。
补充,如果运行Hadoop的时候发现找不到jdk,可以直接将jdk的路径放置在hadoop-env.sh里面,具体如下:
export JAVA_HOME="/usr/local/jdk1.8.0_91"
9.运行Hadoop
① 初始化HDFS系统
命令:bin/hdfs namenode -format
② 开启NameNode和DataNode守护进程
命令:sbin/start-dfs.sh,成功如下:
③ 查看进程信息
命令:jps
④ 查看Web UI
在浏览器输入http://192.168.86.126:50070/
10.运行WordCount Demo
① 在本地新建一个文件,在/home/download/wangling目录下新建了一个words文档,里面的内容可以随便填写。此words里写的如下:
quux labs foo bar quux
② 在HDFS中新建一个文件夹,用于上传本地的words文档,在hadoop目录下输入如下命令:
命令:bin/hdfs dfs -mkdir /test,表示在hdfs的根目录下建立了一个test目录
使用如下命令可以查看HDFS根目录下的目录结构
命令:bin/hdfs dfs -ls /
③ 将本地words文档上传到test目录中
命令:bin/hdfs dfs -put /home/download/wangling/words /test/
表示已经将本地的words文档上传到了test目录下了。
④ 运行wordcount
命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/words /test/out
运行完成后,在/test目录下生成名为out的文件
查看命令:bin/hdfs dfs -ls /test
⑤ 查看运行结果
命令:bin/hdfs dfs -ls /test/out
bin/hadoop fs -cat /test/out/part-r-00000