ubuntu安装hadoop经验
安装环境：
1 linux系统
2 或（windows下）虚拟机
本文在linux系统ubuntu下尝试安装hadoop
安装前提
1 安装JDK（安装oracle公司的JDK ）
（1）检查是否已安装JDK
$ java -version
（2）（本人采用手动安装）官网下载jdk，解压文件，放置在 /usr/目录下 如：/usr/local/jdk
（3）配置环境变量，设置全局（也就是此系统下所有用户的）环境变量
命令：$ sudo vi ~/.bashrc （用vi编辑器）
文件末尾添加：
#set java environment - 注释 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
保存后结束
（4）检查
2 安装ssh
（1）检查是否安装ssh（一般会自带客户端服务：ssh-client,本机需要安装对应的服务端服务ssh-server·「ssh-client与ssh-server版本要对应」）
命令：$ dpkg -l | grep ssh
查看是否有 openssh-server
（2）安装openssh-server
命令：sudo apt-get install openssh-server
问题：因为本机已安装的openssh-client 与要安装的openssh-server不匹配，所以要先将openssh-client 降低版本
（3）查看ssh服务是否开启
命令：ps -e | grep sshd
如图：没有服务，而已安装，那就是没有启动
命令 ps -e | grep ssh
说明ssh-client服务开启，而ssh-server服务没启动
（4）启动ssh-server
命令：sudo /etc/init.d/ssh start 或 sudo service ssh start
问题：依然没有启动，无法理解错误原因，但是找到解决方法，如图，当第四行 有 ：：：22表示开启22端口
（5）登录ssh
命令：ssh localhost
（6）设置ssh免码登录（ 没有详细了解，有待继续学习 ）
$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
安装hadoop（搭建hadoop开发环境）
（1）官网下载hadoop，并解压好文件
（2）安装配置
先了解hadoop的运行模式
@运行模式
单机模式：默认，非分布式模式运行，读取本地资源，不使用hdfs（分布式文件系统），不加载hadoop守护进程
伪分布式：“单节点集群”上运行hadoop，所有守护进程运行在同一台机器上，读取hdfs上资源
全分布式：守护进程运行在一个集群上
@配置：
1 单机环境配置：
没有创建额外用户来使用hadoop，本次在当前用户下操作（可能会遇到权限问题）
$ vi .bashrc （用vi编辑 .bashrc）
将以下代码添加到 .bashrc 中
#set hadoop environment export HADOOP_HOME=/hadoop/hadoop-2.9.1 //hadoop文件路径 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME
export HADOOP_ISTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin：$HADOOP_HOME/bin
vi /hadoop/hadoop-2.9.1/etc/hadoop/hadoop-env.sh (配置hadoop-env.sh 的JAVA_HOME环境变量)
export JAVA_HOME=/usr/local/jdk/.. //jdk文件路径
查看是否安装
2 伪分布式配置
（一）修改 /hadoop/hadoop-2.9.1/etc/hadoop/ 目录下的4个文件
注：只是进行简单的初期配置，更详细的配置可以去官网或百度查阅
（1）core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.9.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Kouri:9000</value>
</property>
</configuration>
（2）hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/hadoop-2.9.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/hadoop-2.9.1/tmp/dfs/data</value>
</property>
</configuration>
（3）mapred-site.xml
因为初始只有mapred-site.xml.template,需要修改文件名
mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name></name>
<value></value>
</property>
</configuration>
（4）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name> //主机名
<value>Kouri</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name> //浏览器地址
<value>localhost:8088</value>
</property>
</configuration>
（二）格式化HDFS
$ cd ~
$ hdfs namenode -format
（三）启动 （逐个启动/全部启动）
全部启动：start-all.sh
（四）查看进程
$ jps //列出守护进程
安装成功结果
（五）查看运行状态 - web界面
http://localhost:50070/ - Hadoop hdfs 状态
http://localhost:8088/ - hadoop yarn 管理
