Ubuntu中Hadoop环境搭建

Ubuntu中Hadoop环境搭建

JDK安装

方法一:通过命令行直接安装(不建议)

有两种java可以安装oracle-java8-installer以及openjdk

(1)安装oracle-java8-installer

apt install software-properties-common

add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

(2)安装openJDK

sudo apt-get update
sudo apt-get install openjdk-8-jdk

卸载openJDK

sudo apt-get remove oepnjdk*

 

方法二:自己配置安装

 

1.下载jdk-7u67-linux-x64.tar.gz

2.ftp客户端工具filezilla上传到ubuntu的合适文件夹。如果如果不能上传到指定文件夹可能是文件夹权限不足,修改文件夹可执行权限,最简单的方法是赋予权限,即:

  1. chmod 777 文件夹
  2. (777)为最高权限

 

3.自解压安装jdk,我解压在了/usr/cpy

  1. tar -xzvf jdk-7u67-linux-x64.tar.gz

安装完后,会生成jdk1.7.0_67文件夹

4.设置环境变量,对于对vi不熟悉的用户使用gedit命令启动文本编辑器比起vi命令更方便

  1. sudo gedit /etc/profile

添加以下内容并保存退出

原本内容:

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

新添加内容:

export JAVA_HOME="/usr/cpy/jdk1.7.0_67"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=
$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin


在PATH=的最前面加上 $PATH

执行以下命令,使配置生效

source /etc/profile

注意:PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"必须保留,否则会导致系统登录不了。还可以使用另外两条配置代替该行配置:

 

5.卸载自带的openjdk的方法:

  1. sudo apt-get remove openjdk*  

 

 

6.设置默认jdk(假如有openjdk的话)

由于Ubuntu中可能会有默认的jdk,如openjdk。假如有openjdk的话,所以,为了使默认使用的是我们安装的jdk,还要进行如下工作(可以使用该命令安装其他命令,例如eclipse)。
执行代码:

  1. sudo update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_25/bin/java 300  
  2. sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_25/bin/javac 300  

通过这一步将我们安装的jdk加入java选择单。

然后执行代码:

  1. sudo update-alternatives --config java  
  2. sudo update-alternatives --config javac  

通过这一步选择系统默认的jdk

7.查看java版本,显示为我们自己设置的jdk

jack@jack$ java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) Server VM (build 23.25-b01, mixed mode)

注:还可以利用此方法配置多jdk版本,只需要修改/etc/environment内容,然后按照下边的步骤依次执行。

Hadoop单机版本安装:

sudo apt-get install ssh
sudo apt-get install rsync

Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

配置YARN

Configure parameters as follows:etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

Start ResourceManager daemon and NodeManager daemon:

  $ sbin/start-yarn.sh

Browse the web interface for the ResourceManager; by default it is available at:

  • ResourceManager - http://localhost:8088/

Run a MapReduce job.

When you're done, stop the daemons with:

  $ sbin/stop-yarn.sh

 

 

linux找不到主机名解决办法

报错:java.net.UnknownHostException: 主机名: 主机名

修改/etc/hosts文件

127.0.0.1 主机名 localhost.localdomain localhost

或是再添加一条 

127.0.0.1 主机名 

主机名是新加的,原来没有,保存,问题解决。

==========================================

/etc/sysconfig/network   
/etc/hosts       hostname命令读这个配置文件

 

 

记住一定要启动yarm再运行

posted on 2018-12-20 00:36  kexinxin  阅读(210)  评论(0编辑  收藏  举报

导航