欢迎来到容一博的博客
扩大
缩小
「一言」· 

【Hadoop】配置环境-伪分布式

目录

1.Linux设置静态IP地址

1.在Linux系统命令终端，执行命令：
    # cd /etc/sysconfig/network-scripts/
2.在Linux系统命令终端，执行命令修改ifcfg-auto_eth0，按i进行编辑内容：
    # vi ifcfg-auto_eth0

    BOOTPRPTO=none
    IPADDR=192.168.0.202
    NETMASK=255.255.255.0
    GATE=192.168.0.1
    wq

2.修改主机名和映射文件

1.在任何目录下执行命令切换到该目录：
    # cd /etc/sysconfig/
2.在/etc/sysconfig目录下找到network并执行命令编辑内容：
    # vi network

    HOSTNAME=simple02
    wq
3.如果要修改主机名和ip地址具有映射关系，执行命令编辑内容：
    # vi /etc/hosts

    192.168.0.202 simple02
     wq
4.重启系统
    # reboot

3.SSH免密码配置

1.切换到.ssh目录下并通过pwd查看该目录路径
    # cd ~/.ssh
    # pwd

提示：如果显示无此目录，先执行一次以下命令：

    ssh localhost
2.查看.ssh目录下内容
     # ls -al
3.在.ssh目录下执行命令：（连续四个回车）
    # ssh-keygen -t rsa
4.执行完上面命令后，或生成两个文件id_rsa(私钥),id_rsa.pub(公钥)，在simple02上执行ssh-copy-id simple02命令（相当于该主机给自身设置免密码登录），根据提示输入访问主机所需要的密码
    # ssh-copy-id simple02
5.在simle02机器上切换到.ssh目录
    # cd ~/.ssh
6.查看.ssh目录下的内容，在.ssh目录下多个文件authorized_key，其内容就是密码值，此时就可以直接访问simple02了
    # ssh simple02

4.Linux系统JDK的安装和配置

1.先检查是否有默认的jdk，进行删除（可以不删除）
    # rpm -qa | grep jdk
    # rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
2.在根目录下创建simple文件夹，在simple文件夹内创建soft文件夹
    # cd /
    # mkdir simple
    # cd simple
    # mkdir soft
3.将jdk解压到simple文件夹下
    # cd ../
    # tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz
4.配置环境变量
    # vi /etc/profile

    JAVA_HOME=/simple/jdk1.7.0_79
    export PATH=$JAVA_HOME/bin:$PATH
    wq
5.更新配置文件
    # source /etc/profile
6.检查jdk是否安装成功
    # java -version

5.Hadoop伪分布式配置和测试

1.解压hadoop到simple文件夹下
    # cd /simple
    # tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz
2.编辑配置文件hadoop-env.sh
    # cd /simple/hadoop-2.4.1/etc/hadoop/
    # vi hadoop-env.sh
            export JAVA_HOME=/simple/jdk1.7.0_79
            wq
3.编辑配置文件core-site.xml
    # vi core-site.xml 
        <property>
            <name>fs.default.name</name>
            <value>hdfs://169.254.25.128:9000</value>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://169.254.25.128:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/simple/hadoop-2.4.1/tmp</value>
        </property>
        wq
4.编辑配置文件hdfs-site.xml
    # vi hdfs-site.xml
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/simple/hadoop-2.4.1/hdfs/name</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/simple/hadoop-2.4.1/hdfs/data</value>
        </property>
        wq
5.编辑配置文件mapred-site.xml
    # vi mapred-site.xml
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        wq
6.编辑配置文件yarn-site.xml
    # vi yarn-site.xml
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>169.254.25.128</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        wq
7.配置环境变量
    # vi /etc/profile

        HADOOP_HOME=/simple/hadoop-2.4.1
        export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
        wq
8.刷新配置文件
    # source /etc/profile
9.格式化hdfs
    # cd /simple/hadoop-2.4.1
    # mkdir tmp
    # mkdir hdfs
    # cd hdfs
    # mkdir name
    # mkdir data
    # hdfs namenode -format
10.启动hdfs
    # cd /simple/hadoop-2.4.1/sbin
    # ./start-all.sh
11.查看进程
    # jps

    Jps
    ResourceManager
    SecondaryNameNode
    NameNode
    NodeManager
    DataNode
12。在浏览器地址栏输入：
http://localhost:50070(HDFS管理界面)
http://localhost:8088(MR管理界面)
posted @ 2018-10-28 01:29  容一博  阅读(160)  评论(0)  编辑  收藏  举报
Live2D

「一言·」