hadoop的搭建基于liunx单机版
Hadoop的组成
--------------------------------------------------
1,HDFS:分布式文件系统。 存放海量数据的 2. YARN:资源的调度。 3. MapReduce: 处理海量数据。
-------------------------------------
安装Hadoop 模式。 1.单机模式: 一台机器上配置Hadoop 2.伪分布式 一台机器上配置多个端的Hadoop 3.完全分布式 多台机器配置Hadoop
搭建Hadoop 单机版。
-------------------------
1.jdk (Hadoop基于JDK) 1.在usr下创建一个文件夹java 2.把jdk的压缩文件放在java文件夹下 3.解压该压缩文件 (安装好。) 4.配置JDK的环境变量。(/etc/profile)
export JAVA_HOME=/usr/java/jdk1.8.0_141 export CLASSPATH=$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
5.刷新该文件/etc/profile source /ect/profile //必须调用。
6.检查是否安装成功 javac java javac -version 7.搭建Hadoop 1.为主机重命名 vi /etc/hostname reboot 重启虚拟机 2.配置主机名与IP的映射关系。 vi /etc/hosts 3.在usr下创建一个目录 Hadoop 4.把压缩文件放在hadoop下 5.解压hadoop文件 6.配置hadoop
配置Hadoop的环境变量(在/etc/profile的文件下配置)
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
###################-----hadoop-env.sh-----#################################
修改JAVA_HOME=/usr/java/jdk1.8.0_141
####################-----core-site.xml----############################ <!--配置HDFS的老大NameNode所在的机器--> <property> <name>fs.defaultFS</name> <value>hdfs://zhiyou01:9000</value> </property>
<!--配置Hadoop运行时产生的文件的存储目录--> <property> <name>hadoop.tmp.dir</name> <!--该目录提前创建好--> <value>/zhiyou/hadoop/tmp</value> </property>
###################### hdfs-site.xml ############################# <!--HDFS的副本数量--> <property> <name>dfs.replication</name> <value>1</value> </property>
######################--mapred-site.xml--####################
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
#########################-----yarn-site.xml-----#####################################<!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>zhiyou01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
===========================================================================================================================
预格化。 成功了 就不要在格式化。 /zhiyou/hadoop/tmp/dfs/name has been successfully formatted.
hadoop namenode -format
0.3 配置ssh免密登录
切换到该目录下
cd ~/.ssh
#生成ssh免密登录的密钥 Ssh-keygen -t rsa(四个回车) 执行完这个命令后,会生成id_rsa(私钥) .id_rsa.pub(公钥)将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id master
0.4配置防火墙
查看防火墙状态 firewall-cmd --state • 1 停止firewall systemctl stop firewalld.service • 1 禁止firewall开机启动 systemctl disable firewalld.service
本文来自博客园踩坑狭,作者:韩若明瞳,转载请注明原文链接:https://www.cnblogs.com/han-guang-xue/p/9870913.html