hadoop伪分布式搭建
- JDK安装配置
执行 rpm -i jdk-8u91-linux-x64.rpm
默认安装在/usr/java/jdk1.8.0_91目录中 配置环境变量vi /etc/profile在最后一行添加 export JAVA_HOME=/usr/java/jdk1.8.0_91 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 使环境变量生效(. /etc/profile)也可以 - ssh免秘钥(本机)
生成公钥并追加到文件中保存 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- Hdaoop安装配置
在/opt 创建hadoop目录 /sxt,
上传hadoop.tar.gz到服务器,解压,移动到指定目录 mv hadoop-2.6.5 /opt/sxt 配置环境变量(在任意目录可以使用bin和sbin下的命令) vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 export HADOOP_HOME=/opt/sxt/hadoop-2.7.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 使环境变量生效 - Hadoop环境配置
进入hadoop的配置目录 cd /opt/sxt/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh 修改JAVA_HOME为java绝对路径 export JAVA_HOME=/usr/java/jdk1.8.0_91
vi core-site.xml 添加配置(NameNode启动位置;NN和DN的存储文件目录) <property> <name>fs.defaultFS</name> <value>hdfs://node00:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/sxt/hadoop/local</value> </property>
vi hdfs-site.xml 添加配置(伪分布式1个副本;SN节点启动位置) <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node00:50090</value>
</property>vi slaves 添加配置(DataNode节点启动位置) node00
- HAdoop启动测试
格式化hdfs namenode -format(创建存储data和name的文件,生成集群id,两个id一致;删除NameNode元数据) 启动start-dfs.sh 查看进程 jps 28341 SecondaryNameNode 28102 NameNode 28207 DataNode 28480 Jps 上传文件测试 hdfs dfs -mkdir /user hdfs dfs -ls /user hdfs dfs -mkdir /user/root hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.7.3.tar.gz 浏览器访问查看上传文件 http://192.168.68.99:50070或者node00:50070