单节点安装cdh版 hdfs hive

本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1

下载地址: http://archive.cloudera.com/cdh5/cdh/5/

hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz

hive: http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz

官方hadoop单节点安装教程: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

关闭防火墙

1
2
3
systemctl status firewalld.service
 
systemctl disable firewalld.service

  

配置java 环境变量

1
2
3
4
5
export JAVA_HOME=/usr/local/java
 
export CLASSPATH=.:JAVA_HOME/jre/lib/rt.jar:JAVAH​OME/jre/lib/rt.jar:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
export PATH=PATH:PATH:JAVA_HOME/bin

  

配置ssh免密登录

注意:单节点机器也需要配置本机 ssh无密码登录 ssh-keygen -t rsa

1
2
3
cat id_rsa.pub >> authorized_keys
 
chmod g-w authorized_keys 设置权限 否则不起效

  

解压到 app目录

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1

  • hadoop目录基本了解
  • bin/ hadoop客户端
  • etc/hadoop hadoop 相关配置目录
  • sbin 启动hadoop相关进程脚本
  • share 示例程序

配置 hadoop-env.sh

vim hadoop-env.sh

#配置 java_home
export JAVA_HOME=/usr/local/java/jdk1.8.0_221

配置 core-site.xml

配置HDFS文件默认系统主节点和端口

1
2
3
4
5
6
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:8020</value>
    </property>
</configuration>

  

配置 hdfs-site.xml

因为是单节点,所以要调整副本系数

1
2
3
4
5
6
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  

还需要配置 hadoop.tmp.dir 临时目录放在我们 /home/hadop/app/tmp 下

1
2
3
4
<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/app/tmp</value>
 </property>

  

配置datanode机器地址

vim  slaves   填入  hadoop

配置hadoop到环境变量

1
2
3
vim ~/.bash_profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

  

启动 hdfs

第一次执行的时候一定要格式化 hdfs 文件系统。

hdfs namenode -format

正式启动 到 hadoop/sbin目录下面

./start-dfs.sh

浏览器查看 http://192.168.1.100:50070/dfshealth.html#tab-overview

停止 hdfs

./stop-dfs.sh 

单独启动

1
2
3
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode

  

posted @   梁天  阅读(1237)  评论(0编辑  收藏  举报
编辑推荐:
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· SQL Server 内存占用高分析
阅读排行:
· 盘点!HelloGitHub 年度热门开源项目
· DeepSeek V3 两周使用总结
· 02现代计算机视觉入门之:什么是视频
· C#使用yield关键字提升迭代性能与效率
· 2. 什么?你想跨数据库关联查询?
点击右上角即可分享
微信分享提示